The obligation of fulfilling oaths of allegiance is owed to the first of two Caliphs Sahih Muslim 1844 c

Arabic hadith text
وَحَدَّثَنِي مُحَمَّدُ بْنُ رَافِعٍ، حَدَّثَنَا أَبُو الْمُنْذِرِ، إِسْمَاعِيلُ بْنُ عُمَرَ حَدَّثَنَا يُونُسُ بْنُ، أَبِي إِسْحَاقَ الْهَمْدَانِيُّ حَدَّثَنَا عَبْدُ اللَّهِ بْنُ أَبِي السَّفَرِ، عَنْ عَامِرٍ، عَنْ عَبْدِ الرَّحْمَنِ بْنِ عَبْدِ، رَبِّ الْكَعْبَةِ الصَّائِدِيِّ قَالَ رَأَيْتُ جَمَاعَةً عِنْدَ الْكَعْبَةِ ‏.‏ فَذَكَرَ نَحْوَ حَدِيثِ الأَعْمَشِ
Translation
It has been narrated on the authority of 'Abd Rabb al-Ka'ba as-Sa'idl who said

I saw a group of people near the Ka'ba.... Then he narrated the tradition as narrated by A'mash.