Sebelum Rasulullah SAW wafat, dirinya diangkat sebagai gubernur Yaman.
Setelah mendengar pengangkatan Abu Bakar sebagai Khalifah, khalid meninggalkan jabatannya kemudian bergegas ke Madinah.
la mengetahui keutamaan yang dimiliki Abu Bakar, namun menurutnya dari Bani Hasyim-lah yang paling berhak menjadi Khalifah yakni Abbas atau Ali bin Abi Thalib.
Prinsip tersebut ia pegang teguh, hingga ia tidak mau mengakui kekhalifahan Abu Bakar.
Namun Khalifah Abu Bakar tetap sayang dan hormat kepada Khalid dan tidak pernah memaksa Khalid untuk mengakui kekhalifahannya
Namun, setelah beberapa waktu, Khalid akhirnya melunak. Hari itu, ketika Khalifah Abu Bakar sedang berada di mimbar di masjid, Khalid maju dan berbaiat mengakui kekhalifahan Abu Bakar.
Abu Bakar memberangkatkan pasukan ke Syam dan menyerahkan salah satu bendera pasukan kepada Khalid bin Sa'id.
Hal tersebut berarti, Khalid diangkat sebagai salah seorang komandan pasukan. Namun, sebelum pasukan bergerak meninggalkan Madinah, Umar menentang pengangkatan Khalid.