哀帝建平元年腊月初六，他父亲那时候是陈留郡济阳县令，后来调到汝南郡南顿县，卒于任上，那时候刘秀才八岁。

自此以后，兄弟姊妹们就相依为命，刘伯升与他一母同胞，更是长兄如父。他性刚毅，慷慨有大节，靠着结交豪杰，把他们这个支系中衰的名望振兴，成了舂陵刘氏之首。

曾经的兄长一直是刘秀倾慕的对象和目标，年幼时一起玩耍跟着他习武；稍大后听他与宾客们谈话，见他们时常愤愤，怀复社稷之虑，”复汉