马腾，相传是伏波将军马援的后代。

其父马肃，曾任天水校尉，后留居陇西，与姜姓羌女成亲，生下了马腾。不过，当时马腾的家境很差，靠伐木砍柴为生。后凉州刺史耿鄙任用小人，导致羌秋造反。马腾应征而平叛，被州郡官员看重，任命为军从事。后又因战，而被提拔为军司马。耿鄙被杀以后，马腾联合韩遂等人，为祸三辅。朝廷以皇甫嵩镇守三辅，马腾等人旋即在金城和武威做大。

建安二年，马腾和韩遂成为