l8岁那年，因受人诬陷而离家出走，落草为寇，3年后又响应收编参加了怀德县地方武装，并被推为哨官，从此开始了他的戎马生涯。以后，他便青云直上，1908年任排长，1913年任连长，1918年任营长，1920年任团长.1925年任旅长，1926年任师长，1927年任军长，1928年即成为黑龙江省将军。随着马占山的发迹，马家也由清贫到繁盛，逐渐形成了一个大家庭。

1909年，马占山率部驻怀德县城