康自矫出身寒门，在吏部的公文中是这样记录的，事实上，他的家世比“寒门”还低，几乎没有门，十岁之前他是家奴子，因为年纪小，干不了重活，陪主人家的孩子读书，因此识文断字，教书先生称赞有加，但他却没资格考取功名。

在他十岁那年，父亲陪主人出门经商时，独战数名拦路强盗，救了主人一命，自己却身负重伤，侥幸拣回一条命，却再也没法下床。

主人还算心善，替康家人赎身，给他们一小块田地，