十有六，楚家祖上也曾发达，官至中书，显赫一时。

但后来家道中落，到了楚孝通年少之时，父亲早亡，是由寡母一手带大, 据说年幼的时候，穷得连饭都吃不起。

楚孝通少年的时候随寡母饱受当地豪强、官吏欺压, 看多了百姓疾苦，曾发奋读书, 立誓将来若为官, 要为民请命，做大庆的忠廉之臣。

他还未成年，其母身体逐渐不好，又担忧儿子，便为他说了一门亲事，娶了同村一姓王猎户的女儿为妻。