李桃歌并不是出生在相府，年幼时在村子里吃百家饭长大，十岁那年才由李白垚派人寻回，住进了祖宅。

李家几代都是一脉单传，因此人丁稀薄，原配夫人好不容易生了一对龙凤胎，可惜男孩早早夭折，只留下一个女儿，并改名为若卿，用来寄托对儿子的相思之情。

丧子之痛，使得原配夫人性情大变，乖张跋扈，易怒刁毒，动不动就责骂下人，对半路而来的李桃歌充满敌意，每月例钱不到一两银子