张怀玉的父亲名叫张拯，在洛阳旁边的伊阙当县令。

张九龄仅此一子，对于香火传嗣之事自然是看得很重，所以张拯在年轻时便被父母安排了婚姻，过了两年见仍未生出儿子，又给张拯娶了两房妾室。

张怀玉就是其中一房妾室所出。

对传嗣之事看得很重的张拯，见生出来的是女儿，又不是正房嫡出，对张怀玉自然有些冷漠，张怀玉从小到大被家人漠视，才养成了那种淡漠清冷的性格，后来甚至不声不响