裴家大宗九房，分为上三房，中三房，以及下三房，裴世昌这一脉便是出自下三房，在整个裴氏门阀当中，地位只能算是一般。

裴家与尤家虽然同属门阀世家，但两个家族并没有太深的交际与关系，不过裴世昌的父亲，和尤明远曾经同拜一师，两人是同窗好友，后来走上仕途，受到尤元峰很多的帮助，因此官途一路高歌猛进，三十多岁，便是做到了工部左侍郎的高位，在家族之中的地位，水涨船高，成为了整个家族，第二代族人