长安城外有两个镇，一个名为韦曲镇，一个名为杜曲镇，在盛唐时期，韦姓家族居于“韦曲”，杜姓家族居于“杜曲”。为两大望族，两大家族毗邻相望，在朝在野各领风骚，史称“城南韦杜”。两大家族多出王侯将相，与皇权交集，人称“离天尺五”。

“城南杜氏”在长安居住可以追溯到西周时期。周成王灭唐国，将唐国君民迁到杜地（今西安市雁塔区杜城村一代），称为杜伯国，此为杜姓所来。唐时杜姓贵族世居少陵原东南