了名的执拗脾气，人送外号杜铁嘴。这铁嘴倒不是指他如同算命的一般能铁口直断，而是说他那张嘴太过刻薄。他做官方正也就算了，偏生那些请托上门的全都根本招架不住他的三言两语，往往连东西都不敢留下就狼狈而走，逢年过节也是大门紧闭不见宾客。所以，他执掌翰林院七年，每逢他任读卷官评卷官的时候，考生都难免求神拜佛希望不要轮到自己。于是，杜学士府可说是整座京师三品以上官员府邸中最冷清的地方。

然而，仿佛是