白与他论议朝政多悖，于是称说有病辞掉官位，被罢为刑部侍郎、翰林侍读学士、知大名府。

等到王钦若分管南京，宰相丁谓向来憎恶王钦若，调张知白做南京留守，希望他能报复。

但是到任以后，张知白对待王钦若却比前任更优厚。丁谓恼怒，又调张知白任职亳州，迁兵部。

仁宗即位后，升任尚书右丞，为枢密副使，以工部尚书的身份同领中书门下平章事、会灵观使、集贤殿大学士。

平生慎用车