张知白字用晦，沧州清池人。幼年酷爱学习，考中进士，经多次升迁河阳节度判官。咸平年间(998～1003)上疏奏对，言说当今最要紧的事情，真宗感到十分奇异，奉召应试舍人院，代理右正言。敬献《凤..箴》，出知剑州。过了一年，奉召考试中书，兼任直史馆，真宗亲自给他赐予五品官服，判三司开拆司。
江南发生干旱，张知白与李防分路安抚。回到京师后，暂时主管京东转运使事。天上星象不断出现，司天将它作为祥瑞上奏，大臣们跪伏在官署表示庆贺。张知白认为人君应当实行德政来符合上天的旨意，而星象出现群臣跪伏庆贺没有任何根据，因而张知白陈述治理国家事务的关键。真宗对执政大臣们说“：张知白可说是忠于朝廷啊。”真宗东封泰山，张知白任右司谏。张知白又进言说“：咸平年间，河湟还没有平定，臣下曾请求罢除郡国所敬献的祥瑞。如今天下平安，神灵的赏赐不断显现，望将《泰山诸瑞图》放置在玉清昭应宫，将副本收藏在秘阁。”
陕西发生饥荒，朝廷命令张知白进行巡视。不久任邓州知州。正好关右流民到达邓州，张知白既发给流民粮食，又招募流民供给粮食来救济饥民。提升为龙图阁待制、知审官院，再升任尚书工部郎中，出使契丹。张知白认为朝廷的官制，重视京官而轻视外官，给朝廷引用唐李峤建议让台阁主管属国郡县，于是自己上疏请求出京补官，未获批准，于是被朝廷命令督察在京的刑事案件，坚决请求离开京师外补，任青州知州。回到京师，请求主管国子监。真宗说：“张知白难道对复杂繁难的事务感到厌倦吗？”执政大臣说：“张知白在朝内外任职，没有为自己作过任何谋划。”于是张知白被升任为右谏议大夫、权御史中丞，授予给事中、参知政事。
郊祀礼仪完成后，张知白升任尚书工部侍郎。这时同僚王曾升任为给事中，官级仍在张知白之上，张知白心里不能平衡，多次上表请求辞职。王曾也请求位居张知白之下，朝廷于是给张知白授予金紫光禄大夫，又任为给事中、判礼仪院。王曾罢官，将王曾所任之职授予张知白。这时王钦若任宰相，张知白与王钦若的意见经常不一致，于是张知白声称有病而辞去官位，被免为刑部侍郎、翰林侍读学士、知大名府。到王钦若分管南京，宰相丁谓一直讨厌王钦若，就将张知白调任南京留守，意在报复王钦若。张知白到任后，对王钦若十分友好。丁谓十分气愤，又将张知白调任亳州，升为兵部。仁宗即位后，张知白进升尚书右丞，为枢密副使，以工部尚书同中书门下平章事、会灵观使、集贤殿大学士。这时公布进士的等级，张知白被赐予《中庸篇》，中书敬献此篇，朝廷于是命张知白进行注解，关于修身治家的道理，一定反复陈述。
张知白任宰相，慎用名器，没有一丝一毫的私心。经常以太满作为警戒，虽然身为显贵，但仍像一般士大夫一样清贫节俭。张知白身体一直瘦弱，每天忧虑担心外族入侵，任中书时突然感染风寒致使眼睛发花，看不清东西，坐车回到官邸。仁宗亲自询问他的病情，张知白不能说话，去世。仁宗因此撤除了上巳宴，给他追赠太傅、中书令。礼官谢绛建议授予张知白谥号“文节”，御史王嘉言说“：张知白坚持真理为公殉职，为官正直，可说公正无私了，应赠谥号‘文正’。”王曾说“：‘文节’是一个美好的谥号。”于是不改变。
张知白九岁时，父亲在邢州过世，灵柩停放在佛寺中。契丹侵犯河北时，寺宇大多颓败废旧，灵柩不能辨认。张知白考中进士后，步行寻访，寻得佛寺的大殿基石，猛然明白认出了他父亲灵柩的停放处。打开一看，其父所穿葬服都一一得到了验证，众人都感叹他确实孝顺。曾经路过陕州，与通判孙何相遇，阅读道旁古碑共数千字，回来后，张知白能全部背诵出来，没有任何遗落。天圣年间(1023～1032)，契丹大规模检阅军队，扬言要攻取幽州，朝廷为此十分忧虑。仁宗以此询问二府，大臣们都说：“准备粮食训练军队，以防备不测。”张知白说：“不能这样，契丹与我们刚建交不久，如今大举发兵，是因为仁宗刚即位，来以此观察朝廷的举动罢了，我们怎能自造祸乱呢！如果对他们有怀疑，还不如利用黄河决口，派兵以防止黄河决口为由，契丹也不会担心。”不久，契丹果然撤兵离去。张知白无子，以其兄之子张子思为后，官至尚书工部侍郎后退休。