张俊字伯英，凤翔府成纪人。爱好射箭，富有才气。出身于群盗之中，十六岁时，是三阳地区弓箭手。政和七年(1117)，随从征讨南方少数民族，转任都指挥使。宣和初年，随从进攻西夏仁多泉，开始授予为承信郎。平定郓州贼盗李太以及河朔、山东武胡群盗，功劳最大，进为武德郎。
靖康元年(1126)，因为守卫东明县有功，转为武功大夫。金军进攻太原，宋军固守城池，朝廷命令制置副使种师中率部前往增援，驻扎在榆次。金朝用数万骑兵前来进攻。张俊当时是队将，率队进击，杀伤敌人甚多，缴获马匹一千匹，请求乘胜邀击敌人。种师中认为时日不利于作战，急忙下令后退到榆次自保。金军侦察到张俊的计谋不被采纳，发动全部兵力包围榆次，进攻更急迫。榆次被攻破，种师中战死。张俊率所部数百人突围而出，边行边战，来到乌河川，再次同敌遭遇，斩杀敌人五百人。
金兵包围汴京，高宗当时是兵马大元帅，张俊率兵随从信德守将梁扬祖前往救援。高宗看见张俊像貌雄伟英武，擢升他为元帅府后军统制，累次立功转任荣州刺史。建炎元年(1127)正月，随从高宗到东平府。当时一股势力强盛的盗贼李昱占据兖州，命令张俊为都统制率兵前去讨伐。率领数名骑兵突入敌阵奋勇战斗，各军将士争相奋击，于是歼灭贼盗。晋升为桂州团练使，不久又加任贵州防御使。
中书舍人张贗，从汴京带来钦宗藏在蜡丸中的诏书，命令高宗把军队交给副元帅返回京城，高宗询问计策，张俊说“：这是金朝诡诈的阴谋。现在大王身在外面，这正是天赐大王皇位，怎么随便前去？”请求进兵，高宗答应了他，于是来到济州。
庆贺钦宗生日，接近夜晚，有人报告高宗，打算等元帅进香时劫掠叛变。众人计议集中各军加强戒备，张俊说：“元帅不出去，奸谋自然就会破灭。”于是转移州府所在地。贼盗技穷，黎明时分，引军北逃，张俊率兵把他们追杀。晋升为徐州观察使。
高宗因张俊功劳日益增多，升他为拱卫大夫。不久汴京被攻破，徽宗和钦宗被掳北去，人心惶惶不安，张俊恳切劝说高宗即位，高宗流泪不答应。张俊说：“大王是皇帝的亲弟弟，人心归向，正当天下动荡不安时，不早日登上皇位，便难以满足民众的期望。”并且告诉耿南仲上奏劝说，耿南仲三次上奏。高宗离开济州，张俊随从护卫。到达应天府，高宗才即帝位。开始设置御营司，以张俊为御营前军统制，派他回京迎接隆佑太后。权充秦凤兵马钤辖。不久迎接太后和六宫归来，任带御器械。
当时江淮地区盗贼蜂起，张俊在淮宁征讨杜用，在镇江讨伐赵万、郭青，在杭州征讨陈通，在兰溪征讨蒋和尚等，都一一平定。解除他的虚衔，任真正的观察使。建炎二年(1128)，升任秦凤路马步军副总管，不久击破秀州贼盗数万人，俘虏徐明将他斩首。进为武宁军承宣使。
高宗到扬州，召集众将商议恢复中原事宜，张俊说：“当今敌人势力正处于强大之时，应该暂且南渡长江，占据长江作为天险，整军练兵，安定人心，等到国家形势安定下来后，再大举行动不晚。”张俊又请求把左藏库移到镇江。不久敌军突然来到，已逼近城郊，张俊急忙上奏整饰车马，随从高宗逃到临安。
苗傅、刘正彦反叛，张俊当时率兵屯驻在吴江县。苗傅等伪作诏令加张俊为捧日、天武四厢都指挥使，率三百人赶往秦凤，并命令其他将领率领剩下的军队。张俊知道诏令是假的，拒不接受。全军上下人心惶恐，张俊劝说他们说：“应该到张浚那里请求决定。”于是立即率领所部八千人到平江。张浚对张俊说及苗傅等人打算危害国家，涕泪纵横而下，张俊也大哭。张浚晓谕他以决定起兵反叛之罪讨伐苗傅，张俊哭泣下拜，并说“：这必须你用计谋辅助，不要惊动皇上。”吕颐浩到，张俊会见他，也流泪说“：今天只有一死报效国家了。”刘光世率领所部到来，张俊同他冰释前嫌。韩世忠从海上来到，张俊军一部同他俱至。韩世忠为前锋，张俊率精兵作为两翼，刘光世随后。在临平展开激战，苗傅等失败，打开城门逃跑。韩世忠、张俊、刘光世进入城中，在内殿拜见高宗，高宗称赞慰劳了很长时间，拜张俊为镇西军节度使、御前右军都统制，不久又任浙东制置使。
金兵分路深入，渡过长江进攻浙江，杜充放弃建康，韩世忠从镇江退保江阴。高宗到明州，张俊从越州率兵赶到。兀..进攻临安，高宗乘坐楼船到温州，留下张俊在明州抵御敌人。高宗赐给他亲笔书信说“：我没有你，那么谁肯率先倡议早登帝位；你没有我，那么将前功尽弃。应该努力抵御敌军，一旦成功，我将封你王位。”这年除夕，金军来到城下，张俊派统制刘宝同敌交战，宋军稍稍后退，部将党用、丘横战死，于是统制杨沂中、田师中、统领赵密都殊死搏斗。杨沂中舍船登岸苦战，殿前司将领李质率领班直前来助战，明州守将刘洪道率领州兵在旁边射击敌人，大败金军，杀死数千人。金兵呼叫派人到营中议事，张俊派一小校前往。金兵同他说，打算到越州请求投降，张俊拒绝了这一要求。戒令将士不要骄傲轻敌，考虑敌人必会重来，下令坚壁清野，多用小船装载强弩，闭关自守。
建炎四年(1130)正月初一，忽起西风，金军乘此机会，果然又向明州发起进攻。张俊和刘洪道坐在城楼上，派兵掩击金军，双方伤亡大体相当。金军奔逃，溺水死于江中的不计其数，连夜拔营撤走，屯驻余姚，并且向兀..请求增兵。过了七天，金军再次来到，张俊率兵进入台州，明州居民逃走的十占七八。
不久，江、浙一带盗贼蜂起，朝廷授张俊为两浙西路、江南东路制置使，率领所部招降群盗，并命令后军统制陈思恭隶属他指挥，还下令两浙宣抚使周望以所部兵隶属张俊，除刘光世、韩世忠以外，众将都由张俊指挥。六月，朝廷改御前五军为神武军，张俊部改为神武右军，他本人任都统制，升为检校少保、定江昭庆军节度使。十月，浙西群盗全部平定，张俊改任江南招讨使。
绍兴元年(1131)，高宗到会稽。当时正值金军残害蹂躏之后，孔彦舟占据武陵，张用占据襄汉；李成尤其精悍，强行占据江淮、湖湘地区十余个州郡，合兵数万人，有席卷东南地区的意图，大肆散布符咒谶言迷惑煽动人心，包围江州长时不解围，当时朝廷正为此感到忧虑。范宗尹请求派遣将领前去征讨，张俊慷慨请战，于是改任江、淮路招讨使。
李成党羽马进在筠州。豫章介于江、筠州之间，张俊接到命令就率部出发，急赴豫章，并且说：“我已经得到洪州，击破贼寇是必然的。”乃收缩兵力进入城中，好像城中无人，金鼓不动，命令将士有登上城墙的斩首。居留一个多月，马进送来一封很大的书信要求决战，张俊写了一封很小的书信回答，马进以为张俊害怕。张俊侦察到贼众戒备松懈，才准备作战。岳飞为先锋，杨沂中从上游断绝生米渡，出敌不意，追击奔逃的敌众七十里，到达筠州。贼寇背靠筠河布列阵势，张俊采纳杨沂中的计策，亲率步兵在敌阵对面进攻，把精锐骑兵数千人交给杨沂中和陈思恭，让他们从山后夹击敌人，以中午为期限。张俊同贼寇激战到中午，杨沂中、陈思恭率领精锐骑兵从山下急驰而下，贼众惊骇混乱退走，大败。
收复筠州、临江军之后，捷报上奏朝廷，高宗赐亲笔书信，说“：应当乘贼众势力已衰弱之际，官军士气振奋之时，长驱铲除剿灭贼寇，迅速争取彻底胜利。”张俊没有等到拜受高宗亲自书写的诏令，就已经追击贼众到北奉新楼子庄。贼寇党羽商元占据草山，依凭险要地形布设埋伏，张俊派遣步兵从小道直奔山上，杀死伏兵夺得险隘，乘胜追击至江州。李成形势危急，渡江而逃，称呼张俊为“张铁山”。张俊收复江州。不久兴国军等处群盗听说张俊率兵来到，都逃走。张俊率兵渡江到黄梅县，亲自同李成交战。李成接受奉新丧失险隘失败的教训，占据石幢坡，凭借山险用木石滚压官军。张俊先派散兵前进，假做急夺险隘的样子以迷惑敌人，自己亲自冒着箭矢滚石，率众攻取险隘，贼众数万人全部崩溃，马进被追兵杀死，李成逃到北方投降刘豫，各郡全部平定。朝廷拜张俊为太尉。
绍兴四年(1134)十月，金朝和刘豫分兵数道入侵。开始消息传来，举朝震惊恐慌，有人请求高宗逃避到其他地方。张俊对赵鼎说：“准备逃避到哪里去呢？只有向前进一步，才能免除祸难。应当集结天下的兵力守卫平江，慢慢图谋对付敌人的计策。”赵鼎说“：你说逃避不是良策，是对的；但用天下所有的兵力守卫一州，又不对。你只管坚持前面议论就足够了。”于是任命张俊为两浙西路、江南东路宣抚使，屯驻建康。不久改任淮西宣抚使。濒临长江同敌人相持超过一个月，敌人终于没能南进。张俊派张宗颜悄悄渡江到六合，出敌背后。敌军准备退走，张俊又派王进说：“敌军既然已经无心留下，必然径直渡过淮河北去，应立即在其没有渡河时攻击它。”王进前往，敌军果然渡河，于是在淮河向敌人发起进攻，大败敌军，俘虏敌将程师回、张延寿献给朝廷。
绍兴五年(1135)，刘麟率兵入寇，张俊和杨沂中合兵在泗州抵御。绍兴六年(1136)，张俊改为崇信、奉宁军节度使。刘麟率兵十余万进犯濠、寿州，朝廷诏令以淮西隶属张俊，杨存中也听从他指挥，同张俊合兵抵御敌人。张俊分别派遣杨存中和张宗颜、王玮、田师中等人，从定远军到赵家坊，遇到刘猊左右军，将其击退。张俊率领大军击鼓前进，到达李家湾同刘猊大部队遭遇，双方交战，刘猊军全军覆没，投降的达到一万多人，刘猊只身逃脱。朝廷拜张俊为少保，加镇洮、崇信、奉宁军节度使。高宗说：“你的议论持平慎重，深刻了解敌情，统率精锐部队数万人，报效国家像这样，我还有什么忧虑。”又说“：群臣说我对待你特别优厚，你应该体念我的眷顾关怀，更加努力报效。”
绍兴七年(1137)，张俊改任淮南西路宣抚使，把宣抚司设在盱眙。张俊和韩世忠入朝觐见高宗，计议转移防地。秦桧上奏“：臣曾经说韩世忠、张俊，陛下依赖这两位大将，譬如两只猛虎，本来应当各自守卫国家门户，使敌人不敢逼近。”高宗说：“他们正如左右两手，怎能一手不尽力呢？”命令张俊从盱眙移屯庐州。绍兴八年(1138)，金朝请求休战，宋朝答应了。高宗赐张俊为“安民靖难功臣”，拜官少傅。
绍兴九年(1139)冬，金朝又毁弃盟约，再次攻破河南，图谋攻取顺昌府，命令张俊率兵策应刘钅奇。张俊督促军队渡过长江，金军退走。不久金朝三路都统从东、南两京分路前来侵犯，进抵亳州北边渡过黄河，张俊派宿、亳各军出击，全部收复卫真、鹿邑等地，回师。绍兴十年(1140)，郦琼在亳州，张俊率大军到达城父，都统制王德攻占符离，乘胜直趋亳州同张俊会合。张俊率兵入城，金军弃城逃遁，父老百姓排列香案鲜花迎接张俊，于是收复亳州，留下统制宋超镇守。张俊率军返回寿春，朝廷进他为少师，封济国公。
绍兴十一年(1141)二月，兀..进入合肥，进攻历阳，江东制置大使叶梦得会见张俊，请求迅速出兵。张俊派兵渡江，对众将说“：先夺取和州的有赏。”王德愿意作为各军的前锋，士兵鼓噪前进，敌军已经占据和州，王德率部在采石渡江首先登岸，张俊夜宿中游。王德进抵城下，金军退屯于昭关，三天后，又在含山击破金将韩常军。张俊命令关师古收复巢县，于是收复昭关。派左军统制赵密在竹林中悄悄行军，出六丈河以分散金军。张守忠率五百名骑兵在全椒击败金军。不久，敌人截断桥梁以抵御张俊，张俊生病，带病率众涉河登岸，追击敌人。王德同杨存中、刘钅奇合兵，在柘皋击败金军。朝廷任命张俊为枢密使。张俊了解到朝廷打算罢免各大将兵权，首先请求交还所统辖的兵力。朝廷奖赏宿、亳之战有功人员，张俊部将王德、田师中、刘宝、李横、马立、张氵解六人同一天首先受到重赏。
张俊极力赞同与金朝讲和，与秦桧意图相合，对秦桧的言论无不听从。推荐士大夫担任监司、郡守的有很多人。刘子羽从被贬谪中起家，也是张俊出力的结果。朝廷加张俊为太傅，封广国公，不久进为益国公。绍兴十二年(1142)十一月，由于殿中侍御史江邈弹劾他，罢免为镇洮、宁武、奉宁军节度使，充任醴泉观使。当初，秦桧因为张俊赞同与金讲和，感激他，因此众将全都罢免，将兵权交给张俊。过了一年多时间，张俊没有交出兵权的意思，因此秦桧指使江邈攻击他。不久进封为清河郡王奉朝请。
绍兴十三年(1143)，诏令为张俊修建府第，派宦官在府中赐宴，以教坊乐部在旁劝酒助兴。绍兴十六年(1146)，改为静江、宁武、静海军节度使。绍兴二十一年(1151)冬，高宗来到张俊府中，拜他为太师，任命他的侄儿清海军承宣使张子盖为安德军节度使，其余子弟有十三人升官。
宋朝南渡以后，张俊最早掌握兵权，屡立战功，同韩世忠、刘钅奇、岳飞都是著名的将领，世人称为张、韩、刘、岳。但濠、寿之战，张俊和刘钅奇不和，只以杨沂中为心腹，因此造成了濠梁之难。岳飞冤案，韩世忠营救岳飞，张俊独自帮助秦桧构成冤狱，四人心术高下不同，相距十分遥远啊！高宗在众将中对张俊特别爱护优厚，但是警告他的话也从未离口。自淮西入朝觐见，高宗教他阅读《郭子仪传》；召入宫中，告诫他不要与民争利，不要大兴土木。
绍兴二十四年(1154)六月去世，时年六十九岁。高宗停止上朝视事三天，以一品官服收殓，高宗亲临祭奠痛哭。追封他为循王。