张齐字子响，冯翊郡人。因世代居住在横桑，故有时也说是横桑人。张齐小时很有胆量。最初张齐侍奉荆府司马垣历生。垣历生嗜酒成性，对待部下严厉残忍，不很尊重张齐。垣历生卸任归家，吴郡张稷担任荆府司马，张齐又跟随张稷，张稷很器重他，把他视做心腹，即使是家中的小事都交给他办理。张齐尽心尽力侍奉张稷，没有什么推辞畏惧的事。后来张齐随张稷回到京师。张稷担任南兖州太守，又提拔张齐为府中兵参军，开始委任张齐军职。
齐永元中(500)，义师举事，东昏侯征召张稷回京师，都督宫城诸军事，位居尚书省。义兵到来时，城外情况愈趋紧急，张齐每天造访王珍国，私下里与王珍国商定计谋。计谋已定，深夜领着王珍国到张稷处促膝交谈，张齐亲自举着蜡烛以促成计谋。第二天早晨，张齐与张稷、王珍国在内殿靠近东昏侯，张齐亲手杀了东昏侯。第二年，高祖即位，封张齐为安昌县侯，食邑五百户。多次担任宁朔将军、历阳太守。张齐不会写字，不认识字，但他为政清廉，所辖之郡治理得很好。
天监二年(503)，张齐回京担任虎贲中郎将。尚未接任此职，改任天门太守，宁朔将军仍如从前。天监四年(505)，魏朝将领王足侵犯巴、蜀，高祖任命张齐为辅国将军解救蜀地。张齐还未到蜀，王足退走，张齐进军戍守南安。天监七年(508)秋天，高祖派张齐设立大剑、寒冢二个戍守之地，领军回到益州。这年，张齐迁任武旅将军、巴西太守，不久加封振远将军。天监十年(511)，郡人姚景和聚众蛮蜒，抄断长江水路，攻破金井。张齐在平昌攻打姚景和，打败姚景和。
最初，南郑陷落于魏朝，于是在益州西部设置南梁州。南梁州刚刚创立，完全靠益州提供给养。张齐上夷獠义租，得米二十万斛。张齐又建立台传，兴办冶铸业，以满足南梁州的需要。
天监十一年(512)，张齐晋封假节称号，都督益州、外水各军。天监十二年(513)，魏国将领傅竖眼率军侵犯南安，张齐率兵抗击，傅竖眼退走。天监十四年(515)，张齐迁任信武将军、巴西、梓潼二郡太守。这年，葭萌人任令宗因众人对魏朝感到担忧，杀掉魏朝晋寿太守，以城降梁。益州刺史鄱阳王派张齐率大军三万，督促南梁州长史席宗范各军迎纳令宗。天监十五年(516)，魏朝东益州刺史元法僧派儿子元景隆来抗击张齐的军队，南安太守皇甫谌及席宗范从反面攻打元景隆，在葭萌大败魏军，在十多个城市大肆杀戮，魏国将领丘突、王穆等都来降梁。而魏国再增加了傅竖眼的军队，再来抗战，张齐兵少不利作战，领兵而回，于是葭萌再一次陷落于魏朝。
张齐在益州多年，讨伐蛮獠，他自己没有一年是安宁的。张齐在军中，能够身历辛苦屈辱，与士卒同勤作共苦乐。自画军营城垒，都从各方面得到方便，调配服装粮食资助军用，每个人没有什么缺乏的，既然为人心所附，蛮獠也不敢侵犯，因此张齐的威望、名声在庸、蜀广为流传。巴西郡占益州的一半，又是东行的要冲之地，刺史经过，军府长途跋涉，许多物资都很缺乏。张齐沿路集中粮食，种植蔬菜，经过的人都能取得供给。张齐能帮助办理的，多是这一类的事。
天监十七年(518)，张齐改封持节称号，都督南梁州诸军事、智武将军、南梁州刺史。普通四年(523)，迁任信武将军、征西鄱阳王司马、新兴、永宁二郡太守。未上任便去世，终年六十七岁。追赠散骑常侍、右卫将军。高祖送给办丧事的礼钱十万，布百匹，谥号壮。