高遵裕，字公绰，是忠武军节度使高琼的孙子。因父亲的恩荫历迁供备库副使、镇戎军驻泊都监。夏人入侵大顺城，李谅祚中箭逃走。恰好英宗去世，派高遵裕向西夏告哀，到达宥州祖庙，夏人派王盥接待，王盥穿着吉服来，高遵裕严辞谴责他，他才换去吉服。不久在客馆摆上酒席，席间谈到大顺城的事，王盥说：“你们是剽掠之徒。”高遵裕说：“你们的主上侵犯我们边境，负伤而逃，你的话不太荒谬了嘛！”夏人认为受了侮辱，立即派人应对，但来人终席没敢开口，王盥愤怒地说“：你蔑视我们夏国，我国城池虽小，也有十多万兵马，可以同你们在战场上一试高低。”高遵裕瞪着眼睛说“：我们主上有天赐的神武，你们别太张狂而去冒死。”当时李谅祚在屏风后偷看，摆手制止王盥。神宗听说后赞扬高遵裕，提升他为保安军知军。
横山豪杰想归宋，皇上让高遵裕告诉种谔谋取他们，种谔就攻取绥州。统帅因种谔擅自发兵而愤怒，想要对种谔处以军法，种谔恐惧，说是在高遵裕那得到的皇上密旨，因此种谔获罪，高遵裕也降为乾州都监。高遵裕升任通事舍人，主管西路羌部，驻在古渭寨，把他所部的羌兵分成三等，教他们学习军法。
熙宁初年，朝廷用王韶收复洮、陇二州，命令王韶为秦凤路沿边安抚，高遵裕为副安抚。不久把古渭寨作为通远军，任命高遵裕为知军。
第二年，他拿着归附的羌部的图籍和绘制的青唐、武胜的地形图入朝献给皇上，他被提升为引进副使、带御器械，让他回来治军。大军临时驻在庆平堡，晚上行军，早晨到野人关，羌人阻拒，高遵裕率亲兵一鼓作气打败敌人，在武胜城下安营，羌人逃走，就占据了武胜城。皇上下诏以武胜城为镇洮军，由高遵裕任知军。不久，以熙、河、洮、岷、通远为一路，高遵裕升任西上..门使、荣州刺史、充任总管，仍为通远军知军。第二年，王韶想攻取河州，高遵裕说“：古渭寨举事时，是先建堡寨，循序渐进，故此一举攻下武胜城。现在兵马和粮草都不齐备，一旦离开大本营很远去夺人之地，假使敌人占据要害阻击我们，我军就进退两难了。”王韶和李宪笑着说“：你怎么这么快就变了呢？”就派他守临洮。王韶攻打河州，果然没攻破。皇上赞同高遵裕的议论，命令他专管洮、岷、叠、岩州的没归附者。
高遵裕因俞龙珂的地界有盐井，于是筑盐川寨。瞎吴叱率诸羌威胁青唐，想侵扰边境，皇上下诏派张玉攻讨。高遵裕说“：青唐人没罪，只不过被生羌所胁迫罢了。”派副将和俞龙珂率众抵御瞎吴叱。青唐人见到俞龙珂哭诉，瞎吴叱知道青唐人不归附自己，就退去。高遵裕跟从王韶攻取岷州，攻下岷州后，高遵裕传令兵士说：“活捉老幼与得首级相同。”数万人得以活命。捷报传到京城，高遵裕加官为岷州刺史。
第二年，羌人乘景思立失败之机，围河、岷二州，道路几个月不通。有人请求退保别处，高遵裕说：“有敢议论这些的斩首！”岷州缺兵，守城者恐惧，高遵裕登上西门，派将纵入敌阵，又另选精骑兵从南门鼓噪而出，合击羌人，羌人败走。当时朝廷认为岷州城远难守，决定放弃。诏书到后，羌人已溃退了。高遵裕因功升为团练使、龙神卫都指挥使、熙州知州。因推荐张穆之为转运使，而张穆之有罪，他也获罪被罢为颍州知州。不久，转到庆州，又因事获罪，被罢为淮阳知军。
元丰四年(1081)，又任庆州知州。皇上诏命他和诸路一起讨伐夏国，他请求增加兵将，得到东兵十一将，马不够用，就用群牧马补充。皇上又命令他节制泾原兵，刘昌祚先到灵州，差一点得到灵州城，高遵裕嫉妒他，故意不采纳刘昌祚的计谋，结果兵败而回，此事见《刘昌祚传》。高遵裕被贬为郢州团练副使。
哲宗即位后，高遵裕被任用为右屯卫将军，主管中岳庙。去世时，享年六十岁，被赠官为永州团练使。绍圣中期，推重他，赠他为奉国军节度观察留后的官职。他的堂弟叫高遵惠。