牛皋字伯远，汝州鲁山人。当初是射士，金军入侵时，牛皋因聚众人同金军作战，屡次获胜，西道总管翟兴上表朝廷授予他为保义郎。杜充任东京留守时，牛皋在鲁山讨伐势力强大的贼寇杨进，三战三胜，贼众奔溃逃命。累次升迁为荣州刺史、中军统领。金军再次进攻京西，牛皋与敌大战十余次都获得胜利。升为果州团练使。京城留守上官悟任命他为同统制兼京西南路提点刑狱。金军攻江西，自荆门北撤，牛皋率部埋伏在宝丰的宋村，将敌人击败。升和州防御使，充任五军都统制。又与金将孛堇战于鲁山邓家桥，将孛堇击败。转任西道招抚使。伪齐向金请师入侵南宋，牛皋在险要之地设置埋伏，自己率军驻扎在丹霞等待来犯之敌。敌军悉众前来，牛皋伏兵突起，将敌将郑务儿活捉。升为安州观察使，不久任蔡、唐州、信阳军镇抚使、知蔡州。同敌作战总是获胜，加亲卫大夫。
适逢岳飞制置江西、湖北，将通过襄、汉规划中原，朝廷命令牛皋隶属岳飞军。岳飞十分高兴，当即命令他为唐、邓、襄、郢州安抚使，不久改为神武后军中部统领。伪齐派李成联合金军大举入寇，攻破襄阳六郡。敌将王嵩在随州，岳飞派遣牛皋出征，带三日口粮。粮食尚未吃完，牛皋已攻拔随州城，抓住王嵩并将其斩首，得到士卒五千人，于是收复随州。李成占据襄阳，岳飞派牛皋率骑兵将其击败，收复襄阳。
金军进攻淮西，岳飞派遣牛皋渡过长江，自己率兵同牛皋会合。当时伪齐派骑兵五千进攻庐州，牛皋遥对金将说：“牛皋在此，你辈为什么前来侵犯？”敌众都惊慌失措，不战而逃。岳飞对牛皋说：“一定要追击，不然敌人卷土重来，对我们不利。”牛皋于是挥兵追击三十多里，金兵自相践踏及被杀伤的各占半数，此战斩杀其副都统及千户五人、百户数十人，军威大振。
庐州平定后，朝廷晋升牛皋为中侍大夫。随从岳飞平定杨么，将杨么击溃。杨么无计可施，将钟子仪举起投入水中，接着自己也跳入水中。牛皋跳进水中把杨么活捉，岳飞将其斩首传送至都督行府。朝廷升牛皋为武泰军承宣使，改为行营护圣中军统制，不久任湖北、京西宣抚司左军统制，加任龙、神卫四厢都指挥使。
金人毁弃盟约，岳飞命令牛皋率师转战于汴京、许昌之间，因为功劳最大，被升为捧日天武四厢都指挥使、成德军承宣使，枢密行府以牛皋管理一切事务。宣抚司罢废后，牛皋改为鄂州驻答刂御军左军统制，升真定府路马步军副统总管，转为宁国军承宣使、荆湖南路马步军副总管。
绍兴十七年(1147)，都统制田师中宴请诸将，牛皋中毒，急忙回府，对其亲信说“：我今年六十一岁，官至侍从，托天之幸，也该感到满足了。遗憾的是南北通好议和，不能以马革裹尸战死沙场，反而死于床牖之上。”次日逝世。有人说是秦桧指使田师中毒害牛皋。
起初，秦桧主张和议，不久，金军背信弃义，撕毁盟约向南侵略，高宗亲笔书写诏令赐令岳飞自行处理有关事务。岳飞于是任命牛皋和王贵、董先、杨再兴、孟邦杰、李宝等经略东西京、汝、郑、颍、陈、曹、光、蔡各州郡；又派梁兴渡河，会合忠义社攻取河东、北州县。不久，李宝在曹州取得大捷，在宛亭取得大捷，在渤海庙取得大捷；董先、姚政在颍昌取得大捷；刘政在中牟取得大捷。张宪收复颍昌、淮宁府；王贵部将杨成收复郑州；张应、韩清收复西京。牛皋和傅选在京西取得大捷，在黄河上取得大捷。孟邦杰收复永安军，他的部将杨遇收复南城军，又与刘政在京西取得大捷。梁兴会同太行忠义军及两河豪杰赵云、李进、董荣、牛显、张峪等在垣曲打败金军，又在沁水取得大捷，追到孟州的邵原，金张太保、成太保等率军降宋，又在济源打败金军高太尉。乔握坚等收复赵州；梁兴在河南府取得大捷，在永安军取得大捷；梁兴在河北攻取怀、卫二州，大败金兀术军，切断山东、河北金帛马纲道路，金军大受困扰。不久，岳飞奉命回朝，下大理寺狱冤死，世人无不痛惜愤恨。