马知节字子元，幽州蓟人。自幼孤苦。太宗时，以荫补为供奉官，被赐给现在的名字。十八岁时，任彭州监兵，因严厉监视众兵，大家像敬畏老将那样敬畏他。他又监潭州兵，当时何承矩为守臣，很是以文雅整饬吏治，知节仰慕，因而改变平日的志向和行为开始读书。雍熙年间，护兵博州，契丹入侵边境，在君子馆击败宋朝军队。在此之前知节修治城池修补战具，储积粮草，官吏百姓以此为生计。不久契丹军队果然到来，因为宋朝有准备，避开而去。
移知定远军。当时议论调发河南十三州的百姓运输粮饷，河北转运使樊知古刚好到定远军商议事情，知节说：“军少粟多，扬去腐烂的粟米，还可得到十分之六七。”樊知古同意了他的意见，果然获得粟米五十万斛，分发给各驻屯大军，于是省却了河南的工役。当时所部百姓入保躲避敌人，士兵有盗窃妇女首饰的，护军只是鞭笞遣走。知节说“：百姓躲避外患而来，反而遭受内寇之祸，这样可以宽恕，那么何以整肃下面呢？”马上命令处死。知深、庆二州，升任西京作坊使。
不久任梓州知州。李顺叛乱，诏令知节与王继恩共同讨伐。王继恩依仗权势按自己的意图放任行事，厌恶知节不依附自己，派他守彭州，交给他三百名瘦弱之兵，彭州旧有的士兵，全都召回成都。知节屡次请求增加兵员，没有得到同意。李顺以十多万人攻打彭州城，知节力战，从清晨到黄昏，士兵大多死亡，他感慨地叹息说：“死于贼人手里，不是勇士。”就横拿着长矛突围而出，将近天亮，援兵来到，又呐喊入城，贼人于是溃退离去。太宗听说后感叹地说“：贼众我寡，知节不容易抵挡。”授任益州钤辖，加封益、汉九州都巡检使，升内园使。恰逢韩景..部将刘旰胁迫官兵作乱，接连攻占州县，人数超过二千。知节率领三百军队，追到蜀州，与之战斗，刘旰逃往邛州。知节说：“贼人攻破邛州，必定乘胜渡江逼迫我军，等到休息后再战，官军虽然是贼人的两倍，追击它也劳累，不如趁其困敝加紧攻击，这样必然击破它。”于是出发。官军在方井镇停留，与刘旰遭遇，杀得贼人无人幸存。
咸平初年，掌领登州刺史，任秦州知州。秦州曾经以羌人酋长支属二十多人为人质，超过二十四年了。知节说：“羌人也是人，难道不想回家？”全部遣回。羌人感激，一直到最后，不再进犯边塞。当时秦州有银矿，年代久远矿物竭尽，但税额没有废除，负责的官吏破产，不足以偿还这笔税额。知节请求朝廷免除税额，三上奏章，才得到允许。升任西上..门使，知益州兼本路转运使。自从乾德年以后，每年漕运蜀州物资，动辄超过万计。当时征籍富民来负责船运，因漕船沉没而破产的人很多。知节请求代督漕运以便察看实地而考核漕事，从此蜀人赖以免去祸患。
移知延州兼..延驻泊部署。边敌将到，正好是元宵节，就命令张灯启关，接连几晚宴饮欢乐，敌人不能探知底细，就退去。恰逢镇州程德玄政事弛废，调知节代理他的职务。诏令调发澶、魏六州粮食输往定武，当时军队交战于边境上，知节说：“粮食到来，这是资助盗窃。”只令在船车所到地方收取，敌人无所得而逃走。
皇帝在澶渊，当时王超拥有几十万军队屯驻真定，逗留不前进。知节移文书谴责他，王超才出兵，还是以中渡无桥为借口。知节预先准备渡河的材料，一晚而完成。景德年中，移知定州，不久，被授任东上..门使、枢密都承旨，提升授任签书枢密院事。
在当时，契丹已结盟，中国平安无事，大臣言符瑞吉祥之事，但知节每每不以为然，曾经说“天下虽然安定，但不可以忘战去兵”作为告诫。自己陈述年纪未衰，五七年间还可以被使唤，如果边地有警，愿意参预行动，只要得到副都部署名及几匹良马、一队轻便部队就足够了。皇帝表示肯定，因而命令制造钢铁锁子甲赐给他。进官宣徽北院使，加封兼枢密副使。当时王钦若为枢密使，知节因看不起他的为人，遇事敢于说话，从未曾稍有屈服。每次在朝廷议事，得知王钦若不公正，就当面辱骂他。当时王钦若受皇帝的宠爱正盛，知节更加不肯屈节讨好。
大中祥符七年(1014)，知节任颍州防御使、潞州知州。天禧初年，移知天雄军，召授宣徽南院使、知枢密院事。因病请求罢免，被任命为彰德军留后、知贝州兼部署。将要赴任，真宗怜悯他瘦弱患病，只命他返回安居。当时上党、大名的百姓已争相来迎接请见。不久，知节去世，终年六十五岁。赠侍中，谥号正惠。
知节是将家之子，慷慨以武力智谋自许，又能喜好读书，以儒生为宾客朋友，所有与他交好的，必定是一时豪杰，议论事情正直从不有所顾忌，因此听闻他的气节的人，也知道知节为人正直。