段荣，字子茂，姑臧武威人氏。祖父段信，仕沮渠氏，后入魏朝，因豪族身份被迁徙回北方，依然定居在五原郡。父亲连，安北府司马。段荣少时喜好历术，专攻星象。正光初年，对人说：“《易》云‘观察天文以测定时事的变迁’，又称‘上天显示征兆，人世出现吉凶’，今观天象，察人事，不到十年，国家当有大乱。”有人问：“天象从哪个地方出现？可以躲避吗？”段荣答：“造乱之源，此地为始，大概天下就要因此大乱，那是无法逃避的。”不长时间，果如其言。段荣遭乱，同乡邻朋友携带妻子，向南跑到平城。适值杜洛周作乱，段荣与高祖图谋杀掉洛周，没有成功，一块投奔了尔朱荣。
后高祖在山东举起义旗，段荣赞助促成了大计的筹谋。任行台右丞，西北道慰喻大使，巡察晓谕，所到之处，纷纷归顺高祖。高祖南行讨邺，留段荣镇守信都，委任其为镇北将军、定州刺史。此时高祖虽然未能攻占邺城，但所需要的粮草给养，完全仰仗段荣的转运输送。高祖进洛阳后，论功行赏，封段荣姑臧县侯，食邑八百户。转授瀛州刺史。段荣之妻，皇后的姊姊，荣担心为高祖招致任人唯亲的议论，一个劲地推荐他人，终于没有赴任。不久，行相州刺史事，稍后，拜济州刺史。天平三年(536)，转行泰州刺史事。段荣性格温和，在任职之地均推行仁政，因此深得民吏的敬爱。当初，高祖计划进攻关右，同段荣密谋，却没有得到支持。在渭曲失利之后，高祖才后悔，说：“我不听段荣的话，得到了这样的结果。”四年(537)，拜山东大行台、大都督，甚得民心。元象元年(538)，授仪同三司。二年五月卒，年六十二。赠使持节、定冀沧瀛四州诸军事、定州刺史、太尉、尚书左仆射，谥昭景。皇建初年，配享高祖庙。二年(561)，重赠大司马、尚书令、武威王。长子段韶继嗣。