江淹字文通，济阳考城人，父亲江康之，作过南沙县令，很有才气。江淹从小丧父，家境贫寒，常仰慕司马相如、梁鸿的为人，不屑于从事经学训诂，而倾心于诗赋文章。早年被高平檀超赏识，常请他坐上席，厚加礼遇。
初次作官为南徐州从事，又转任奉朝请。宋朝建平王刘景素爱结纳士人，江淹在南兖州跟随景素。广陵县令郭彦文被治罪，供词牵连到江淹，说他曾经受贿，江淹被下狱。他在狱中给刘景素上书申辩。景素见到书信，当天就把他放了出来。不久被举为南徐州秀才，在朝廷对策时列为上等，又改任建平王府主簿。
景素作荆州刺史，江淹跟随他到任所。宋少帝即位，不行德政，景素占据专断长江上游，很多人都劝他就此起事。江淹却每每劝止，景素不听他的劝告。等景素镇守京口，江淹作镇军参军，兼任南东海郡丞。景素与他的心腹谋划叛乱，江淹知道祸事要到，于是向景素赠诗十五首婉言劝戒。赶上东海太宗陆澄因父母丧守孝离职，江淹认为自己是郡丞理应代理太守，而景素任命了柳世隆，江淹一再要求这职位，景素大怒，上报吏部，贬江淹为建安吴兴县令。
等齐高帝萧道成辅政，听说他有才华，召他为尚书驾部郎、骠骑参军事。不久荆州刺史沈攸之作乱，齐高帝问江淹说：“天下这样乱纷纷的，先生认为会怎么样呢？”江淹回答说：“从前项羽强而刘邦弱，袁绍众而曹操寡，然而项羽最终受杀身之辱，袁绍结果成败亡之徒，这就是所谓‘在仁德不在权位’，明公有什么可疑虑的呢？”高帝说：“请试着给我分析一下。”江淹说：“明公英雄威重又有奇谋，是胜兆之一；宽容仁爱，是胜兆之二；贤臣肯为你尽力，是胜兆之三；众望所归，是胜兆之四；奉天子而伐叛逆，是胜兆之五。对方野心大而才具小，是败象之一；有威严无恩德，是败象之二；士卒人心涣散，是败象之三；官宦不归心，是败象之四；孤军出征千里之外，而没有同党相助，是败象之五。那么虽然他有十万大兵，也终究要被我们消灭。”高帝笑着说：“先生说的过头了。”
桂阳王刘休范之乱，朝内恐慌，诏书檄文很长时间竟无人来写。齐高帝引荐江淹入中书省，先赏赐酒饭，江淹平时能吃能喝，一只烤鹅快要吃光，酒也喝了好几升，吃饭的功夫，文告也写完了。齐高帝晋位宰相，补他为记室参军，齐高帝辞让九锡及各种章表，都出自江淹之手。齐受禅代宋，江淹又任骠骑将军豫章王萧嶷的记室参军。
建元二年(480)，才设置史官，江淹和司徒左长史檀超共同担任这个职务，他所订立的条例，都被王俭驳回，写成的东西也没能在世上流行。江淹纵情于诗赋，对于著书立说并不在意，所撰写的十三篇史书居然没有次序。又兼东武县令，参与掌管诏令文书。后来拜中书侍郎，王俭曾对他说：“你三十五岁，已作了中书侍郎，有这样的才学，何愁作不到尚书三公。这正是所谓富贵你自然能取得，只是看寿限有多少了。”江淹说：“不料明公这样看重我。”
永明三年(485)，江淹兼任尚书左丞。当时襄阳有人挖开古墓，挖出玉镜和竹简古书，字已经不认识了。王僧虔善于识别各种文字，却也看不明白，只是说像是蝌蚪文字。江淹以蝌蚪文字来推究，认为是周宣王以前的东西，而竹简几乎和新的一样。
齐少帝初年，江淹兼任御史中丞。齐明帝当时作丞相，对江淹说：“先生从前在尚书省，除了干公务从不轻举妄动，在任上可谓刚柔相济。如今作监察官，一定完全能够整顿百官啊。”江淹回答说：“如今的事，只能说在其位谋其政罢了，恐怕还不能尽如您的旨意。”后来弹劾中书令谢月出、司徒左长史王绩、护军长史庾弘远，都因为他们托病不参加祭先帝陵墓。又奏请逮捕前益州刺史刘悛、梁州刺史阴智伯，都是贪赃巨万，全抓捕交付廷尉。临海太守沈昭略、永嘉太守庾昙隆以及各郡太守和大县县长，多被弹劾，一时朝廷内外规矩多了。明帝对江淹说：“自宋代以来，再没有过严明的御史中丞，先生如今可算是近世独一无二的了。”
历任秘书监、侍中、卫尉卿。当初，江淹十三岁时，父丧家贫，常打柴养活母亲，曾在打柴处捡到一顶高官所戴的貂尾蝉羽冠，想把它卖了养母。他母亲说：“这是上天故意给你吉祥之兆，你这样的才干品行，怎么会长久贫贱呢，可留着等当了侍中自己戴吧。”到这会儿果然应了母亲的话。
永元年间，崔慧景起兵造反包围京都，官僚士绅都去送名片，江淹却称病不去。等平定了崔慧景，人们都佩服他有先见之明。
东昏侯末年，江淹以秘书监身份兼任卫尉，又作领军王莹的副手。梁武帝起兵伐东昏侯到新林时，江淹换便服前去投奔，任相国右长史之职。天监元年(502)，任散骑常侍、左卫将军，封临沮县伯。江淹这时对子弟们说：“我本来就是无实权的闲官，并不图富贵，如今惭愧充任官职，已达到今天的地步。平生我常说的作人应该满足的事情，也都有了。人生随时都可行乐，何须非等到富贵之时。我已经功成名就，只打算归隐乡里了。”因有病改任位高职闲的金紫光禄大夫，并改封醴陵伯，后去世。武帝为他穿白衣以示哀悼，谥为“宪”。
江淹年少时以文辞扬名，到晚年才气稍减，据他自己说是作宣城太守罢官回家时，曾停泊在禅灵寺附近的河洲边，夜里梦见一个人自称是张景阳，对他说：“从前把一匹锦寄放在你这儿，现在请还给我。”江淹就从怀里掏出几尺还给他，这人大怒说：“怎么能裁剩下这么一点儿！”回头看见丘迟说：“剩下这几尺既然没有什么用了，送给你吧。”从那以后江淹的文章就一蹶不振。又说曾在冶亭投宿，梦见一男子自称郭璞，对江淹说：“我有一枝笔在你这儿放了多年，请还给我。”江淹从怀里摸出一枝五彩笔递给了他。以后再写诗完全写不出好句子了。当世人说他已经才尽。他所有的著作，自己编为前后集，和《齐史》十志合在一起，一同在世上流行。曾打算写《赤县经》以补《山海经》的缺失，到底没能写成。