徐伯阳字隐忍，东海人。祖父徐度之，是齐南徐州议曹从事史。父亲徐僧权，是梁东宫通事舍人，兼秘书，以擅长书写知名。
徐伯阳聪明好学，听父母的话，能一直温言善语地侍奉父母，进退举止有礼节。十五岁时，以文笔优美扬名。学习《春秋左氏》。家中藏有史书，他读了大约三千多卷。赴试成绩很好，尚书征补他为梁河东王国右常侍、东宫学士、临川嗣王府墨曹参军。大同年间，出任侯官令，很得民心。侯景之乱时，徐伯阳从海上向南去到广州，依附于萧勃。萧勃被平定后回到朝廷，又携带家属去到吴郡。
天嘉二年(561)，诏令他侍太子读书。不久任司空侯安都府记室参军事。侯安都久闻其名，看见他，设大席为礼。甘露降在乐游苑，诏赐侯安都，侯安都吩咐徐伯阳写答谢奏章，世祖看后称奇。太建初年，中记室李爽、记室张正见、左民郎贺彻、学士阮卓、黄门郎萧诠、三公郎王由礼、处士马枢、记室祖孙登、比部贺循、长史刘删等为文会之友，后来又有蔡凝、刘助、陈暄、孔范也参加进来，他们都是那时的文人士子。游宴赋诗，编成书籍，徐伯阳为之作序，颇为流行。
新安王任南徐州刺史后，徐伯阳任镇北新安王府中记室参军，兼南徐州别驾，代理东海郡丞。鄱阳王任江州刺史，徐伯阳曾奉命出使到那里，鄱阳王率领府中幕僚和徐伯阳登上匡岭，设宴，酒酣时，鄱阳王命他们写剧韵二十，徐伯阳和祖孙登率先完成，鄱阳王赐给他们奴婢和杂物。新安王回京后，徐伯阳任临海嗣王府限外咨议参军。十一年春，皇太子驾临太学，诏新安王在辟雍发布《论语》试题，又命徐伯阳作《辟雍颂》，其文很被欣赏。任镇右新安王府咨议参军事。十三年，听到姐姐去世的消息，生病而死，时年六十六岁。