褚遂良，是散骑常侍褚亮的儿子。大业末年，跟随他的父亲在陇右，薛举称帝时，安排褚遂良为通事舍人。薛举失败后，他投奔朝廷，被任命为秦州都督府兵曹参军。贞观十年(636)，由秘书郎迁任起居郎。遂良广博地涉猎文史，特别擅长隶书，他父亲的朋友欧阳询非常看重他。太宗曾经对侍中魏征说“：虞世南死后，没有人可以谈论书法。”魏征说：“褚遂良下笔遒劲，很得王逸少书体的真髓。”太宗当天就召令遂良为侍书。太宗曾经出王府重金购求王羲之的书法真迹，天下的人争着携带古代书法赴皇帝的殿廷献给太宗，当时不能分辨这些墨迹的真伪，遂良一一详细论述它们的源流出处，没有一点错误。
贞观十五年(641)，太宗下诏，准备到泰山封禅，先到洛阳，彗星出现在太微座，冲犯郎位。遂良对太宗说：“陛下拨乱反正，功超前烈，东狱即将大功告成，天下非常幸运。然而走到洛阳，彗星就出现，这或许是有上天不许可的事。况且汉武帝犹豫不决数年，才举行泰山封禅礼，臣下的愚见恭请陛下详细考虑抉择。”太宗认为他说得很对，下诏停止了封禅的事。当年，遂良迁任谏议大夫，兼任起居事，太宗曾经问他说：“你担任起居，记录什么事，大概人君能够看到它吗？”遂良回答说：“现在的起居，就是古代的左右史，写人君的言行事迹，而且记录善恶，作为鉴戒，也许可以令人主不做非法的事，没有听说帝王亲自看史的。”太宗说“：朕有不好的事。你也必定记下它吗？”遂良说“：遵守道德不如遵守自己的职责，臣的职责应当记载笔录，君王的举动必定记下来。”黄门侍郎刘洎说“：假若遂良不记，天下的人也会记下来。”太宗认为他们说的对。
当时魏王被太宗宠爱，对他的礼仪秩序等级像对嫡子一样。当年，太宗问侍臣说“：当今国家什么事最急迫？”中书侍郎岑文本说“：《左传》说‘导之以德，齐之以礼’，由此而言，礼仪最急。”遂良走上前说“：当今四方仰慕德行，谁敢做非分的事？但是太子、诸王，必须有一定的名分，陛下应当让万代效法把它留给子孙。”太宗说“：这话是对的。朕年岁将近五十，已经觉得衰老倦怠。已经由长子主管东宫，弟弟和庶子的数目将近五十，心里时常忧虑的就是这件事了。但是自古嫡子与庶子没有良臣辅佐，何尝不会倾败国家。公等为朕搜访贤德的人才，用来辅佐太子以及各王，都要求正道之士。况且事奉人年岁长了，就会摸透性情巴结逢迎，不怀好意伺机而动的现象，多由此发生。”于是限制王府官僚任职不得超过十二年。
贞观十七年(643)，太宗问遂良说：“舜造漆器，禹雕切肉的砧板，当时劝谏舜、禹的有十余人，食用的器物之间，为什么苦谏呢？”遂良回答说“：雕琢妨害农业生产，锦绣赤色的绶带会妨害女红。首先创造奢侈和过分的浪费，国家的危亡就渐渐近了。漆器不禁止，必定用金做它，金器不禁止，必定用玉做它。所以诤臣必定劝谏事情渐发的开端，到它发展到极点，就没有什么可以再去劝谏的了。”太宗认为对，因此说：“作为人君，不忧虑人民而从事骄奢淫侈的事，危亡的时机可以反掌而待了。”
当时皇子年幼的多担任都督、刺史，遂良上疏说：“从前两汉靠郡国治理人民，除郡以外，分立诸子，分割疆土，杂用周朝的制度。皇唐州县，大略依照秦的法律。皇子幼年，有的授任为刺史，陛下难道不是用王的骨肉，镇压护卫四方？这种首创的制度，比以前历代帝王高明。臣下的愚见，有小的地方处置尚不够妥帖。为什么呢？刺史郡守，人民仰赖他得到安宁。得到一个好的人做刺史郡守，当地的人民都能休养生息；遇到一个不好的人做刺史郡守，全州的人民都会劳苦疲敝。因此人君爱惜百姓，常为人民选择贤德的官吏。有的称赞河润泽了九里，京都蒙受福恩；有的兴起歌咏赞叹，活着就为他立祠。汉宣帝说：‘与我共同治理国家的，只有贤能二千石。’以臣下愚昧的见解，陛下的儿子当中年岁还幼小不能够统管人的，暂且留在京都，教给他经学。一则使他畏惧天威，不敢犯禁；二则看见朝廷礼仪，自然成长自立。因此积累知识，自己懂得做人。审察他能够治理州县，然后派遣出京。臣谨按史籍，见汉明帝、汉章帝、汉和帝三帝，能友爱子弟，从此以后，其友爱子弟之法便成为后代的榜样。封立的各王，即使各自拥有国土，年纪还幼小的，召他们留在京都，用礼法训导他们，用恩惠垂爱他们。到三帝的朝代为止，封的王有数百人，只有二个王稍坏一些，其余的都自觉追求团结，感受教化，都成为善人。那么从前的事实已经验证，希望陛下详察。”太宗十分采纳他的意见。
当年，太子承乾因罪被废黜，魏王泰入宫服侍，太宗当面应许立他太子，因此对侍臣说“：昨天青雀自己投入我的怀抱说‘：臣今天才能够给陛下做儿子，是再生之日。臣只有一个儿子，百年之后，一定为陛下杀他，把王位传给晋王。’父子的伦理，原应当是天性，我见他这样，非常垂怜他。”遂良走上前说：“陛下失言，恭请陛下慎重考虑，不要使决策错误，哪有陛下百年之后，魏王执掌政权为天下的君王，而能杀死自己的儿子，传王位给晋王的呢？陛下从前立承乾为太子，而又重新宠爱魏王，礼数有的超过了对承乾的，确实因为嫡庶不分，所以到这个样子。隋鉴不远，足可以作为鉴戒。陛下今天既然立魏王为太子，希望陛下另外安置晋王，才能够安全。”太宗涕泪交流说“：我不能。”当天召长孙无忌、房玄龄与遂良等研究决策，立晋王为皇太子。
那时，经常有飞雉聚集在宫殿里面，太宗问群臣说“：是什么吉祥的兆头呢？”遂良回答说：“从前秦文公时，有童子变化为雉，雌雉在陈仓鸣叫，雄雉在南阳鸣叫，童子说：‘得到雄雉可以当王，得到雌雉可以成霸。’文公就把它叫作宝鸡。后汉光武帝得到雄雉，于是从南阳兴起而有天下。陛下原来被封为秦王，因此雄雉出现在秦地，所以这是显示完美德行的祥兆。”太宗高兴地说：“立身的道理，不可以没有学识，遂良博识，是十分可敬重的。”不久授遂良为太子宾客。
当时薛延陀派遣使者前来求婚，太宗答应把女儿嫁给薛延陀，收纳了他的财物聘礼，不久又不给女儿与他成婚。遂良上疏说：
“我听说诚信是国家的根本，百姓的归宿，因此文王允许重新掩埋枯骨而不违背道义，仲尼宁可绝食而坚守信义。延陀从前不过是一俟斤(一个属部首领的官)罢了，遇到神兵北上，扫平了沙塞、狼山、瀚海，万里萧条，陛下威力施加在域外而恩德建立在国内，认为余寇来往奔波，必须设立酋长，于是下玺书旗鼓，把延陀立为可汗。他感念陛下恩宠的光泽，对圣上的敬慕没有穷尽，而其余各地的异族，没有不听说知道的，因此共同沐浴和风一起蒙受恩惠信任。不久连年派遣大使，向我大唐国求婚，陛下又降下皇恩，应许与他结为婚姻。于是报告吐蕃，告诉思摩，诏示中国，五尺童子人人都知道这件事。于是陛下到北门，受纳了他奉献的酒食，当时百官端正地执着手板，异族穿着衣襟向左的民族服装，虔诚恭敬地接受喜乐的酒宴，都承受到美好的声誉，口歌手舞，欢乐终日。百官聚会结束，也各有议论，都认为陛下想求得百姓的安宁，不想让边境交战，于是不惜把自己的一个女儿嫁给可汗，在于预先顾惜苍生百姓，所以感念陛下的恩德。现在一旦产生反复的念头，有了改约悔婚的心思，臣为国家惋惜这美好的声誉。
“君子不对人心色不一，情不副色，不失信于人。晋文公包围原地，命军士各持三天的粮食，三天内原地不投降，命令解围离开原地。城中的间谍出来说：‘原地准备投降了。’军吏请求文公等到拔取原地城池再走。文公说：‘信，是国家的珍宝，百姓的依凭。得到原地而失信，还有什么让百姓依靠寡人？’陛下的考虑出于意料之外，诚信在许婚之前，现在对待事情，忽然背离通常的道理，所吝惜的很少，所失去更多，情理既然不通，就要产生由猜忌而形成的仇怨，一方因此相畏惧和猜忌，边境不会没有纷乱，西州、朔方能够没有骚扰吗？那边异族因为主子被欺辱而怀恨在心，这边士卒因为没有诚信而内心惭愧，因此不能教诲边关的军队，不能勉励军人的各项事务。陛下凭借圣德神功，肃清四方极远之处，自从治理天下以来，已经有十七年，以仁德恩义而结交众多的物类，以诚信道义安抚异族，百姓没有不愉悦的，深怕没有尽力报偿陛下的恩德。天下的生民，都想报答陛下厚重的恩德；他们所生的后代，也希望报答陛下的子孙。现在能把一个公主嫁给薛延陀可汗，用来成全陛下的诚信，使此事善始善终，都有赖于陛下的圣德呀！
“再说龙沙以北，部落无数，朝廷去攻击它们，终究不能把它们打尽，只是因为可比失败了，芮芮又兴起，突厥灭亡了，延陀又强盛。因此古人谦虚对待外族而巩固内部，用仁德信义感化他们。作恶在于异族而不在于中华，失信在于他们而不在于我们。陛下圣德无边，威灵远震，于是平定高昌，击败吐浑，封立延陀，剪灭颉利。减轻刑罚薄征赋税，各种事务没有阻滞，粮食富足便宜，吉祥的符瑞接连到来。这就是尧、舜、禹也不及陛下长久。在下希望陛下对边疆远播教化之礼，广施含育之恩，但常常怪罪极远的地域，有意疏远异族，不是休战兴文的办法，不是止息兵戈为武的行为。臣因为平凡愚昧，愧居陛下身边，斗胆奉献这些瞎话，不胜战栗畏惧。”
当时太宗想亲自出征高丽，环顾身边的侍臣对他们说“：高丽的莫离支这个叛贼杀了高丽王，虐待役使高丽的人民。出师抚慰高丽的人民讨伐莫离支，应当趁这个机会，现在因为莫离支反叛亲君肆虐百姓，讨伐他非常容易。”遂良回答说“：陛下兵机神算，人不能知。从前隋末政治混乱，陛下亲手平定敌贼。到北狄侵犯边疆，西蕃失礼，陛下想命令将领攻打它们，群臣没有不苦言劝谏的，陛下独自决断进军讨伐，结果都被治除平定。境内的人民，域外的国家，害怕神威而恐惧屈服，是因为您的这个举动。现在陛下准备兴师征伐辽东，臣心里迷惑。为什么呢？陛下的神威武勇，不比前代的帝王，军队既然渡海伐辽，只期望攻克获胜，万一不能取胜，没有威力向远方显示，如果再发动忿怒的兵众，就安危难测了。”太宗认为他说得很对。兵部尚书李责力说：“近来延陀进犯边疆，陛下必定想追击，这时陛下采纳魏征的意见，就失去了机会。假若依照陛下圣明的决策，延陀没有一个人能活着回去，可以确保五十年内疆场没有战争。”太宗说“：确实像你说的这样，因为魏征而误大计了。朕不想因一计不当，而指责他，现在既然又有良策，怎么肯再失谋。”因此听从了李责力的意见，策划安排渡海伐辽的军队。遂良因为太宗专心一意想攻打三韩，恐怕他留下悔恨，第二天上疏劝谏说：
“臣听说国家譬如身体，两京等于心腹，四境好比是手足，他方远地好像是在身体之外，臣近在陛下身边坐下，伏在地上奉听陛下口令，说自己想征伐辽东。臣数夜思量这事，不明白这当中的道理。高丽王是陛下所立，莫离支擅自杀他的君主，陛下讨伐逆贼收回领地，这确实是机会。关东依靠陛下仁德的恩泽，长期没有战争，只须命令二三名勇将发动四五万兵士，放飞石用轻梯，攻取它易如反掌。圣人的作为，必须遵循常规，贵在能攻克平定凶暴动乱，驾驭贤才杰士。只有陛下弘扬天地之道，煽动三皇五帝之风，提拔人物，都想尽力效命。从前侯君集、李责力，都是人们所说的庸夫，尚且能扫平万里的高昌，平定千年的突厥，都是陛下指挥作战，声望归于陛下的圣明。臣广泛地寻求史籍，到近代为止，作为君主，没有御驾亲征攻伐辽的，人臣去征伐，那是有的。汉朝有荀彘、杨仆，魏代就有毋丘俭、王颀；司马懿出征时尚为人臣，慕容真是一个超越本分自己称帝的人的儿子，都为他们的君主长驱高丽，掳掠那里的人民，削平高丽的城垒。陛下立功等同于天地，好的风尚包容了古代往昔，自然应当超越历代百王，难道止降格等同于上述的六个臣子。陛下从前剪平敌寇逆贼，有很多武臣，年纪未老，还可以任用，不是只有陛下自己可以出使，又有什么征而不胜的。
“刚巧现在太子刚刚封立，年纪确实幼小；自己余下的保卫，陛下是知道的。现在一旦抛弃金城汤池一样坚固的安全，远渡辽海之外，臣忽然三思，烦虑愁绪交集。大鱼依靠巨海，神龙凭据江河源泉，这是说人君不可以轻易地远征。况且在长辽左方，或许遇到大雨连绵不断，大水积聚波浪翻腾，平地淹没，水深数尺。带方、玄菟，海途深远无边，不是万乘之尊的帝王适宜行走践踏的地方。东京、太原，称为中心地带，东边指挥可以造声势，西边指挥足可以摧毁延陀，它对于西京，路途不远。可以在此节制调度，设置军事谋划，绑住莫离支的头颈，献进皇家的宗庙。这确实是使国家处于安全的上策，社稷的根本，特此乞求陛下降慈悲之恩，明察垂省臣之所议。”太宗不采纳遂良的意见。贞观十八年(644)，拜遂良为黄门侍郎，参与总揽朝政。
高丽莫离支派遣使者进贡白金，遂良对太宗说：“莫离支虐杀他的君主，他的罪过九族所不容，陛下因此举兵，准备抚慰高丽百姓征伐莫离支，为辽山人民的君主受辱报仇雪耻。古时候，讨伐杀君的叛贼，不受他的贿赂。从前杀君的叛臣宋督送给鲁国国君郜鼎，鲁桓公接受了郜鼎，把它安放在太庙里，臧哀伯劝谏说‘：国君显示德行禁止邪恶，而今消灭德行建立邪恶，而在太庙安置叛贼贿赂的器物，百官仿效它，又怎么诛灭叛贼呢？武王攻取商，把九鼎迁到洛邑，义士还有非议他的，何况把显示邪恶叛乱的贿赂器物安置在太庙，这像什么样子呢？’《春秋》这部书，百王效法，如果收受背叛君主之人的器物，接纳杀君逆贼的朝贡，不认为是过错，怎么讨伐？臣认为莫离支所献的白金，自然不能接受。”太宗采纳这个意见，把进贡的白金交给了使者的属员。
太宗已经灭了高昌，每年调派一千多人防范控制高昌，遂良上疏说：
“臣听说古代圣明的君主，必定先治理华夏之后再治理异族夷狄，从事扩大道德教化，不使它远离衰败。因此周宣王少征伐，到边境而止；秦始皇于边塞穷兵黩武，中国分离。汉武帝依仗文帝、景帝聚集的财物，凭借军事上的余威，开始与西域交往，开始设置校尉。军队接连出征，近三十年。又在宛城得到天马，在安息采到葡萄。然而境内空虚衰竭，生民百姓流离失所，租税征到六畜，算计到了车船，因此遇到灾年，盗贼并起。搜粟都尉桑弘羊又观望君主的意思，派士卒在轮台屯田，筑城来威胁西域。汉武帝很快而彻底地追溯以往而悔悟，感情从中引发，放弃了轮台的田野，降下文辞凄切悲伤的诏书，人与神都感动得心悦诚服，境内才安乐。假使武帝又采用桑弘羊的意见，天下的生灵都将殄灭殆尽。因此光武年间国家兴旺，势力不越过葱岭；孝章即位，西域都护来归顺。
“陛下诛灭高昌，威力施加到西域，收容那里凶恶的人，作为州县。然而君主的军队开始出发的时候，就是河西供役之时，车船飞驰急运粮草，仓库十室九空，数郡萧条，五年都不能恢复。陛下每年派遣一千多人到很远的地方从事耕作防卫，与家人终年离别，万里思归。去的人费用行装，自己必须料理准备，卖完粮食，倒下机杼。路途中的死亡，还在这以外，同时遣送罪人，又须增加对他们的防范控制。那些罪人，生活在从事买卖的集市，整天不务正业，犯禁违法，只会在边城扰乱，确实对战阵无益。所遣送的罪人中，又有逃亡，官府捕捉，给国家造成事端。去高昌的路途，沙漠千里，冬季寒风凛冽，夏天炎风如焚，来往的行人，遇到这样的风大多死去。《易经》说‘：安不忘危，理不忘乱。’假如张掖发生骚乱，酒泉出现战事，陛下难道能够得到高昌一人的粮食来应付这些事吗？最终必须发动陇右各州，像流星奔驰雷电闪击般迅速地赶来救援。由此而言，这河西比方是处在心腹，那高昌是他人的手足，怎么能够耗费中华的资财，用来从事没有用的事？《尚书》说‘：不做无益害有益。’它所说的正是这种情形吧！
“陛下道德反映了天赋，威力不施到域外，在沙塞平定颉利，在西海消灭吐谷浑。突厥残余的部落，为他们册立可汗，吐谷浑遗留下来的田民，重新树立君长。又重建高昌，不是没有前例，这就是人们所说的有罪就诛灭它，已经归服就扶立它。四海及域外百族，谁没有听到看到，但凡天下生灵，都会畏惧威力仰慕德行。应当选择高昌可以册立的人册立他为可汗，征召首领，送还原来的国家，使他们承受洪恩，长期成为边境的屏障。中原不受侵扰，既富足又安宁，把这一切传给子孙，遗留永世。”
贞观二十年(646)，太宗在寝殿旁边另外设置一个庭院，让太子居住，绝不让他到东宫去。遂良又上疏进谏说：
“臣听说周代问安，来三次一定退下，汉朝的太子视膳(侍养义母长辈的礼节)，五天才来。从前圣人的做法，规模远大。礼说：男子十岁出门就读在教师门下，住宿在外边，是为他的学业盘算。然而古代的贵人，难道没有慈心，减此私爱，是想使他成长自立。世俗人尚且还能这样，何况国君的太子呢？自然应当春天诵读诗篇，夏天依弦乐和奏而歌唱，亲近老师，体察人间的各种事情，适应君臣的道理，即使举足伸头远望，都听到高雅的音乐声。好像一年的开始有阳春，青天有日月，弘扬这一美德，才做太子。在下考虑陛下道德孕育三才，功绩包容九州，亲自树立太子，天下没有不感到喜乐自得的。既然说废黜糊涂的太子册立英明的太子，必须称得上是天下仰望的楷模，然而教育他成长的方法，确实十分错误。太子不离父母，平常住在宫内，对师傅的说教不痛快，蔑视经书谈论的道理。况且朋友不能深入交往，深入交往必定有怨恨；父子不可以溺爱，溺爱或许会产生过失。希望陛下远看殷、周的做法，接近遵行汉、魏的方法，不可以马上改变，这事必须一步一步地逐渐改变。试着以十天作为一个阶段，一半的时间送回宫中，使太子专心学习技艺来润泽自己，在天下传布美好的名声，那么微臣即使是死了，也可以说是和活着一样。”
太宗听从了他的意见。
遂良前后谏奏及陈便宜书数十以上，多被太宗采纳。那年，担任银青光禄大夫。贞观二十一年(647)，遂良以本官的身份检校大理卿，不久为父亲居丧期满。第二年，起用他恢复旧职，接着被拜为中书令。
贞观二十三年(649)，太宗病危，召遂良及长孙无忌进入他的卧室，对他们说“：你们忠直刚烈，朕都记在心里。从前汉武帝委托霍光，刘备委托诸葛亮，朕的后事一切都委托你们。太子仁义忠孝，是你们全都知道的，必须竭诚尽力辅佐太子，永远保住宗庙社稷。”又回头对太子说：“无忌、遂良在，国家的事，你不用担心了。”于是命遂良草拟诏书。高宗即位后，赐遂良河南县公的爵位。永徽元年(650)，晋封为郡公，不久因犯事出京任同州刺史。永徽三年(652)，征拜遂良为吏部尚书、同中书门下三品，监修国史，担任光禄大夫。当月，又兼任太子宾客。永徽四年(653)，代理张行成任尚书右仆射，依旧主持政事。
永徽六年(655)，高宗准备废黜王皇后，册立昭仪武氏则天为皇后，召太尉长孙无忌、司空李责力、尚书左仆射于志宁及遂良一起策划这事。将要进宫时，遂良对无忌等说：“皇上的心意想要废黜皇后，必定议论这件事，遂良今天想陈述理由劝谏，你们意见怎么样？”无忌说：“明公必须极力劝谏，无忌请求继续陈述这个意见。”到他们进宫后，高宗难以开口，再三望着无忌对他说：“最大的罪过之中，绝后是最严重的。皇后没有子息，昭仪有儿子，现在想立昭仪为皇后，你们认为怎么样？”遂良说：“皇后出自名家，先朝的时候所娶，服侍先帝，妇德没有过失。先帝没有犹豫，拉着陛下的手，对臣说过这话：‘我好儿好妇，现在准备托付给你。’陛下亲耳听到先帝的善言，言犹在耳。皇后从此没有听说有过失，恐怕不能废黜。臣今天不敢曲从，上违先帝的命令，特意请陛下再三思考审察。愚臣触犯了圣上的尊严，罪该万死，只愿不辜负先朝的厚恩，哪里还顾性命。”遂良把上朝时执的手板放到殿前的台阶上，说“：还陛下这个手板。”多次解下头巾叩头流血。高宗大怒，命令带遂良出殿。长孙无忌说“：遂良受先朝遗诏为顾命大臣，有罪不施加刑法。”第二天，高宗对李责力说：“册立武昭仪的事，遂良固执不肯顺从。遂良已经是受先朝遗诏的顾命大臣，事情如果不行，则应当暂且停止。”李责力回答说：“这却是陛下的家事，不适宜问外人。”高宗这才册立昭仪为皇后，降任遂良为潭州都督。显庆二年(657)，转任桂州都督。没有多久，又被贬为爱州刺史，第二年，遂良死在任上，终年六十二岁。
遂良死后二年多，许敬宗、李义府奏告说长孙无忌所造成的逆谋，是同遂良一起煽动的，于是追削遂良的官爵，把他的子孙发配流放到爱州。弘道元年(683)二月，高宗遗诏把他们放回本郡。神龙元年(705)，则天遗诏恢复遂良及韩瑗的爵位。