吕文显是临海人。宋顺帝升明初年，为齐高帝萧道成录尚书省事，屡次升迁为殿中侍御史，后来作秣陵县令，封刘阳县男。齐武帝永明元年(483)，任中书通事舍人。文显办理公事以严苛认真而被赏识，永明三年(485)，兼领南清河太守，和茹法亮等人轮流入朝担任舍人，都受到皇帝的宠幸。各地都给他们送礼，他们各人都堆山挖池修造了大片宅第，当时中书舍人四人分住尚书、中书、门下、秘书四省，世人称之为“四户”。他们把持大权，势压天下。晋、宋时代的旧制，地方守宰，以六年为期限；后来认为六年时间太长，又规定以三年为期，称为“小满”。但实际上变换迁调，并不遵守三年之制，因此官吏们送旧迎新，在道路上疲于奔命。四方守宰向中书舍人馈赠的礼物，每年都有数百万。舍人茹法亮曾在公众场合对别人说：“何须求作地方官，光这一户一年就收入百万。”这还是只说了个约数。后来天象反常，史官奏称应祭天以消灾。王俭听说后，对皇上说：“天象失常，祸源就在四户。”于是上奏文显等人专断朝政，破坏人际关系，极力奏明他们所作的坏事。皇帝虽然听取了他的意见却不能改变对他们的信任。文显屡次升迁到左中郎将，南东莞太守。
按旧时惯例，州府内商讨公事，都要记录下来。前边直接记录所议之事，后边写上“谨签”，日月下边又写上某官某签，因此府州设置典签一职来掌管此事。典签本是五品官，宋初改为七品。宋代末年，多派年幼皇子出任刺史，皇帝都派自己的左右亲信作典签，典签的权力逐渐大起来。宋孝武帝大明、明帝泰始年间，成年皇子或庶族出任州刺史的，也都莫不遇事要请示典签，刺史不能按自己的意见行事。宗悫作豫州刺史时，吴喜公作典签。宗悫施行什么行政措施，喜公总要违命行事。宗悫大怒道：“我年近六十，一辈子为国尽力卖命，才得到斗大的一个州，不能再和典签共同治理！”喜公请罪叩头直到流血宗悫才作罢。从此以后，皇上给予典签的权力越来越大。各地典签们轮流回京，一年都往返几趟，皇帝常与他们闲聊，询问地方上的事情。刺史办事是好是坏，全在典签一张嘴，因此诸王刺史们无不对典签卑躬屈节小心侍奉，常怕有什么不周到之处。于是典签的威风风行州郡，权力大于藩王刺史。典签刘道济、柯孟孙等人因恶迹暴露，虽被明令处死，但典签们的权力之重却仍旧不减。宋明帝辅政时，深知典签的弊端，才开始规定各州的紧要事务应秘密商讨，上奏朝廷，不得派典签还京，典签的权力才被削弱。
后来又让吕文显掌少府，受到重用，经历明帝建武、东昏侯永元之世，官至尚书右丞，少府卿，死在任上。