相传张升之父德行甚好。有一次年关，其父在县城拾得“梢马”（古时搭在肩上盛钱物的布袋）一个，内装许多银钱。他担心失主回来难找，便在路边坐候。当时正值黄昏，风雪交加，路人稀少，但他坚持守候，并沿途张望，直到物归原主，方才回家。张升自幼聪慧好学，文才出众。成化五年（1469），他年届二十八岁，考中状元。初授翰林院修撰。弘治元年（1488），迁为左庶子。
张升在官场上不阿谋权贵，敢做敢为。自成化中叶以后，万安、刘瑚、太学士刘吉之流居于要职，把持朝政，堵塞言路，结党营私，排斥异己。张升毅然向孝宗检举，历数刘吉纳贿、纵子等十大罪状。刘吉异常怨恨，指使言官反诬他诋毁大臣，张升被贬为从五品的南京工部员外郎。离京之日，张升的同乡何乔新深为不平，写诗赠张升，云：“乡邦交谊最相亲，忍向离筵劝酒频。抗疏但求裨圣治，论思端不忝儒臣。自怜石介非狂士，任诋西山是小人。暂别銮坡非远谪，莫将词赋吊灵均。” 弘治五年八月，刘吉被罢，张升恢复原职，后历礼部左、右侍郎。弘治十五年二月，升礼部尚书。
弘治十八年（1505）五月，孝宗去世，道教真人陈应J、藏教大师挪卜坚参等借驱邪为名，进入乾清宫，扰乱内宫，张升上疏将这批30余人绳之以法，诏夺名号，逐出宫廷。宦官刘瑾引诱年仅15岁的武宗游宴微行，懒理朝政，大权尽归刘瑾。武宗贪图享乐，致使京库空虚，阉党干扰朝政肆无忌惮，正直大臣屡遭贬斥罢官。张升上疏奏请武宗亲近贤臣，远离奸佞，谨治国事。武宗认为其论有理，但不愿实行。张升便奏请退休，又未获允。正德二年（1507），依附 刘瑾的秦府镇国将军诚请求袭封保安王，张升出于公心，坚决反对。为此，得罪刘瑾。张升恐被其害，称病乞归，武宗准奏，加赠他为太子太保，月俸、岁夫照给。
张升去世后，朝廷封赠他为太子太傅，谥号“文僖”，葬于株良湖边上桥村。
张升的著述很多，由他的儿子、浙江布政使张元锡编成《张文僖公文集》14卷、《诗集》22卷，存目于《四库全书》集部别集类.该书原名《柏崖集》，因刻成之时赐张升谥号为“文僖”的朝命刚好到达，因而更名为《张文僖公文集》。另有《和唐诗》10卷。
《四集全书总目》称：“（张）升立朝颇著风节，而其文多应酬之作……诗则近体多于古体，而七言近体尤多于五言。”就整个创作而言，张升的诗胜于文。他的一些山水风景诗，写得重彩浓墨，气象万千，语气通畅，颇能感人，不乏名句佳篇。如《和桂坡先生江上万里图》一诗中，就有“岷源一水泻千里”、“天风怒涛起，两耳鸣淙潺，虹桥跨巨壑，古树凝苍颜”等佳句。还有些诗，反映了张升在仕途坎坷中的苦闷心情。如《湖上秋兴》后半篇说：“西来恋阙心千里，北上离家客十年。勋业不知难复建，空劳临镜又华颠”。
在《直诂》一诗中，作者又感叹“十六年来此重过，关心勋业竟如何。语无倾盖追欢少，意在停云感慨多……”这些诗句能够较为自然地倾诉心中之情，具有一定的艺术感染力。张升还有一首题为《送云南卫知事李善还盱》的诗，也是比较成功的作品。诗中写道：“划然一笑顿生春，乐莫乐如新聚首。潭山可樵水可温，烟云入座增欢娱。却想劳苈成底事，红尘终日空追趋。迎仙山高傍南斗，凭君寄语迎仙叟。荆扉猿鹤尚徘徊，昔日神仙今在否？”全诗语句通畅，情景交融，意境较为深远。此外，张升还有《玉楼春?贺安太守赝旌异》等词作。
张升，字启昭，南城人。成化五年进士第一。授修撰，历谕德。弘治改元，迁庶子。大学士刘吉当国，升因天变，疏言：“陛下即位，言者率以万安、刘吉、尹直为言，安、直被斥，吉独存。吉乃倾身阿佞，取悦言官，昏暮款门，祈免纠劾，许以超迁。由是谏官缄口，奸计始遂。贵戚万喜依凭宫壶，凶焰炽张，吉与缔姻。及喜下狱，犹为营救。父存则异居各爨，父殁则夺情起官。谈笑对客，无复戚容。盛纳艳姬，恣为淫黩。”且历数其纳贿、纵子等十罪。吉愤甚，风科道劾升诬诋，调南京工部员外郎。吉罢，复故官，历礼部左、右侍郎。十五年代傅瀚为尚书。孝宗崩，真人陈应衤盾、西番灌顶大国师那卜坚参等以祓除，率其徒入乾清宫，升请置之法。诏夺真人、国师、高士等三十余人名号，逐之。升在部五年，遇灾异，辄进直言。亦数为言者所攻，然自守谨饬。武宗嬉游怠政，给事中胡煜、杨一、张^皆以为言，章下礼部。升因上疏，请亲贤远佞，克谨天戒。帝是之而不能用，升遂连疏乞休，不允。正德二年，秦府镇国将军诚]请袭封保安王，升执不可。忤刘瑾，谢病。诏加太子太保，乘传归，月米、岁夫如制。卒于家。
尧山堂外纪张升，成化己丑，传胪前一夕，梦登天，两手挈二人头，云皆同姓者。及开榜，一甲首为升，二甲首张燧，三甲首张晓。
张升为翰林侍读，会风雹发自天寿山，毁瓦伤物，震惊陵寝，朝廷戒谕群臣修省，遣官祭告。于是，升数刘阁老吉十罪，谪南京工部员外郎。同乡何乔新赠以诗曰：“乡邦交谊最相亲，忍向离筵劝酒频。抗疏但求裨圣治，论思端不忝儒臣。自怜石介非狂士，任诋西山是小人。暂别銮坡非远谪，莫将辞赋吊灵均。”由是人目吉为“刘棉花”，以其耐弹也。吉闻而大怒。或告以出自监中一老举人善恢谐者，吉奏：“凡举人、监生三次不中者，不许会试。”
翰林院学士惟一人，多或三五人，弘治壬戌秋，阁老洛阳刘公健因修会典成，欲德翰林，一时升学士者十人，时礼部尚书已有六人，谢迁以在内阁，张升为礼书掌鸿胪事，崔志端以礼书掌太常事，并南京为六人。崔由神乐观道士。京师为之语曰：“礼部六尚书，一员黄老；翰林十学士，五个白丁。”一时盛传，以为的对，且有讥警。盖此五人，谓山西张、陕西杨、大兴刘并某某，皆成化戊戌阁老万公安以私意选为庶吉士者。
