范仲淹奔波辛劳一生，到青州时病情加重，实在无力承担繁重的政务工作。皇祐三年末，范仲淹到青州未满一年时间，就给朝廷上《陈乞颍亳一郡状》，要求朝廷将自己调到清闲的州郡养老养病。范仲淹说自己：“年高气衰，日增疾恙。去冬以来，顿成羸老，精神减耗，形体尫弱，事多遗忘，力不支持。”来青州以前，身体状况已经很差，范仲淹是勉力支撑到青州任的。到任以后，只得将青州大量的政务交给通判等属僚处理。然而，“安抚一路九州岛军，兵马公事繁多”，还有“郡县利害，乡川寇盗”等等繁杂事务，范仲淹完全无法应付。“自臣抱病，勾管不前”，都是委托属下处理。范仲淹认为这样会耽误朝廷和地方政务，“揣己量力，实不自安”。所以，请求仁宗“于颍、亳二州”挑选一处，将自己移官到那里，“可以养疾，庶安朽质，少保残年”。颍州和亳州在宋代是闲郡，是退闲大臣养老的处所，没有行政事务负担。仁宗此时对范仲淹只有眷念之情，接到范仲淹陈乞状之后，立即同意，皇祐四年（1052）正月，范仲淹徙知颍州。
范仲淹是一位先忧后乐、鞠躬尽瘁、死而后已的爱国仁人志士，这次能提出退闲养病的要求，一定是病情到了相当严重的地步了。果然，在赴颍州任途中路经徐州时，范仲淹病情进一步恶化，只得留在徐州治病。仁宗听说此事后，也非常牵挂范仲淹，特意派遣使者到徐州送药慰问。好友韩琦听到消息后，也特别派人带信送药给范仲淹。范仲淹已经处在弥留之际，自知病重不治，于是给朝廷上《遗表》，最后一次对皇帝、对朝廷、对国家、对百姓竭尽忠诚。范仲淹说自己“灵医不效，积疴见困”，“神不在形，气将去干”，“冥冥幽壤”将是自己的最终归所。这时候，范仲淹才为自己庆历新政的作为做公开辩护。当时因得仁宗信赖和重用，自己也期望对国家有特别的贡献。然而，“事久敝则人惮于更张，功未验则俗称于迂阔。以进贤援能为树党，以敦本抑末为近名”。此前，韩琦、欧阳修等都曾经为范仲淹辩护或申诉，范仲淹处于政治漩涡中心，始终不发一言。他目睹了新政措施一一被朝廷明令废止，目睹了同志友人一一被调离、贬谪、罢免，目睹了朝野积弊依然且越发严重，内心有许多痛楚和愤懑。《遗表》中的这几句特别申诉，表明了范仲淹坚持一贯的政治立场。但是，范仲淹更加关心朝廷和国家的将来，《遗表》中恳切希望仁宗“调和六气，会聚百祥，上承天心，下徇人欲。明慎刑赏，而使之必当；精审号令，而期于必行。尊崇贤良，裁抑侥幸，制治于未乱，纳民于大中”。这一切都是范仲淹毕生追求的政治目标，也是范仲淹庆历新政的核心内容，临终重提，拳拳心意，人神共泣！
皇祐四年五月二十日（甲子），范仲淹病逝于徐州，终年64岁。全国百姓听说范仲淹去世的消息，都痛惜不已。甚至偏僻山野乡村，也多有为之哭泣哀悼者。曾经在范仲淹属下的边疆少数民族，也在佛寺为范仲淹举办三日哀悼仪式，痛哭流涕，如同父亲去世。仁宗闻讯，久久嗟叹悼念，特别派遣使者去慰问范仲淹家人。范仲淹《遗表》中没有一字一句涉及个人要求或私事，仁宗嘱咐使者询问范仲淹家人有什么需要，范仲淹子女的态度与父亲一样，私事方面无所求。朝廷特赠范仲淹兵部尚书，谥文正，停止上朝一天以表哀悼。范仲淹将自己的钱财都捐赠了慈善事业，日常生活异常节俭，下葬时居然没有新衣，由友人集资为他举办了丧礼。这一年十二月初一日，归葬于河南尹樊里万安山下的家族陵园。下葬后，仁宗亲自书写墓碑“褒贤之碑”。而后，由富弼撰写《墓志铭》，由欧阳修撰写《神道碑铭》。富弼极力称赞说：“人获一善，已谓其难；公实百之，如无有然！”作祭文的有：富弼、欧阳修、王安石、司马光等，后世祭文也络绎不绝。邠州、庆州等西北边郡率先为范仲淹立祠，以后范仲淹任职过的许多州郡都修建了祠堂。徽宗宣和年间，朝廷特别下诏令，要求建有范仲淹祠所在地的监司、郡守、学官每年要按时祭祀范仲淹。钦宗时追封范仲淹为楚国公，后再追封魏国公。历代各地官府，多次重修所在地的范文正公祠堂，表达了后人对范仲淹永远的景仰和怀念。
古人评价历史人物，有“立德、立功、立言”三不朽之说。三者居其一，足以名垂后世。范仲淹则在三个方面皆有卓越成绩，南宋潜说友盛推云：“孰不为德，而立德难。若存若亡，德乌乎立？孰不为功，而立功难。倏成倏堕，功乌乎立？孰不为言，而立言难。可无可有，言乌乎立？惟立始能不朽，惟不朽始可言立。若公则言非徒言，而功皆酬其言；功非徒功，而功皆本于德。无他，仁义以为之主也！德立，则功与言俱立矣。”又云：“三者俱立有如文正范公者乎！” 〔1〕 金末元好问亦赞叹云：“文正范公，在布衣为名士，在州县为能吏，在边境为名将。其材其量其忠，一身而备数器。在朝廷则又孔子所谓大臣者，求之千百年间盖不一二见，非但为一代宗臣而已。……以将则视管、乐为不忝，以相则方韩、富为有余，其忠可以支倾朝而寄末命，其量可以际圆盖而蟠方舆。” 〔2〕 元好问还没有提到范仲淹“立言”的功绩及文学创作的成就。明代高启推崇说：“有宋名臣谁第一？公为国家真辅翼。丰功茂烈何煌煌？信与日月争辉赫。” 〔3〕 清代冯梦祯说：“宋范文正公学术则为纯儒，立朝事业则为纯臣，垂范子孙则为贤祖宗，而师表百世则为殊绝人物。” 〔4〕 两宋历史上如此几臻完美的伟人，极为罕见，即使放眼中国数千年之历史，亦实属罕见！