天圣四年（1026）至天圣六年（1028），范仲淹丁母忧居住在南京应天府（今河南商丘）。这段时间，恰逢北宋名臣晏殊罢枢密副使，出守应天府。北宋建国至此时已经有六十多年的历史，“佑文”风气已然形成。有眼光的地方长官开始侧重教育，以培养地方人才。晏殊在南京最重要的政绩就是兴办学校，延聘名师，培养人才。《长编》卷一○五载：“殊至应天，乃大兴学。范仲淹方居母丧，殊延以教诸生。自五代以来，天下学废，兴自殊始。”晏殊此举开地方办学之风气，范仲淹被聘请为府学主管。晏殊从年龄上说比范仲淹小二岁，进入仕途却比范仲淹早了十多年。仁宗天圣年间晏殊已官至礼部侍郎、枢密副使，成为朝廷的重臣，政治地位远远高于范仲淹。晏殊、范仲淹这次的结交，订立了两人终生的友谊，范仲淹此后一直对晏殊执门生礼。
应天府书院则为北宋四大书院之一，范仲淹早年就读此书院，对这里非常熟悉。这次再度入书院，身份和目的完全不同了。范仲淹对兴办教育的重要性有非常充分的认识。在他一生多次提出的政改方案中，兴办地方学校，“得天下英材而教育之”，就是最为重要的内容之一。这一次应聘教导地方诸生，是范仲淹实践自己政见的一个大好机会。所以，范仲淹同样以非凡的热情投入到教育工作中去。范仲淹《言行拾遗事录》卷一载：
公丁母忧，寓居南都，晏丞相殊请掌府学。公常宿学中，训督有法度，勤劳恭谨，以身先之。夜课诸生，读书寝食，皆立时刻。往往潜至斋舍（诇）之。见有先寝者诘之，其人绐云：“适疲倦，暂就枕耳。”问：“未寝之时观何书？”其人妄对。则取书问之，不能对，罚之。出题使诸生作赋，必先自为之。欲知其难易及所当用意，亦使学者准以为法。由是，四方从学者辐辏。宋人以文学有声名于场屋、朝廷者，多其所教也。（《范仲淹全集》第791页。）
范仲淹做任何事情都是以身作则，严格认真，处处表现出“先忧后乐”的高尚品操。据魏泰《东轩笔录》卷十四记载，北宋著名学者孙复此时亦入应天府书院学习，一再得到范仲淹的接济帮助。或有学者以为此事当为小说家者言，然范仲淹掌管府学时常常有奖掖人才、济贫扶困之举，也是非常吻合范仲淹的性格和言行特征的。
应天府书院学生朱从道，好学上进，范仲淹特作文《南京府学生朱从道名述》，借阐明“从道”涵义，宣讲自己的教育宗旨，旨在培养具有远大志向、高道德水准、对社会有贡献的有用人才。范仲淹对“道”的理解是：“臣则由乎忠，子则由乎孝，行己由乎礼，制事由乎义，保民由乎信,待物由乎仁。”范仲淹追问说：“子将从之乎？”如果能够追随此“道”，“然后可以言国，可以言家，可以言民，可以言物，岂不大哉”？这显然不是仅仅在教育、鼓励朱从道一个人，而是对应天府书院所有学生的勉励。
应天府书院缘起于宋儒戚同文于此地聚徒教学，后乡人曹诚在此地捐资建学舍，渐成规模。范仲淹曾就读于此，现在又任主管，所以，他对书院的感情很深。大约丁忧期结束时，特意作《南京书院题名记》，盛赞该书院的功效。其中一段描述其教育成效的文字，骈散自如，雅丽典重，极富文学色彩:
由是风乎四方，士也如狂；望兮梁园，归欤鲁堂。章甫如星，缝掖如云，讲议乎经，咏思乎文。经以明道，若太阳之御六合焉；文以通理，若四时之妙万物焉。诚以日至，义以日精。聚学为海，则九河我吞，百谷我尊；淬词为锋，则浮云我决，良玉我切。然则文学之器，天成不一：或醇醇而古，或郁郁于时，或峻于层云，或深于重渊。至于通《易》之神明，得《诗》之风化，洞《春秋》褒贬之法，达礼乐制作之情，善言二帝三王之书，博涉九流百家之说者，盖互有人焉。若夫廊庙其器，有忧天下之心，进可为卿大夫者，天人其学；能乐古人之道，退可为乡先生者，亦不无矣。
这一段词采飞扬的文字，写出范仲淹对应天府书院的钟情。
丁忧期间，相对闲暇，范仲淹有了比较充裕的时间整理自己的从政经验和政治变革思想。天圣五年（1027），范仲淹“不以一心之戚而忘天下之忧”，遂将自己的政见写成长篇《上执政书》，提交给朝廷执政大臣。这篇文章有了明确的现实问题意识。范仲淹认为现实存在六个方面问题：“朝廷久无忧”，“苦言难入”，“国听不聪”；“天下久太平”，“倚伏可畏”，“奸雄或伺其时”；“兵久弗用”，“武备不坚”，“戎狄或乘其隙”；“士曾未教”，“贤材不充”，“名器或假于人”；“中外方奢侈”，“国用无度”，“民力已竭”；“百姓困穷”，“天下无恩”，“邦本不固”。针对这一系列问题，范仲淹提出六点具体变革应对措施：“固邦本，厚民力，重名器，备戎狄，杜奸雄，明国听”。
对于这六点应变措施和如何具体落实，范仲淹有了相对详尽的剖析。第一，固邦本，落实为“举县令，择郡长，以救民之弊”。地方长官用人不当，便有“簿书不精、胥吏不畏、徭役不均、刑罚不中、民利不作、民害不去、鳏寡不恤、游堕不禁、播艺不增、孝悌不劝”等诸多弊病产生。换言之，地方行政弊病的总根源在于地方长官。范仲淹推测朝廷以往不愿改变这种现状的原因是担心引起中下层官员阶层的骚动。针对此种顾虑，范仲淹建议：朝廷可以通过加恩升官的“善退”方式，让县令中“昏迈常常”者离开亲民的职位。对于州郡长官，朝廷还可以派出使者出巡，无政绩者“奏降”。而后“精选”行政业绩出众者加以特别委任。“如此行之，三五年中，天下县政可澄清矣。”第二，“厚民力”，落实为“复游散、去冗僭，以阜时之财”。具体措施为：限制“释道”、淘汰“老弱之兵”、不用珠玉“奇货”、鼓励农业生产。第三，“重名器”，落实为“慎选举，敦教育”，以达到“政无虚授”、“代不乏人”的目的。具体做法是：改革科举制度，“先策论、次诗赋”，以科举制度促动士人刻苦读书。兴办地方学校，“得天下英材而教育之”。恢复“制科”考试，选拔特殊人才。第四，“备戎狄”，落实为“育将材，实边郡，使夷不乱华”。具体做法是：“搜智勇之器堪将材者，密授兵略，历试边任。”设立武举考试，选拔专门人才。“置本土之兵，勤营田之利。”再命“沿边知同”，“专谋耕桑”，充实军库储备。第五，“杜奸雄”，“以绝乱之阶”。具体做法是：约束“国家戚近之人”、戒土木兴建工程、均官僚俸禄、抑制恩荫、修复纲纪。第六，“明国听”，落实为“保直臣，斥佞人，以致君于有道”。
范仲淹这次上书阐述自己的变革思想，重点突出，思路成熟，措施具体，层次分明，自成体系，“庆历新政”的大致构思在这里已经形成。范仲淹把官僚队伍的变革放在首位讨论，核心问题得以明确，从而确立了范仲淹变革思想体系，“庆历新政”就是围绕着这一核心展开。朝廷的一切政策措施，都要通过地方州郡长官和县令们得以贯彻实施。范仲淹此前的任职都在地方基层，对地方中下层官员的现状比较了解。这一方面，这篇文章的讨论非常详尽，应变措施也非常具体。文章的第三点“重名器”和最后两点“杜奸雄”、“明国听”，依然涉及干部队伍变革的核心问题。换言之，全文讨论六个方面问题，有四个方面都是围绕干部队伍建设问题展开。文章讨论的第二个重点问题是“厚民力”，也就是提升国家经济实力，改善百姓生存、生活水平的问题。这应该是体现中央或地方政府政绩最主要的一个方面。这个问题在两年前的《奏上时务书》中基本没有涉及。朝政变革，不涉及国计民生重大问题，表明范仲淹从政经验的缺乏和思考问题的不成熟。这一方面缺陷，在这次上书中得以纠正。当然，范仲淹认为：“县令长既得其才，然后复游散、去冗僭，以阜时之财”，经济发展或变革的前提是干部队伍的变革。北宋仁宗年间外患严重，北宋“积贫积弱”，无以应对。所以，范仲淹每次上书倡言变革，都要涉及军队建设问题。两年前要求朝廷文武二道相经纬，这次具体化为“备戎狄”，“庆历新政”时推出“修武备”变革条文，这在范仲淹的变革思想中是一以贯之的。范仲淹这时比较切实具体的变革措施，在后来他主持西北前线军政大局时许多得以贯彻落实。在抵御西夏入侵的过程中，发挥了重大作用 〔1〕 。
这次上书，依然在多个方面表现出范仲淹政治上的稚嫩。例如，认为通过整顿清理，三五年之间，官员队伍可以得到彻底改变，地方行政可以得到“澄清”。这个问题在后来的“庆历新政”中无法解决，在整个北宋时期无法解决，在整个专制社会阶段无法解决，范仲淹在这里却会有这样轻易的认识。文章讨论的最后两个方面“杜奸雄”和“明国听”，仍旧是相当简略笼统，表现出地方下层官员对中央朝政的陌生。
范仲淹这次上书传播甚广，也获得了相当的政治声誉。苏轼《范文正公文集叙》说：“公在天圣中，居太夫人忧，则已有忧天下、致太平之意。故为万言书以遗宰相，天下传诵。”范仲淹仍有闲暇时间，比较从容地表明了自己诗文创作主张。天圣四年五月，范仲淹作《唐异诗序》。范仲淹认为：诗文创作的主旨应该是“羽翰乎教化之声，献酬乎仁义之醇，上以德于君，下以风于民”。这是儒家传统的诗文创作观念。范仲淹是出色的诗人，深知诗文创作的自身规律，在阐明儒家创作宗旨的时候，强调心境和处境不同则风格不一。“失志之人其辞苦，得意之人其辞逸，乐天之人其辞达，觏闵之人其辞怒。”如：“孟东野之清苦，薛许昌之清逸，白乐天之明达，罗江东之愤怒”等等。范仲淹更强调诗文创作之际，千变万化，绚丽多姿。“诗之为意也，范围乎一气，出入乎万物，卷舒变化，其体甚大。”这里突出的是诗文创作之个性化。范仲淹的诗文创作观点在宋代非常有典型性。一方面，宋代文人大都进入仕途，成为统治集团之一员，所以，他们遵循儒家教诲，非常重视诗文创作的教化作用。另一方面，宋代文人有极高的文学修养和极为出色的诗文创作成就，诗文创作各显个性，多姿多彩。范仲淹这篇序言就有很精炼的归纳表述，他一生的诗文创作也一直在遵循上述的创作原则。唐异是一位特立独行的隐士，琴、画、诗俱佳，范仲淹有《赠余杭唐异处士》，诗说：
名动公卿四十秋，相逢仍作旅人游。
青山欲买难开口，白发思归易满头。
厌入市廛如海燕，可堪云水属江鸥。
故乡知己方都督，千树春浓种桔休。