封建官场充斥着平庸无能、苟且度日、贪图荣华富贵的官员，他们又往往擅长阿谀逢迎帝王，惟上是从，看风使舵，深得专制独裁者的喜爱。在这些人心目中，很少有社会和国家的利益，更多的是个人的私利。这在古代道德评价体系中被称之为“小人”、“奸佞”，以与“君子”相对。范仲淹的正直无私、果敢敏断，必然要侵夺诸多小人的利益。官场资本积累到相当程度，宰辅就成为入仕者的最大追求目标，所谓“出将入相”。范仲淹在宰辅的位置上，自然要断送许多阿谀平庸之徒的宰辅梦，甚至对已经在位的无能之辈构成巨大威胁。如，庆历新政实施时的首相章得象和次相晏殊，都是圆滑平庸之徒。章得象在“庆历新政”期间“无所建明”，尸居其位，碌碌度日。范仲淹等被逼离开二府以后，章得象“居位自若”（详见《长编》卷一五五），为时人所斥。晏殊为人“沉谨，造次不逾矩”（《长编》卷八五）之圆滑谨慎，早已闻名朝野。当然更多的是窥伺宰辅差遣而被范仲淹等挡于门外者，他们更期望逼迫范仲淹等离开二府，取而代之。他们必须找到范仲淹等的薄弱环节，攻而去之。以范仲淹之得仁宗信任和朝野认可，以范仲淹之品格道德，要找到攻击口实，非常困难。这些人居官无能，然而，他们面对政敌，罗致罪名、攻其要害，却非常拿手。他们找到了仁宗最为敏感忌惮的话题：朋党。
专制帝王最为忌惮臣下结党，结党意味着某一政治群体政治实力大为增加，直接或间接地威胁到独裁者的权位。宋代帝王以史为鉴意识强烈，他们尤其对临近本朝的大唐王朝兴衰盛亡的历史经验教训记忆深刻。宋人诸多“祖宗家法”都是以唐为鉴而制定的，如抑制武人、宦官、后妃、外戚等系列措施 〔1〕 。唐朝后期“牛李党争”之祸，为害剧烈，甚至唐文宗都哀叹说：“去河北贼易，去朝廷朋党难。”宋代帝王因此对“朋党”问题异常敏感，防范甚严。出于这样特殊的历史原因，“朋党”成为北宋政治斗争的主要手段之一。每位朝廷重臣，总有一些政治上的同道，指为“朋党”，就有简便现成的“证据”。朝野声望越高，指为“朋党”的可能性越大。范仲淹个人品行、政治品格、道德修养、能力才干，都无可挑剔，只有拿“朋党”作为攻击口实了。况且，拿其他小事攻击范仲淹，也不一定能动摇仁宗对范仲淹的信任和依赖。景祐年间，范仲淹等纷纷被贬出朝，罪名之一就是“荐引朋党”。此时，范仲淹身为朝廷宰辅，主持庆历新政，政治地位更高，声望更隆，指实为“朋党”，因此也更令仁宗寝食难安。
庆历四年四月，正当新政如火如荼开展期间，某日，仁宗问范仲淹说：“从来小人多结成朋党，君子也有朋党吗？”范仲淹回答说：“我在边塞的时候，发现勇敢作战的将士会相互亲近来往，胆小怕死的将士也会相互聚拢。在朝廷，正邪两种政治势力应该也是这样。应该由帝王圣心做出独立判断。如果结成朋党为善事，对国家有什么危害呢？”当年，吕夷简罢相，夏竦出任枢密使，受舆论攻击，未到任而罢。朝廷进用范仲淹、韩琦、富弼、欧阳修、杜衍等人，石介特意作《庆历圣德诗》，歌颂朝廷进贤退奸。贤，指范仲淹等人；奸，专指夏竦。范仲淹读到这首诗，就对韩琦说：“这么偏激极端会坏事的。”果然，夏竦衔恨甚深。庆历三年七月，夏竦在亳州上书自我辩护，洋洋数万言。学士孙抃替仁宗起草诏书回答说：“图功效，莫若罄忠诚；弭谤言，莫若修实行。”（《长编》）卷一四二）言外之意，夏竦不忠诚、没有实际功绩。夏竦更加气急败坏，对人家说：“我与孙抃也没有什么过节，他怎么这样诋毁我？”朝野舆论对夏竦有痛打落水狗之态势，夏竦则将所有的怨恨转移到这时政坛领袖范仲淹等人身上。夏竦等抓住范仲淹、欧阳修等在新政实施过程中大刀阔斧、不避嫌疑的诸多作为，造出“朋党”的舆论，中伤政敌。这次的政治形势与景祐年间不同。当年吕夷简身为宰相，居高临下，公开指责范仲淹“荐引朋党”，直接将范仲淹贬谪出朝。这次当政者是范仲淹，政敌不敢公开向仁宗进言，指责范仲淹“朋党”，而是制造舆论，暗箭伤人。他们清楚，“朋党”说越传越盛，必然会引起独裁君王的疑忌。这次仁宗忍不住去询问范仲淹，就是疑忌心发展到相当地步的表现。范仲淹坦然直承君子也有朋党，恐怕更令仁宗放心不下。
君子坦荡荡，与范仲淹一样，处于“朋党论”核心遭受攻击的欧阳修也作《朋党论》，承认有“君子党”。文章说：“大凡君子与君子以同道为朋，小人与小人以同利为朋，此自然之理也。”关键是需要“人君辨其君子小人而已”。文章写得论据充分、论证有力、逻辑严谨、简明扼要，向来被推为古文中的典范篇章。然而，在独裁专制权力的敏感点上，独裁者是不可以理喻的。仁宗内心已经深深埋下了疑虑猜忌的种子，等到这颗种子发芽长大，范仲淹的政治生命就基本结束了。这时候，制造朋党舆论的阴谋者们，继续利用范仲淹、欧阳修等人的坦然承认，罗织罪名，激怒仁宗。阴谋者打通关节，通过内侍蓝元震给皇帝上疏，说：“当年蔡襄称赞范仲淹、欧阳修、尹洙、余靖为四贤，结成朋党，都被赶出朝廷。现在这些朋党都回到了朝廷，拿国家的官爵俸禄作私人恩惠，更加牢固地结成朋党。一个结党，可以带进十余位私人朋党。现在五六个人一起结党，恐怕就能结成五六十人的朋党。这五六十人再相互提携、各结朋党，不到二三年时间，朋党就会遍布朝廷的要害部门。到时候，危害国家，谁敢对他们有意见？他们要是挟私恨报仇，有什么做不到的？皇帝深居内宫，又怎么能知道这些详情？”无中生有的推断和夸张，一连串的恶毒设问，旨在催发仁宗内心疑忌的种子。人是复杂的思想情感动物，专制帝王也不例外。仁宗对范仲淹等信任依赖已深，捕捉帝王神经敏感点的恶毒舆论并不能立即完全摧毁这种信任依赖，史载：仁宗“终不之信也”（《长编》卷一四八）。但是，内心疑忌的种子正在发芽，范仲淹的政治危机逐渐迫近。
范仲淹和富弼为了避开嫌疑，纷纷向仁宗要求到西北前线效力。范仲淹在给仁宗关于边防之事献策时，直接提出“罢臣参知政事，知边上一郡，带安抚之名，足以照管边事”（《长编》卷一五○）。仁宗开始并不同意他们的请求，不过，信任度已经大减，帝王的疑忌心在逐步发酵。庆历四年（1044）六月，边境有警，范仲淹一再请求到前线去主持大局，最终获仁宗同意。朝廷派遣范仲淹为陕西、河东路宣抚使，再度前往西北前线。至此，范仲淹结束了在二府一年零三个月的任期，从此离开了北宋政治的中心舞台。这一年，范仲淹56岁。
这一次离开二府，从表面上看是范仲淹一再请求的结果，真正原因是范仲淹等人已经失去了仁宗的信任。独裁君王的疑忌心发展到一定地步，就会产生“宁可信其有，不可信其无”的心理。新政实施一段时间没有多大效果，可能使仁宗产生倦怠。况且，独裁者最终还是喜欢选择阿谀奉承之徒围绕在身边。与其天天听到范仲淹等每日的刚直逆耳之言，劳神费力；不如整日被颂扬声所包围，过得轻松快乐。这样的抉择，与统治者个人的智商、能力、政治志向无关，是独裁政体的必然发展趋势。可以庆历年间宰相杜衍为例。杜衍刚硬正直，是范仲淹等的政治同道，是庆历新政的坚定支持者。仁宗有些违背制度、出于私利的官员任命令，都被杜衍卡在手里，不予贯彻落实。一段时间后，杜衍会将积累的皇帝手令一起缴还给仁宗。仁宗曾经高兴地对欧阳修说：“外人知杜衍封还内降耶？凡有求于朕，每以衍不可告之而止之者，多于所封还也。”（《长编》卷一五二）仁宗有诸多“内降”，也是却不过宫中私人情面，有杜衍挡着，仁宗就轻松。况且，还能显示君王的清明大度。所以，仁宗对欧阳修说这番话时，确实是高兴的，是表扬杜衍的，也是在自夸。这是理智的判断，是清醒时的意识。但是，诸事受阻，在独裁者心中埋下的不快终究要爆发。杜衍庆历四年九月出任宰相，任职仅仅120天就被罢免，后来再也没有重用过。可见秋后是要算账的，体制培养了独裁者的专横。以此可以来反观仁宗对待范仲淹等人的复杂态度，信任依赖中夹杂着猜忌疑虑，只要社会稍稍太平，阿谀之徒就能够充斥朝廷。这是范仲淹等离开朝廷的深层原因。