1925年3月12日，孙中山先生因患肝癌，医治无效，在北京逝世。当时，蒋介石正在东征军中指挥战事，孙中山逝世的消息是3月21日才传到东征前线的。22日，蒋介石在黄埔军校的部队中举行望祭大礼。27日，他在兴宁对黄埔军校的全体官兵发表训词，题为《如何上慰总理在天之灵》，说：“只要我们努力奋斗，总可以不负我们总理的一番苦心。”5月中旬，滇军杨希阔部开始在广州集中，并在白云山，瘦狗岭一带布阵，桂军刘震寰部也驱赴北江，意在颠覆广州革命政府。ZI日，蒋介石率部回师广州，行前发表了《誓死夺回革命的根据地》的训词。他说，假使革命政府根据地--广州--给反革命派夺去了，那我们的总理白白地奋斗了一生，许多已死的同志、弟兄也是冤枉死了。所以我们要继续总理的遗志，就先要保持革命政府的根据地”。又说：“这次班师回省的战争，比前次来打东江更要利害，我们不问他任何强悍的敌人，非争回我们的根据地，不能称是革命军。我们到了广州以后，就应当改革政治，统一财政，整顿军队，就可以实行主义。所以大家从今以后，与革命政府共生死，不达到收回广州的目的，死也不休。”29日，第二纵队到达海丰，蒋介石又对粤军第一旅及第六旅官兵发表了《此次班师回省的重大意义》的讲话，他说：“我们这次回去，是个生死关头，本党的成败，广东的存亡，和中国的大局，都有很大关系。如这次回去不成，我们前后左右都是敌人，环境是非常险恶的。不但我你无路可走，并且广东全省的人民，都得不到一点幸福，我们的主义完全是要失败。所以现在我们革命军唯一的方法，只有向前冲锋，不能退后一步，不然就是要走死路。”此后，蒋介石在回返广州，平定滇、桂军叛乱的征途中，又先后发表了《夺回广州的必要》和《党存与存，党亡与亡》的讲话，说：“这次回省，不独是政府的存亡和党的成败，也就是我们各个人的生死关头。如果不能打倒滇桂军，我们个人就不能生存，党与政府与根据地就不能恢复，三民主义也就不能实行了。”
应当说，蒋介石的演讲才能是非常出色的，具有很强的鼓动性和煽动性。6月13日，东征军回师黄埔军校的部队及被许崇智调来的湘军、建国军和粤军从不同方向齐攻广州，滇、桂军抵挡不住，杨希阔和刘震寰遂潜逃至沙面租界隐匿不出。6月14日，广州叛乱被彻底平定。
1925年7月1日，由大元帅府改组而成立的国民政府在广州开始行使职权，许崇智和汪精卫、胡汉民、谭延阎、林森等5人被推举为国民政府常务委员。汪精卫任主席，胡汉民任外交部长，许崇智任军事部长，廖仲恺任财政部长。许崇智还任国民政府当时所属的惟一省份--广东省的政府主席兼军事厅长。
许崇智在东征中的巨大贡献使他在当时国民政府中的地位至为显赫。而蒋介石虽然因为主持黄埔军校取得了一定的成绩，在东征作战中也有不俗表现，但他在党内仍然没有一席之地。孙中山临终前，曾谈到过接班人的事，意由廖仲恺、汪精卫、蒋介石三人负责，而蒋介石只负责军事。这也只是孙中山谈话的意思，并没有形成正式的手续或文件。因此，孙中山逝世后，由大元帅府改组而成的中华民国政府中，蒋介石的地位并不高，仅担任国民政府下设的军事委员会8委员之一，这个军事委员会的主席是由汪精卫兼任的。此外，委员中还有胡汉民和许崇智。
由此可见，当时的蒋介石在国民党中央乃至军中，声威不扬，地位不显。在军事上，许崇智是他的顶头上司，军权在握；在政治上，汪精卫和胡汉民的地位和职务都比他高。许、胡、汪三人，成了蒋介石登上权力金字塔塔尖的三大障碍。为了排除这些障碍，蒋介石开始处心积虑地寻找机会。
真是皇天不负，一个绝好的机会终于鬼使神差般地落在了蒋介石手里。
1925年8月20日，廖仲恺在中央党部门口遇刺身亡。国民党中央为处理这一突发事件，应付时局，遂决定由汪精卫、许崇智和蒋介石三人共同组成特别委员会，专门负责处理廖仲悄被刺案。
9月24日，蒋介石在故意拖延了一个月之后，终于接受了国民政府的任命，正式到广州卫戍区就任卫戍司令之职。到任后，蒋介石立即宣传广州全城戒严，并派何应钦率领黄埔学生军担任市区警戒任务，进驻市区北面的制高点观音山，并担任长洲岛和广州沿海的警戒。-一布置妥当后，全广州立即落入了蒋介石的严密控制之下。他虽然也采取了一些措施，布置追缉廖案的嫌疑人员，但他更多的精力则用于兼并军队，扩充自己的实力，意在打击竞争对手。他心目中的目标，直指许崇智。
国民政府成立后，粤军实际上已成为国民政府的主要军事主力，而粤军的指挥权则完全在许崇智的掌握之中。但是，粤军的一些将领沉缅于享乐，并意图承袭滇军和桂军在广州时拥有的包娼、包赌、截关扣税的特权。对此，身为国民政府财务部长的廖仲恺曾多次表示不满，军方与政府时有争执。此外，许崇智本人的行为也不够检点。他本来就体弱多病，又好酒色宴乐，嗜吸鸦片。因为蒋介石长期在许崇智手下，又是许的结义“三弟”，所以，许对蒋也过分宠信，军务多交蒋介石直接处理。许崇智在这方面表现了他的“不智”，他明知蒋介石与粤军将领不和，却仍坚持要部下听从蒋介石的指挥和调遣。1925年4月，许崇智在汕头时，曾对部下请将领说：“服从许总司令就要服从蒋参谋长，许总司令就是蒋参谋长，蒋参谋长就是许总司令。以后由许崇智名义签署的命令，下面盖的是许崇智的图章或是蒋介石的图章，一样有效”。当时，粤军的许多将领对许崇智如此宠信蒋介石颇感不满。
蒋介石在缉拿廖案嫌疑人员的过程中，发现有一名参与杀害廖仲恺的暴徒，名叫陈顺。此人所用的枪，其执照是粤军南路司令梅光培签发的。这一线索的发现使蒋介石如获至宝，廖仲恺曾因粤军将领腐化享乐和企图承袭滇桂军的特权等事多次指责粤军，与许崇智本人的争执、嫌隙也是众所周知的。现在暴徒中有一人与粤军有关系，这就使许崇智陷入了百口莫辩的境地中。蒋介石抓住这天赐良机、借口廖案涉及粤军将领，坚持主张剪除“谋叛军队”，并说服汪精卫同他一起去见许崇智，当面要求许崇智表态。许崇智无奈，只好下令将粤军第一军军长梁鸿楷、第一警备司梁士择等先后逮捕，他们所属的部队则被蒋介石辖下的国民革命军第一军（即原黄埔军校教导团）包围缴械。对此，许崇智既感到难堪、恼火，又无可奈何。他在《悼廖仲恺同志并告国人及本军同志》一文中，对军方涉嫌廖案一事表示引咎自责，同时表示要追查到底。这时，蒋介石挟第一个回合大获全胜之威，进一步指责许崇智一手把持财政，克扣军粮军饷，还指出粤军很多将领与廖仲恺案有过深牵连，整个粤军已不可靠，为国民政府和许崇智本人的安全计，他改派黄埔学生军负责许崇智的警卫工作。许崇智直到这时才省悟到，这个与自己义结金兰、被自己一手提拔并百般宠信的参谋长蒋介石，竟然要求夺取自己的军权了。当许崇智察觉到自己实际上已被软禁之后，既羞又恼，立即电调驻防在东芜、增城、宝安一带的许济（许崇智的堂弟）、莫雄两师精锐粤军争赴广州来维护自己的地位。汪精卫闻讯后，恐生意外，立即授予蒋介石处理广东局势的全权。汪精卫当时身为国民政府主席，他这么一授权，实际上等于把控制广东革命根据地的军权拱手送给了蒋介石。蒋介石当然不会放过这个机会，他以许济、莫雄等人串通梁鸿楷“谋危害国民革命政府”的罪名，将许、莫所部包围缴械。接着，蒋介石又于9月18日深夜派出黄埔学生军和第一军抢占要地，全面控制了广州城。第二天，在广东财政会议召开的会场上，蒋介石又拘捕了许崇智的亲信大员；当夜，黄埔学生军严密包围了粤军总部和许崇智在东山公馆的宅邸，解除了许崇智贴身卫兵的武装。
在汪精卫的支持和配合下，蒋介石步步得逞，变本加利，于9月20日凌晨派人把一封早已写好了的信送给许崇智，这封信措词严厉、咄咄逼人、历数了许崇智的过错，说他“回师广州后百无一举”，致使“军队之散漫如故”；说他侵没税收和粤军饷额、“饱私囊图利己”，说他图谋推倒中央银行“而谋自立银行以图私利”；说他“知人之不明、用人之不当”，致使“害党叛国者均在粤军所部”；更“怂恿所部强捐、勒租、截税、包烟”，而“害国殃民”。历数罪状后，蒋介石又在信中恫吓许崇智：“今不惟诸军不平，气愤填膺，即兄之所部，亦欲食兄之肉以为快。若仍倒行逆施、固执不化，则吾兄所部已为衣食所窘，势必哗变；而各友军亦将难保”。他进而威逼许崇智“毅然独断、保全名节”，“不如暂离粤境，期以三月，师出长江，还归坐镇，恢复令名”。为达到驱逐许崇智的目的，蒋介石又软硬兼施，在信中信誓旦旦地保证说：“如有一毫违心之论、不忠之意，皇天后上当共顾之”。
许崇智读了这封信，即惊又惧，立即打电话向汪精卫询问，汪精卫只淡淡地回答说：“知道其事”。许崇智眼看大势已去，又幻想蒋介石能够遵守诺言，三个月后真能让自己复职，于是，当天夜里，在蒋介石派来的由陈铭枢率领的一支队伍的“护送”下，拿了两万元，悄然搭上轮船，离开了广州到上海去了。
许崇智被蒋介石逼走后，国民政府军事部长一职即由谭延阎兼任，粤军总司令部则由蒋介石一手收束，所属各部均被改编或遣散。自此，许崇智在国民党和国民政府及军队中的权位悉数被蒋介石取代，造成了“蒋氏以一身控制军政全局，其军威之盛、声势之壮，允称一时无匹”的局面。
驱走许崇智，是蒋介石登上权力宝座的第一个台阶，驱许成功后，蒋介石继续“扩大战果”，连续打出“廖案”这张牌，穷追不舍，又发现朱卓文、胡毅生、林直勉及粤军将领魏邦平、梁鸿楷等有重大嫌疑。其中，胡毅生是胡汉民的堂弟，朱卓文和林直勉则是公认的胡汉民的亲信。蒋介石紧抓不放，由此向胡汉民发难。于是，胡汉民也被卷人“廖案”。这对胡汉民来说，是再度爬上政治舞台最高层的致命伤。为了躲避政治风暴的冲击，胡汉民被迫出访苏联，用他自己的说法，这叫作“被逐”。
至此，孙中山逝世后，有资格和力量获得最高职位的胡、汪、廖、蒋、许五人，就只剩下汪、蒋二人了。