被击败但尚未消亡的陈炯明对国民党来说，如同芒刺在背，蒋介石执掌军权后，决意拔掉陈炯明这根刺。
在革命军调回广州讨平杨刘叛乱时，陈炯明部重新占领了东江一带，同时勾结北路之川军熊克武，并由江北进至通州；勾结南路之邓本殷，由西南进攻肇庆，形成对广州的夹击形势。为了彻底消灭反革命势力，统一广东，革命军决定第二次东征。这时，国民政府军事委员会已将革命军各部统编为国民革命军。1925年8月26日，特任蒋介石为国民革命军第一军军长。同时，将湘军改为第二军，以谭延闿为军长；将建国军改为第三军，以朱培德为军长；将粤军改为第四军，以李济深为军长；将福建闽军改为第五军，以李福林为军长；其余赣、鄂、豫各部之名称，暂仍其旧。9月28日，国民政府颁发了征讨方略：“一、东江方面：东征军总指挥蒋中正（从第一、第四两军为基干）即日出功，讨伐叛军。……二、北路方面：任命鲁涤平为北路警备司令，节制北路驻军，肃清附逆之川军。三、南路方面：第五军军长李福林、率所属第八及第十二师（欠第三十四团）警卫河南，防堵广南之邓部。四、广州方面：任命第一军第二师师长王懋功，兼广州卫戍司令。率所属第二师（欠第四团）、警卫军之第一团及黄埔学生军，负广州警备之责。并以第三军军长朱培德为总预备队司令，待命出动。”蒋介石根据这一总的征讨方略，具体策定了东征军之作战计划。计划规定了第二次东征的方针是：“东征军以消灭东江叛军之目的，拟集中东征部队于正果，增城，石龙，石滩一带，向潮惠各属之敌进攻。”将东征部队分为三个纵队：第一纵队纵队长何应钦，第二纵队纵队长李济深，第三纵队纵队长程潜，规定了各纵队集中的日期及地点，并规定了作战地区与前进路线。同日，蒋介石以东征军总指挥名义发出了《准备出发令》，提出了这次东征分三期出发：“第一期为十月一日，第三师全部及第二师第四团出发。第二期为十月五日，第一师全部及军部出发，第二师第五团第一、二营开驻省城警戒，第三营留住守虎门。第三期为十月九日，其它各部队出发。”同时，对其它具体的十七项问题都-一作了规定，如“出征时，每连带斧头三把，每兵带麻绳一丈”等等事项都作了明确指示。30日，蒋介石发表了《东征军总指挥通电》：“本月二十一日奉国民政府令开：‘任国民革命军第一军长蒋介石为东征军总指挥，此令。’……中正戎行，材轻任重，于外侮纷乘之会，当百粤多难之秋，急浪孤舟，罔知所届，论才固不敢就，论义复不容辞。兹于九月三十日就职，本护国卫民这精神，尽革命军人之责任，先清内奸继御外侮，尚望时赐南针，免贻陨越，临电屏营，宁候明教。”在东征出发前，蒋介石又与汪精卫一道，搞了一个《重征东江训诫》，简明地提出了十条要求，即：“一、军人最后目的是在于死，古语所谓‘好汉死在阵头上’，孔子所谓‘杀身成仁’是也。二、打胜仗的秘诀：1．严守军纪，2．服从命令，3．保护人民，4．万人一心（团结精神）。三、革命军口号：1．不要钱，2．不要命，3．爱国家，4．爱百姓。四、革命军十不怕：1．不怕死，2．不怕穷，3．不怕冻，4．不怕痛，5．不怕热，6．不怕饥，7．不怕疲，8．不怕远，9．不怕重，10．不怕险。五、保护百姓（不拉夫，不抢物，不捐饷，不占屋）就是实行三民主义。反之，挠害老百姓，就是违反主义反革命的强盗军队。六、毋忘革命军的《连坐法》。七、要紧记着革命军的《刑事条例》。八、革命军只有前进，不许后退。退却是革命军人无上之耻辱。九、革命军人，要忍耐到最后五分钟，非得到最后的胜利，决不放手。十、我们的名誉，是已死同志们的头和血换得来的。我们切不可忘了杀害我们的同志的仇敌，大家要为已死的同志来报仇。”10月5日和6日，蒋介石又同汪精卫一道，以总指挥和党代表的名义，在《广州民国日报》上公开发表了《东征布告》和《东征军安民布告》。
在第二次东征的具体战斗过程中，蒋介石亲临前线指挥，有关作战的命令和文电来往频繁。
①在进攻惠州的战斗中，1925年10月8日，蒋介石命令第一纵队派出有力部队围攻惠州城，主力集结于响水，博罗附近，以备进攻河源，紫金方面之敌，并具体制定了攻城计划：（一）攻城部队任务之区分：1．第四团担任惠州城北门、西门之攻城，并任野炬连之掩护。2．第三师先行占领上下马庄、飞鹅岭，担任攻击惠州府城南门及惠阳城。3．野炮兵应在梅湖与下角之间地区占领阵地。（二）第一纵队其系各部，在情罗策应，并准备敌人由水北窜出时随时堵截。（三）第二纵队对于平山增援惠城之敌，相击迎击，并策应我攻城部队。（四）攻城的材料由副官处准备分配。（五）炮火集中如左：1．野炮连之火力，集中于腐城北门城内之敌，第四团应准备爬城部队，以待炮火奏效时，立即冲到城根脚下，勇敢登城。2．山炮之火力，应集中于南门城内之敌，第三师应准备登城的部队，以待炮火奏效之时，立即冲追城脚，勇敢登城。（六）登城队宜携带武器较多，配合携事短枪及手榴弹士兵。（七）登城奖金。1．首先登城者得奖一百元。2．其余奖二十元，但不在敌人的火力下登城者，不得请奖。（八）飞机队应准备多量炸弹，协同炮兵攻城。（九）参加攻城的炮兵。概归炮兵营长蔡忠奋指挥。（十）第一师二兵队，准备材料，协助攻城。（十一）第四团通讯队，应速构成通信网。（十M）攻城指挥官，本总指挥并任之。10月，蒋介石到了博罗，将三个纵队的兵力作了布署，并下达了进攻惠州的要领，对攻城部队的选出，编组攻城的指挥及动作，炮兵目的，其他部队的配合以及联络等都作了明确而又详细的具体规定。13日，进攻惠州。“开始与敌作战，十一时各处山炮亦相继攻击，发射出一排排炮弹。主下午二时，北门城垣之垛口，被我炮火击毁甚多，我第四炮团在炮火掩护之下，迅速通过北门桥，并徒涉护城河，战斗激烈。下午四时，我军所运竹梯已达城脚，第四团刘团长尧寰在桥上指挥攻城受伤，我官兵死伤甚众，十三日下午二时半，我第三军方面亦向城西南处攻击前进，战斗到傍晚，敌仍顽抗。十月十四日，我军继续攻击，蒋总指挥在飞鹅岭炮兵阵地，何纵队长应钦亦在北门督战，并派第八团加入战斗，此门炮火亦集中该处，战斗至午后三时半，我第四团首先登城，北城之敌纷纷退走。其他各攻城部队和相继冲人城中，何纵队长应钦率总预备队人城，杨坤如已随残部向水东门逃窜，我军即行追击，并乘机占领惠阳，蒋总指挥亦移节惠城，策尔后之作战”。〔以上见《北伐战史》
与此同时，蒋介石给汪精卫打了一份《攻惠州城告捷电》。16日，蒋介石在《广州民国日报》上发表了《祭攻惠州阵亡将士文》，并在追悼攻惠州阵亡将士大会上发表了演说。
②在潮梅战斗中，蒋介石随军指挥，攻占惠州后，蒋介石重新部署部队东进，以第一纵队为右路军，第二纵队为中路军，第三纵队为左路军。10月22日，东征部队进占海丰、河源。28日，占领五华。31日，东征军攻克兴宁。11月4日收复潮、汕。至此，东江完全收复。
11月6日，蒋介石发出了《收复东江通电》，认为：“自上月六日出师，迄本日适为匝月，经将逆军主力完全击溃。”“此次师经六百余里，四民簇拥而观，簞食壶浆以进。”表示“尚翼政府暨各界同志，示以周行、万众一心，共同努力于国民革命之实现。”7日，正逢苏联十月革命节，蒋介石在汕头东征军总指挥部宴请苏联军事顾问，并发表了《对于联俄问题的意见》的长篇演说。他充分肯定了国共合作时提出的联俄政策的效果。他说：“我们今天能够消灭叛逆，达到这个目的，大半可说是苏俄同志本其民族精神，国际的实力，与其革命的使命，起来以至诚与本党合作，帮助我们中国革命的效力”。他批判了当时“中国人不应受俄国人的指挥”的种种攻击苏俄政策的谬论。他说：“我们且不讲我们是否已受了俄国人的指挥，但我才敢老实讲，叫革命先进国的苏联来指导我们中国的革命，我们世界中的中国革命党员，实是愿意接受的，而且是应该接受的。”蒋介石还向与会者讲了孙中山在联俄问题上对他的面谕，他说：“去年总理将要北上的时候，对我不但是有面谕，而且是有手谕。总理的面谕，就是‘鲍罗廷的主张，就是我们的主张，凡是政治上的事总要容纳他的主张；你听他的主张，要像听我的主张一样子才好。”最后，他一再说：“我们实现总理遗嘱，不是在形式上的，若要真正的实现遗嘱，要真正的革命成功，一定要照俄国革命的方法去做，才是总理真正的信徒。”在潮、汕时，蒋介石还搞了不少活动。11月10日，他在潮州公园对第一师第二、三两团官员发表了《见大胜利成果改进部队缺点》的训词。首先，他肯定了第一师官兵“通通能够忍耐劳苦”，“真真不愧为孙大元帅的部下”，一再表示：“本军这次能够在短少时间，克复了东江，打败了多数的敌人，能够不搔扰百姓，算是实行了孙大元帅的三民主义”。进而他指出，“这次虽是打了胜仗，缺点仍然很多”，“现在小小胜利，算不得什么，大家不要骄傲起来，以为天下无敌了。骄兵”是必败的，本军上下总要戒惧，总要学本事”。13日，他参观潮州中学，并在欢迎会上发表了《学生是学校的主人》的讲话。16日，他在汕头各团体祝捷大会又发表了讲话，着重解释了“平均地权，节制资本”这两句民生主义的话。ZI日，写信给当时担任东征军政治部主任的周恩来，谈了关于发挥部队中党的作用以及关心士兵的问题。他说：“本军各团党部，实在是有名无实，所谓党的活动，是很少有精神的。近来士兵告发的困难苦痛太多了，而且亲眼看见的也不少，甚至有排长的粪便塞士兵之口，或痛打毒骂，而士兵之饥冻不管，更属视为常事，甚至有开除士兵，不发清薪饷，为其连长中饱。此等恶弊，不一而足。根本上说，还是各团党部活动不力，徒有形式而无一些精神。”而且要求：“赶紧先把第一师各团党部整顿起来，使士兵开小组会议时，完全自由发表其意见，及报告其痛苦，官长不得怀恨报复。如此，则士兵经济与生活或为经费所限，不能完全改良，而精神及环境决不致如此之暗无天日也。”蒋介石在信中向周恩来提议，可将这封信在报上公开发表。12月11日该信在《广州民国日报》上全文刊出。
在第二次东征的同时，革命军又征讨粤南军阀邓本殷。蒋介石在指挥潮、梅战斗时，得知粤南邓本殷进窥广州，阳江、罗定、云溪各县均已被占，情势急迫，于是即令李济深率独立第一旅及第三十四团回援，并命第十一师待命。到了第二次东征将北江平定后，蒋介石马上增兵南路，重新部署兵力，由第三军军长朱培德任南路总指挥，兵分四路，（陈铭枢部为第一路，王均部为第二路，戴岳部为第三路，俞作伯部为第四路）会攻南阳，以期一举将敌歼灭。11月7日，攻占阳江。23日，攻占廉江。邓本殷率残部退到琼州。这时，蒋介石又命李济深率所属第十一、第十二两师负责肃清琼州之敌。1926年1月5日，李部开始渡海，至2月间，琼州大定，邓本殷残部基本上消灭。3月，广西李宗仁等接受国民政府的领导，所部桂军编为国民革命军第七军。这样，两广实现了统一。在征讨邓本殷的过程中，蒋介石在 1925年12月15日，向军事委员会呈上一份《军政改革计划》。他认为：“统一广东，以巩固革命根据地之目的，今日定可实现矣！然此仍为国民革命之第一步也。广东规定，全国人士之期望于政府者愈殷；北伐实行我革命军所需要之战斗力亦愈大。胜利不可以幸致，北洋军阀固有必败之道，然其军队之抵抗力量，实非陈、林、洪、邓诸部所能比拟，我必于军政之统一，军事之训练，军实之准备，切实注意，尽革前弊积极刷新，而后能完成国民革命之使命也。”据此，蒋介石就六个方面，即军长职衔应即撤废、全省军制应速确定、军需独立应即实行、军事教育应谋统一、兵工厂应积极整顿、改编军队应加限制等等，向军事委员会提出了改革的建议。
东征奏捷，彻底拔除了陈炯明这根“刺”，蒋介石班师回穗，俨然成了大英雄。在1926年元旦广州30万民众的庆祝集会上，他身披拿破仑式斗篷登上主席台，接受群众的欢呼。接着，他出席了国民党第二次全国代表大会，向大会作军事报告，概述了两次东征的胜利和军事方面的其他业绩。在大会选举中，蒋介石当选为中央执行委员，在一中全会上又被选为中央常务委员。此后，他又被任命为国民革命军总监。
在向权力金字塔尖攀登的路上，蒋介石又前进了一大步--进入了国民党和国民政府的领导核心。
孙中山评价蒋介石是“昂昂千里之资，虽夷险不测，成败无定，而守经达变，如江河之自适，山岳之不移。”这些话是孙中山先生为蒋母去世所写的祭文中说的，时在1921年6月。当时的蒋介石，大权尚未在握，思想也还没有成熟到可以运用自如地大耍其政治手腕的程度。他那时给人的印象是革命热情高，意志坚定，勇气过人，但又不时耍点儿小脾气。这样的一个“革命青年”，在孙中山眼里自然是“可造之才”，诩以“昂昂千里之资”。是鼓励多于评价的。后来的事实证明，蒋介石在为国为民的革命事业中的表现大大辜负了孙中山先生当年的期许与鼓励，倒是在反共反人民的道路上越走越远，表现了其“昂昂千里、永不回头”之资。
朱执信遇难后，孙中山曾有一封信给蒋介石，说：“执信忽然组折。使我如失左右手，计吾党中知兵事而且能肝胆照人者，今已不可多得。”
孙中山对蒋介石的这种评语，还算比较客观。正因为“不可多得”--军事干才的极度缺乏，才使孙中山不得不对蒋介石这个常耍小脾气的“干才”一再姑息迁就，使他在革命阵营中的地位显得越来越重要了。