1928年6月24日，蒋介石提出一份《呈请设立裁兵善后委员会文》，说是“北伐已告完成，军事应谋结束，裁兵之举，斯其时矣……中正筹思所及，爱拟设裁兵委员会”。“庶几化兵为工，可期早日实现。”
7月6日上午，蒋介石率众在北京碧云寺举行祭奠孙中山灵枢的大典。对于蒋介石玩的这一手，四个集团军的首领谁也不敢怠慢，因为他们都自称是孙中山的信徒。上午8点20分，以蒋介石为主祭、冯玉祥、阎锡山、李宗仁为襄祭的祭典开始，一应仪式后，山第三集团军总指挥商震代表蒋介石宣读祭文。蒋介石在祭文中强调“中正昔侍总理，亲承提命之殷殷，寄以非常之任……”明显是以统帅自居，俨然凌驾于各路集团军之上的“总总司令”了。祭文宣罢，开棺瞻仰中山先生遗容。棺盖一开，蒋介石当即扶棺大哭。冯玉祥上前相劝，不料他哭得反而更伤心了。参加祭典的文武官员们本来就各怀鬼胎，见蒋介石如些造作，都觉可笑。有悄声骂道：“这才显出他是嫡系呢，我们都不是嫡系，叫他哭吧，我们走！”蒋介石耳朵尖，一闻此言，马上就不哭了。于是盖棺散会。
7月11日，蒋介石邀集冯玉祥、阎锡山、李宗仁及白崇禧、钟麟、商震、吴稚晖等军政员在汤山讨论整理军事方案及军事意见书。在会上，蒋介石主张在改组中央政府机构的同时，举行一个编遣会议，意在精兵简政，减少军费开支用于经济建设。
对于蒋介石提出的“编遣”主张，因其冠冕堂皇，冯玉祥和阎、李、白等都无法公开反对。但蒋介石的用心他们都是心知肚明的，无非是想借此“削藩”，壮大蒋家嫡系第一集团军的实力，削弱另外三个集团军的兵力，以便伺机各个击破。与会各都是在官场和战场上征讨杀伐久经历练的老手，因此，他们表面上同意蒋介石的主张，但心里都在各自打着如意算盘，都想利用“编遣”的机会，多争些地盘，多保存些实力，造成对自己有利的形势。其中尤其是冯玉祥和李宗仁，他们原则上不反对编遣，但又对地盘的分配感到不满，以为可以利用这个机会进行一些有利于自己的调整。所以，当蒋介石提出编遣主张后，冯玉祥等都“积极发言”，乘机发泄不满。座中惟有阎锡山不说话，而且对蒋介石的意见唯唯诺诺，表现出十分恭顺的样子。这诚然是阎锡山多年养成的一贯作风--先观风头，再做主张。但另一方面，也因为他在北伐后的地盘分配中已由山西发展势力到了冀、察。绥三省和京、津两市，感到十分满意。此外，他也看出了蒋介石的阴险用心，觉得与其参与反对，不如坐观成败，以收渔之利。这样，众意见未能统一，汤山之议遂告不了了之。
在编遣会开张前，国民党于8月8日至15日在南京召开了二届五中全会。蒋介石致《开会词》。他说：“回想自从民国13年1月1日至17年8月8日之今日，总理交付我们的军事时期才告一段落。不过从今天起，也就是从这第五次中央全会开会之日起，我们要继续为国民革命，开始去作训政时期的工作。”全会通过了《政治问题案》，提出“依据国民政府建国大纲，应设立司法。立法、行政、考试、监察五院，逐渐实施。”即决定实行“五院制”，还通过《整理军事案》，规定：（一）军政军令，必须绝对统一。军队之组织，更必须十分完备，才能使全国军队成为真正之国军；逐渐实行征兵制，以收内安外攘之效；破除旧日一切以地方为依据，以个为中心之制度及习惯。（二）全国军队数量，必须于最短期间切实有效收缩。（三）军事教育必须统一，为完成国军之基础。……各军各地方，不得自设军官学校及类似军官教育之学校。（四）裁兵，为整军理财之第一要务。（五）在国防上，海军、空军及军港要塞之建设，均为重要。全会还决定：“各地政治分会，限于本年年底，一律取消。”会上，蒋介石被任命为国民政府主席，谭延间为行政院院长、胡汉民为立法院院长、王宠惠为司法院院长、戴季陶为考试院院长、蔡元培为监察院院长。同时，蒋介石还发表了冯玉祥为行政院副院长兼军政部部长、阎锡山为蒙藏委员会委员兼内政部部长、李宗仁为军事参议院院长，并希望这三个长期住在南京。这实际上是蒋介石采取的“调虎离山”的“削藩”之举。以达削弱其在军队中的权势和影响之目的。
根据汤山会议和国民党二届五中全会关于军队编遣的决定，在南京非正式的讨论过几次军队编遣问题，和其他军队整肃方面的问题。
在第一次非正式会议上，冯玉祥提出了编遣的几项标准，说什么有训练者编，无训练者遣，有革命性者编，无革命性者造；有作战功劳者编，无作战功劳者遣；枪械齐全者编，枪械不全者遣。而他的第二集团军，这四项标准中应编的条件样样俱全，应编的占多数，应遣的只占少数。当下何应钦就向：那么你打算编多少？冯说：多少还不敢说，在四个军团里总应该占第一位吧。蒋介石很不高兴，哼了一声说：“那你就提个方案吧！”
在第二次非正式会议上，冯玉祥提出了一个方案，他到有点客气，没敢占第一位，而是和蒋介石拉平了。主张第一、第二集团军各编十二个师，第三、第四集团军各编八个师，杂牌军编八个师。蒋介石没有表示可否，只说：以后正式会议时再解决吧。
以后又开过几次非正式会议，大家话不投机，离题越来越远几乎成了僵局。
阎锡山也就在这种情况下，来到了南京。何应钦就来见阎，谈了关于编遣会议的方针，特别谈到冯玉祥所提的方案，最后何应钦表示：“蒋先生希望阎先生也提一个方案，在会上共同研究。”
何应钦还说：“蒋先生意思希望在四个集团军的辖区之外，再加上一个中央区，最后请阎先生在方案上一并提出。”阎锡山考虑了片刻，说：“我可以准备这个方案，但加上中央区这个问题由我提出，似乎不甚合适。如果蒋先生提出来，我一定首先赞成。”之后，阎锡山就搞了一个方案，五十个师不变，第一、第二集团军各编十个师，第三、四集团军各编成八个师，其他非正式的队伍编成六个到八个师，其余六个到八个师则由中央处理。阎锡山的这个方案事先写成了书面，交给了何应钦，转交给蒋介石处理。
1929年1月1日，全国编遣会议正式开幕。国民党中央执委会和监委会委员、各集团军的总司令、总指挥等60余参加了会议。全体与会者在正式开会前先对着孙中山遗像宣誓：“敬以至诚，宣誓于总理灵前：委员等遵奉总理遗教，实行裁兵救国。对于本党之一切决议，竭诚奉行，不敢存丝毫偏私、假借、欺饰、中辍之弊。如有违犯，愿受本党最严厉之处罚。谨誓。”
在这个颇为隆重的编遣会议成立典礼上，吴稚晖代表国民党中央致训词，接着是蒋介石致答词，他说：“统一后军惟有编遣始能自救救国。否则拥兵自相残杀，徒取其辱而已……”
在会议上，蒋介石发布了《国民编遣委员会开会宣言》，明确规定了这次编遣的四项原则：一、不偏私，“国军裁留之标准，乃认为全国所有之军队为一整个不可分之单位，整个的国军之下，不认再有其他之单位；二、不欺饰，“务以公开与诚实为标准……不欺、不隐、不夸、不诬”；三、不假借，“为厉行精兵主义而裁兵，誓当一秉救国之本怀”；四、不中辍，“十七年来纷如乱丝之军事现象应使完全革新，即一切附丽于军事恶制之旧观念、旧习惯，亦必加以根本之扫除。”这个宣言是全体与会员宣誓誓辞的具体阐释，是深恐各路将领不释兵权而预先制订的一个“约法”。蒋介石在致答词时还假惺惺地表示：“这个编遣委员会是集合忠实军领袖与党的领袖成立的，我们的使命是要共同救中国，共同建设新中国……并不是像从前的把戏，专权集中在一个手中。”说的真是比唱的还好听！
成立典礼之后，连续开了一个月的编遣会议，具体商议编遣问题。
当时各集团军的数，李宗仁回忆说：“第一集团军为最多，约二十个军，四个独立师，共五十余万。第二集团军共十个军，八个独立师，合计四十二万。”
第一和第二两个集团军，即蒋介石冯玉祥，就成为编遣会议中争斗的主要两家。会上通过了一系列规定。在1月5日的第一次大会上，通过了《国军编遣委员会会议规则》，冯玉祥在这一天日记中说：“九点，赴第一次编遣会议开会，宣言中有一不偏私，二不欺饰，三不中辍数语，观与会之精神，我国前途，询有无限之希望也。”8日的第二次大会上通过了《国军编遣委员会临时秘书处组织规程》。11日的第三次大会上通过了《确定军费总额实行统一财政办法提案》，冯玉祥在这一天日记中谈及：“下午三点，开编遣会议第三次大会，讨论全国兵额及实施编遣办法大纲草案并编遣进行大纲。……余以此事极关重要，遂毅然赴会。开会时，蒋主席主张付审查，无异议，并推定余为审查委员长。”14日，冯玉祥在日记中又说：“开国军兵额及实施编遣办法大纲编遣进行程序大纲审查会议。决议事项：（一）兵额不得过六十师八二）编遣办法会同农矿工商财政各种提案，分别规定；（三）编遣程序先行调查各集团军实在状况，编制各项精密统计，然后决定。”17日的第四次大会上通过了《国军编遣委员会进行程序大纲》规定：“全国现有军队，除中央直辖各部队及海军各部队，应由编遣委员会径行派员缩编外，其余应分为左列六个国军编遣区，实行编遣：第一区，专管编遣原隶第一集团之各部队；第二区，专管编遣原隶第二集团之各部队；第三区，专管编遣原隶第三集团之各部队；第四区，专管编遣原第四集团之各部队；第五区，专管编遣原隶山东省之各部队，第六区，专管编遣原隶川、康、滇、黔各部队。”还规定：“缩编全国现有之陆军步兵，至多不得超过六十五师，骑兵八旅，炮兵十六团，工兵八团（共计兵额约80万，空军、海军另定），其编制应斟酌全国收总额之比例，务必缩减军费至总收入的百分之四十为止。依此定额，暂定一年经常军费及预备费，为1亿9200万元，各编遣区及中央直辖部队其编留之部队，至多不得超过十一个师。”22日的第五次大会上通过了《国军编遣委员会编遣区办事处组织大纲》，决定在全国设立八个办事处：中央直辖各部队编遣办事处（南京），中央直辖海军编遣办事处（上海），第一编遣区办事处（南京），第二编遣区办事处（开封），第三编遣区办事处（北平），第四编遣区办事处（汉口），第五编遣区办事处（沈阳）及第六编遣区办事处。同时这次大会上还通过了《国军编遣委员会服务规程》。
在讨论实质性的问题即各集团军怎么个编遣时，蒋介石对准第二集团提出编遣第二集团军的计划。冯玉祥也不买帐，立即提出一个裁兵原则八一）裁弱留强；（二）裁无功留有功，并指出：“第一集团军内所收编的南北部队十余万，应该首先是裁撤的对象。如今这些收编的部队留而不裁，反而要裁北伐中有功的正规部队，实在有些不公平。”结果在议过来论过去的过程中，多数赞同阎锡山的提案。很显然，阎的提案对蒋介石有利，虽然蒋的力量同冯相等，但蒋介石另外可以支配中央编遣区，也就是说有六个至八个师可以再归他指挥。李宗仁看到阎锡山的方案带有离间蒋、冯的性质，所以也倾向于阎的方案。这样一来，冯玉祥就称病请假，不到军部来办公，编遣会议也不来出席，只派个代表参力D。
蒋介石为了掌握冯玉祥的情况，曾派孔祥熙前往慰问。当孔走到院里，就听到了冯玉祥正大声和许多说话，但孔一进屋，冯却倒在床上，蒙上棉被，连声呻吟。李宗仁回忆说：“我们有时到冯的住处去‘探病’，只见他卧房里炭火熊熊，冯氏则倒卧在床上，盖了两床锦被，满头是汗，呻吟不止，好象真有大病的样子。”又说：“蒋先生有时也亲往探视冯氏，并安慰他要好好静养。”冯玉祥自己说：“近日失眠，胃病等症复发，据医生诊治说，是神经衰弱症。”
1月25日，编委会议暂且闭幕，蒋介石致闭幕词时说：“本会历次议决各案，不仅议决后就算了事，还要-一实行起来，才算完成了我们的责任。”胡汉民也致词说：“所有本会各种决议案，都是国家的根本大计，我们要如何的努力把他实行起来，并且要把他作好，就要看大家的实际行动了，我们不愿意夸夸其谈的说一些抽象的不切实际的漂亮而又动听的名词，我们要有实行的条理和好的方案。”
当时部队编遣的结果，何应钦在《全国军缩经过》的报告中说：“第一集团军已缩编为十三师、两个独立旅、两个炮兵团、一个交通兵团、一个骑兵师，每师有三个旅，共约24万余；第二集团军已缩编为十二师，约22万；第三集团军亦编为十二师，约20万左右；第四集团军已缩编为九团制之师十三个，约23万。正在缩编中者，有张贞师、卢兴邦师、陈耀汉师及陈调元、方振武。高桂滋、岳维峻、任应读、徐源泉、刘珍年、刘志陆、谢文炳、刘桂堂、顾震等所部共约22万。此外奉天现缩为步兵十五旅、一个独立团、两个骑兵队、八炮兵团、工兵五营、辎重五队、通信一大队、特种车队，共计约12万；吉林、黑龙江两省共六个旅、约4万余；云南现有六师约3万；四川邓锡侯、田颂尧、刘湘、刘文辉、杨森、赖心辉、刘存厚各部共约18万；两广有陈济棠、徐景唐、陈铭枢、黄绍访、范石生等五军及许克祥师，共约12万；贵州约2万；海军陆战队约8000。总计全国军队数目，共约百六十余万，现已改编成师者已逾五十个以上，裁遣官兵又达百万。”
何应钦又说：根据缩编后的数字，“额数仍多，核与国家收入比例不符。惟从兹收束军事，暂告一段落，筹备国防，此其噶矢。他日再由国军编遣委员会加以一般之整理，使全国兵额不超过50万，以符五中全会之宣言。”
在正式会议上，蒋介石开始是不表态，任由们针对冯玉祥和阎锡山的两个不同的编遣方案进行争吵。当他采取种种手段争得们多数支持阎锡山的方案（即在四个集团军之外，再加一个中央区）之后，他才以仲裁者的面目表态，不但同意阎的方案，且又提出增加东北编遣区，使张学良感思不尽。这样，蒋介石不仅在编的军队最多，又把张学良拉到了自己一边。增加了“蒋家军”的实力。
最后，会议制定了《国军编遣委员会进行程序大纲》。规定，从全国编遣委员会成立之日起，全国军队一切权力收归中央，正式取消国民革命军总司令部、各集团军司令部及海军司令部。各部队原地驻扎，听候点编。同时还规定，各集团军无权自行调动与任免军官。至此，与会的各路诸侯们才明白自己是上了蒋介石的当--各实力派的军事大权在无形中被剥夺了，指挥权、调动权、任免军官权，甚至连司令部都被“取消”了，这些号令千军万马的将军们顷刻间成了“光杆司令”。这样的“规定”自然是谁也不肯接受的。冯玉祥、阎锡山、李宗仁、李济深等的态度因之骤变，由原来的相互攻击、勾心斗角转为同病相怜。他们联合起来，以各种托词抵制编遣会议，冯玉祥和阎锡山索性主张“休会”。蒋介石知道一时难以使各路诸侯就范，一纸空文也不可能把家的兵权释去，于是采取缓兵之计，宣布以后再开一个“编遣实施会议”。这样，到1月25日，编遣会议草草收场了。
这次编遣会议，蒋介石不但没能实现其全国军权尽归己手的目的，反而把自己摆到了与各派军事力量尖锐对立的位置上，激化了矛盾。各路新军阀识破了蒋介石的阴险用心，知道蒋介石不把他们彻底搞垮是不肯罢休的，所以他们纷纷离开南京，回到自己的领地上，积极准备力量，要与蒋介石一争雌雄。
蒋介石一手导演的编遣会议的闹剧，无异于在自己脚下安放了一只巨大的火药桶；紧接其后，他又匆匆忙忙召开国民党第三次全国代表大会，这等于又在自己脚边安放了另一只火药桶。
当时的国民党内部，已呈现出四分五裂的状态，“改组派”数最多，成份复杂，以汪精卫为领袖，不断掀起反蒋风潮；“再造派”拉孙科为大旗，主张立胡汉民为党的领袖，反对改组派；此外还有国民党内数不多却实力不凡的元老集团--西山会议派。这些派别的共同特点是：拥护蒋介石的“清党”反共，反对蒋介石的独裁。
蒋介石明白，要想独揽政权和军权，必先独揽党权。他对争夺党权是很有实践经验的。为了操纵这次全国代表大会，蒋介石预先采取了一系列措施，拉拢嫡系，排除异己，扫除障碍。这就更进一步激化了各派政治力量与蒋介石的矛盾。首先是桂系与蒋介石闹翻了，李宗仁潜回广西，白崇禧电请辞职，于右任也不肯赴宁开会。冯玉祥则不仅不来开会，反而发表通电，公开辞去军政部长一职。汪精卫一派的中央委员更乘机鼓噪，公开策动“反对非法的第三次全国代表大会”的运动。一时间，反蒋活动日益扩大，各派军事力量军心不稳，桂系更在调兵遣将，摆出了大战的架式。在这种情况下，蒋介石不得不铤而走险，他要利用这短暂的形式上的统一时机，抓紧把党权独揽在手，以便“正名”用“中央”的名义镇压和消灭各反对派。
1929年3月15日，国民党第三次全国代表大会开幕。在蒋介石一手操纵下，大会发表宣言，彻底抛弃了孙中山先生改组国民党的革命精神，背叛了国民党第一、第二次全国代表大会的政治纲领，公开指责孙中山先生的三大政策，把共产党列为北伐革命的对象。这次大会，第一次把蒋介石树为全党的最高领袖，从而标志着中国国民党已成为蒋介石手中的工具。
两只火药桶放在了蒋介石的脚边，并且已经点燃了导火索，新军阀大战的序幕徐徐拉开了。