1922年4月，陈炯明发动反对孙中山的军事叛乱，无暇顾及广西，遂命粤军撤出桂境。粤军离桂后，桂人纷纷打起自治旗帜、成立了名目繁多的“自治军”。其中不少土匪也乘机兴风作浪，混水摸鱼。他们凭借手中的军权，割据一方，派县长，设关卡，征钱粮，各行其是。广西局势混乱，、李宗仁的部下官长，见粤军离桂，。部队与陈炯明无形中断关系，一致建议他取消“粤桂边防军第三路”称号，改称“广西自治军第二路”。李宗仁亦有独树一帜、日后统一广西之意，听了部下的劝告，深以为是。5月下旬，他通电就任“广西自治军第二路”总司令职。
李宗仁就职后，立即领兵移驻玉林。在那个年代，武装军事力量，有着神圣的权威，加之李的军队较之广西其他部队要纪律严明，因此他的通电不但受到百姓的欢迎，而且他无形中也成了玉林七县的军政首脑。但这位30岁的年轻人清楚，要独树一帜，站稳脚跟，日后统一广西，投有一支素质良好的队伍不行。为了清除军中严重的陈旧积习，增强战斗力，他决定整饬军纪，在玉林创办了一所“玉林干部教练所”，让下级军官轮流受训，并招收一些中学毕业生中的有志青年入学，结业后任下级军官。教练所还附设“教导大队”，调班长和士兵中较优良分子前来受训。李宗仁的这种训练很有成效，使部队的风气面貌一新，不但战斗力有了很快提高，而且七县人民对李宗仁的士兵不再心存顾虑了。治军之外，李宗仁还兼管七县的民政、税收等。期间，在他的主持和整顿下，贪污减少，土匪敛迹，这对安定七县人民生活起了重要作用，受到当地人民的欢迎和尊重。从此，李宗仁在广西的名声更高了。
尽管李宗仁的名声与日俱增，但他所控制的地盘不多。为了实现统一广西的愿望，打败力量强大的陆荣廷，李宗仁决定联合黄绍弘、白崇禧，寻找时机，扩大地盘。粤桂战争爆发后，黄绍弘、白崇禧处境不佳；白崇禧腿部跌伤赴广州治疗。黄绍弘一支人马正在流离失所。得知此消息后，李宗仁立即派黄天泽与黄绍弘联系，劝他与自己合作。黄天泽是黄的四哥，此事一说即合，黄在此境况中求之不得，便率所部千余人开入李宗仁防区。
1923年春，在李宗仁的支持下，黄攻占梧州。梧州不仅是富庶之区，而且是战略要地。它扼西江通广东的门户，占领它，一则易驾驭全省，二则可伺机进攻广州。是年秋，李宗仁与黄绍弘分别从梧州、玉林发兵，夹击陆荣廷的陆云高部，占领了贵县。发兵前，李改部队称号为“定桂军”，表示占领贵县是统一广西的第一步。贵县战役期间，李宗仁曾在李济深、陈铭枢的介绍下，加入了正在改组的国民党。
陆荣廷失梧州，丢贵县，旦隐约感觉李和黄暗中有往来，决心对李、黄用兵。陆老好巨猾，知对李、黄同时用兵很困难，因此采取各个击破的办法，企图以李消灭黄，然后再收拾李。1924年春，陆派他的代表陈毅伯来桂和李谈判，要李担任他的“前敌总指挥”，东下讨伐黄绍弘，“收复”梧州。此时，李觉得还不便与陆对抗公开，遂巧于周旋。李向陈毅伯表示：从战略上考虑，陆帅用兵重点在西江下游地区，而不是黄。对于李的意见，陆只字听不进，力促他赶快接受委任。李宗仁见陆已铁心，没有回旋余地，干脆致电陆荣廷，表示自己率部撤出玉林，让开正面，请他另觅高明充任。
李宗仁的这一手，使陆大为恼火。不久陆亲率精锐部队数千人北上“出巡”，驻进桂林，以此威胁李宗仁。不料，此时沈鸿英却疑陆出巡有与自己的夙敌马洛联合将他消灭之意，于是引起了沈陆之战，双方廖战激烈，持续3个月之久。后经北京政府派人调停，于5月上旬陆、沈议和休战。这样，广西就成了三足鼎立的局面。在沈陆激战中，坐山观虎斗的李宗仁，看到这种结局。十分不安，便急电请黄绍弘来玉林商讨广西时局。经过3天的详细讨论和周密计划，李宗仁决定先发兵付伐筋疲力尽的陆荣廷，然后再回师扫击沈鸿英部。
计划已定，李宗仁便立即部署行动。经与黄绍弘、白崇禧讨论，李决定分兵两路讨伐陆军。此时，陆荣廷部虽兵力不算少，有1万多人，但分据数十县，平时各自为政，各不相顾。这样，便于李宗仁各个击破。1924年5月，李集中主力于桂平、贵阳附近。两路大军，一路由李石愚、任廷扬、夏威、蔡振云部组成，由李宗仁亲自指挥，乘船朔江而上，直逼南宁；一路由何武、钟祖培、俞作柏组成，由自崇禧指挥，自贵阳出宾阳、上林一带，转自陆荣廷的家乡武鸣，然后与李宗仁会师南宁，黄绍弘则统其余各部，留守梧州，随时准备策应。部署停当，师在即行，黄绍弘立即在梧州封船，专供军运。李宗仁的这次军事行动，在广西可算是兴师动众了。因此他的举动南宁方面即有所闻，部队还未起程，驻南宁的留守部队督办林俊廷即发电李宗仁：凤闻左河下游军运频繁，似有图攻南宁模样。林不相信有此事，他认为李宗仁不会乘人之危，在陆荣廷危难时发动攻击，因此在电报中还提出要到贵县与李宗仁一叙。林的这一招，弄得李十分为难，但为、了稳住对方，李宗仁复电，欢迎他来贵县，林到后，李宗仁待之若宾。此时黄绍弘来电，要李把林扣押起来。在李看来，林是位忠厚长者，不忍心照黄电办理，于第二天送他上船回邕。临行前，林还对李说：外面都说你要攻打南宁，我看你不会，今天我来了就证明那些全是谣言。林说得很真切，但李宗仁却不动声色，骗过了林。
林走后，李宗仁的水陆各路大军随即出动，向邕宁地区合击。5月23日，他领衔发出通电，呼请陆荣廷下野；指责陆在广西统治期间涂炭人民的罪恶：“我省人心厌乱，而陆、沈又起交哄，桂林一带被兵之地，死亡枕藉，饿碎载道。”6月25日，李宗仁指挥的左翼军，兵不血刃占领南宁。由白崇禧指挥的右翼军，在扫荡滨阳、迁江、上林的抵抗之敌后，即锋转武鸣，在那里未遇激烈抵抗，遂向南宁会师。李宗仁进兵神速，势不可挡；陆荣廷见大势所趋，只身遁湘。不久，陆通电下野，赴居沪上。
李宗仁的胜利，结束了陆荣廷在广西的统治，这不但震动了广西各界，赢得了他们的好评，而且受到各省的关注，使他们刮目相视。从此李宗仁的声誉更高，名扬全国。但胜利滋长了他部下的骄傲情绪，演出了几乎导致这支部队分裂的惊人一幕。原来，黄绍弘部自脱离李部自树一帜后，发展迅速，单独成为一个系统并挂起了“广西讨贼军”的称号，黄为司令，白崇禧为参谋长，而黄的部下俞作柏，野心勃勃，想让黄在广西黄袍加身，于是向黄绍弘献计，将李宗仁的定桂军全部缴械。此讯漏出后，李宗仁手下的各将领愤怒异常，第二纵队司令何武力主和黄部决一雌雄。李竭力劝说部下，解说黄不会做出此事。任凭李苦口婆心，但两军嫌隙，互相戒备，情势非常紧张。时黄在梧州，李遂发电催他克日来邕，共商善后之策。黄接电后也感到事态严重，迅往南宁。
为了平息两部的对立，黄到南宁后，在其指挥部内设宴招待各军将官。席间，他声明，他原是李宗仁的部将，前去梧州自成一军，是有计划的权宜之策，今天归还建制，重新服从李的指挥。并宣誓，今后众将一心一意，服从李宗仁的领导，如有口是心非，如当此杯。说毕，将酒杯摔于地上，跌得粉碎，全场肃静。由于黄绍弘深明事理，使部队避免了一场内哄，也使李宗仁免遭一次灾难。宴毕第二天，在李宗仁的主持下，在南宁旧督署正式宣布，李的定桂军和黄的讨贼军合并，成立了“定桂讨贼联军总司令部”，李宗仁任联军总指挥，黄绍弘任副总指挥，白崇禧为总参谋长。
黄绍弘设宴安军心，李宗仁心头喜悦。讨沈拒唐统一广西，开始制订统一全广西的战略。不料此时陆荣廷的残部韩彩凤屯兵柳州、肇庆一带，伺图报复，蒙仁潜、陆福祥存入枪二千，盘据部安、那马一带，窥伺南宁，龙州的李绍英、谭浩澄、谭浩清共有人枪三千，也虎视眈眈，蠢蠢欲动。这些残余势力，本来就是李宗仁肃清的对象，在此情况下，李决定提前行动。先扫除这些势力，以解后顾之忧。
1924年8月初，李宗仁分兵3路进剿。右路军李宗仁和白崇禧指挥，进击韩彩凤；中路军由俞作柏和蔡振云指挥，向武呜进发，肃清那马、都安的敌军；左路军由胡宗泽指挥，溯左江而上，直捣龙州。3股残余势力中，韩彩凤一股最为顽强，不但人多枪多，武器配备和训练较好，且韩系本地人，士兵均为子弟兵，能攻善战，交战中，李宗仁指挥的阵地曾多次被韩兵突破，但由于李宗仁和白崇禧认真对待，指挥得当，在上蕃决战中，经过月余的惨烈激战，终于击溃了韩部。右路韩部被击溃的同时，中路军、左路军也进展顺利，取得胜利。至此，陆荣廷在广西的势力，连根铲除了，广西境内只有李宗仁和沈鸿英两支部队，形成两雄对峙的局面。只要消灭沈鸿英，李宗仁就可统一广西，成为桂系之首了。