3月的一天，几辆黑色小轿车自广州百子路蒋介石的东山寓所驶出，风驰电掣地开往码头，中间的一辆车上坐着蒋介石和秘书陈立夫。
蒋介石正襟危坐在车的后座上，两眼闭着也不知人想些什么。陈立夫几次想开口劝说蒋介石，但当他看到蒋介石那沉思的模样时，便又闭口不言了。
轿车在土路上奔驰了好一阵子。陈立夫抬手看了看表，估计差不多要到码头了。陈立夫心想再不劝阻，就没有时间了。便试探地问蒋介石道：
“不去上海，没有别的办法吗？”
蒋介石的沉思被打断了，抬头睁开眼看了看陈立夫，反问道：
“哦，你有什么想法呢？”
陈立夫见蒋介石并未责怪他，便一口气说开了。
“校长，我以为离开广州去上海不妥。为什么要避开呢？国民政府的8个军中，第一军有三个师，实力最强，掌握在校长手中。其他各军虽对校长有些怨言，但谅他们也不敢轻举妄动。更何况校长兼任广州卫戍司令，守卫广州的部队还掌握在手中，为什么要放弃呢？
“汪（精卫）主席虽然也想整整校长，但他有点书生气，胆子不够大。汪主席不是想用王懋功师长来推倒校长吗？可前些日子，校长以‘图谋不轨’的罪名，撤掉其师长职务，并将他押送上海，汪主席不也是无话可说吗？还有，苏联顾问也不可怕，那个季山嘉顾问不是不同意校长的北伐策略吗？可校长向汪精卫提出免去季山嘉总顾问的职务，季山嘉不也是表示愿意辞职吗？
“共产党人虽然唱高调，颇能煽动民心。但他们那个总书记陈独秀却很好对付。只要控制他，共产党就好应付了。”
“校长，你不要太心慈手软了。我们有兵为什么不干呢？为什么要成他人俎上之鱼肉呢？”
陈立夫的一番话，句句都点在了蒋介石的心坎上。是啊，蒋介石又何尝想离开广州呢？但是不离开广州，又该怎样动手呢？蒋介石又陷入了沉思之中。
陈立夫见蒋介石并无什么话要说，心中很有点不安，看来蒋介石并没有听从自己的劝阻。难道他真的下定了决心要离开广州吗？陈立夫也在思考着。
“嘎--”的一声，车停在了码头上。蒋介石的侍卫官从外面打开了车门，请蒋介石下车。谁知蒋介石仍坐着不动，侍卫官还不知怎么回事，一路沉默的蒋介石忽然开了腔，命令司机道：
“回去！”
陈立夫一听，心中立刻明白怎么回事了，忙让司机调转车头，原路返回。
蒋介石要动手了。
蒋介石返回后，立即找到其心腹王柏龄进行策划，并多次纠集党徒召开秘密会议，陈立夫作为机要秘书也参加了会议，通过了采取反共行动的决议。
为了替自己的反革命行动找借口，蒋介石指示手下四处造谣：
“共产党要暴动，推翻国民政府，组织工农政府。”
“汪精卫、王懋功都加入了共产党，共产党准备倒蒋，正在黄埔军校查帐，说蒋介石贪污。”
“有人要把蒋介石、陈立夫等劫往苏联，为他们二人前往苏联的护照都准备好了。”
“国民政府准备宣布共产，所有私人财产都要没收。”
诸如此类的谣言使得广州市民人心惶惶。
3月17日，陈立夫陪同蒋介石由黄埔乘汽艇到广州市东提八旗会馆--广州卫戍司令部，再次放出谣言：“共产党有阴谋。”随即又将其寓所迁至有坚固工事的广州造币厂。
准备完毕之后，蒋介石决定从“中山舰”动手。
原来中山舰舰长李之龙是共产党员。他在任海军局政治部主任期间，曾查处过蒋介石的盟兄弟、虎门要塞司令陈肇英走私的活动，颇伤蒋介石的面子。更何况，李之龙后又被提拔为海军局代理局长，不论从哪一方面来看，打击李之龙都有利于蒋介石的野心。
3用旧日，蒋介石指使其亲信、黄埔军校驻省办事处主任欧阳格传达他的命令：
“着即通知海军局速派得力兵舰二艘，开赴黄埔，听候差遣。”
李之龙接到命令后，遂用纸笺写了两张命令，分别交宝壁舰舰长、中山舰代理舰长，命令即将舰只开赴黄埔，听候蒋校长调遣。
19日上午，宝壁舰、中山舰先后抵达黄埔。当中山舰开到黄埔之时，蒋介石既大耍无赖，矢口否认，声称“并无调遣该舰之命令”，中山舰“无故移动”，是“不法行动”，“显示共党阴谋暴动”。
这天晚上，蒋介石又召开紧急会议，商量办法。陈立夫参加了这个秘密会议，极力鼓动蒋介石不要错失良机，应立即采取行动，对共产党实行突然袭击。有人怕舆论谴责，陈立夫立即驳斥，认为不必顾忌，在陈立夫的鼓动下，蒋介石再次痛下决心，“今日若无决心，岂能挽救本党？”
20日凌晨，蒋介石派人抓走仍在睡梦之中的李之龙。随后又调动大批军队和警察，断绝广州市内交通，实行戒严，扣留中山舰及其他海军舰只，包围苏联顾问的办事处及住所，监视苏联顾问。拘捕黄埔军校及第一军第二师中的共产党员40多人。同时蒋介石还密令何应钦将驻防潮汕的第一军中的共产党员全部逮捕，并取消第一军的党代表制度，汪精卫的住宅也被蒋介石派兵“保护”起来。
由于共产国际指示的错误，由于陈独秀的右倾思想，“中山舰事件”之后，蒋介石很快达到了自己的目的：国民党中央政治会议作出查办李之龙，季山嘉等苏联顾问回国，共产党员撤出第一军的决议。汪精卫也声称病了，赴外地求医。
中山舰事件，陈立夫自始至终都参与了此事，并在其中担任了极不光彩的角色。如果不是陈立夫劝说蒋介石不要离广州，断不会有之后的中山舰事件。周恩来后来指出：“张静江、陈立夫都于1926年1月2日回到广州，同蒋介石进行勾结，挑拨国共关系。这就是3月20日中山舰事变的原因，也是3月28日事变以前的政治形势。”
在这件事上陈立夫所表现出来的对蒋介石的忠心、对共产党极端仇视的心理和顽固的反共态度以及在复杂事变中的机警沉着和诡计多端，都深深获得了蒋介石的赞赏。为此蒋介石在日记中写道：“今日方知孤臣孽子操心之危，处境之苦，若非亲历其境者决非想象所能及其万一也。”北伐开始后，陈立夫被提拔为国民革命军总司令部秘书处秘书兼机要科长。他工作认真负责，凡是蒋介石签发的文件，他总是逐字逐句地从头到尾阅读一遍，然后交监印员盖上大印。他对下属科员管束甚严，每到一地，他总要召集部下训话，要求机要科员精心保管好印章，文件等物品，以免战乱中受损大。
陈立夫的工作作风和态度，令蒋介石刮目相看。不久，蒋介石让他主管整个秘书处的工作，成为蒋介石的贴身心腹。这为陈立夫日后飞黄腾达奠定了基础。