江西政治研究院不办了，蒋经国又只有仍当那个虚设的保安处副处长。闲来无事，他便往下走动，常与保安团的下级军官来往，在士兵当中公开抨击国民党政府的兵役制度，揭露征兵时用钱买卖壮丁、虐待士兵的弊端，得到青年人的拥护，却又让熊式辉头疼。他又想把小蒋打发得远远的，免得尽在眼皮子底下找麻烦。可往哪儿打发又颇费心思。
蒋经国曾要求熊式辉派他出任南昌附近的永丰县长，但永丰县在江西是个比较大的县， 熊式辉认为蒋经国太年轻，怕稳不住阵脚出乱子，没有同意，只允许安排他到赣南的偏远小县——安远县当县长。据说蒋经国曾到安远县去看了看，很不满意那块闭塞落后的巴掌大地方，就没有去。
小蒋仍然无事可干，东游游西逛逛，到处打抱不平，又在外面批评这指责那，甚至指责到省政府头上来了。熊式辉甚感厌烦，就像手里不小心抓了个刺猬。就在这时，熊彬出了个主意，成立一个新兵督练处，让蒋经国去管，看看他有什么办法来管壮丁。熊式辉拍手称好，立刻批准，拨了四个团的壮丁交给他去训练。任命蒋经国为处长，柳昕为副处长。柳昕是熊彬日本士官学校的同学，属熊式辉的亲信，派柳昕到新兵训练处，完全是为了暗中监视蒋经国的行动。
新兵难训，这难不倒蒋经国。
训练新兵，得找一个僻静地方，蒋经国听说临川温泉不错，就前去勘察。这里原来是一个荒凉的地方，人烟稀少，乱草丛生。蒋介石在江西“剿共”时，有一次宋美龄跟着路过这儿，她看到有温泉就来了兴致，下车洗了洗手，然后对蒋介石说：“大令，这温泉真好，可惜这儿太荒凉了，要是在这儿盖所房子，砌个池子就好了，我们可常来这里洗洗澡。”
宋美龄也就是顺嘴随便说说。一路跟随委员长夫妇的熊式辉省长，为了讨好宋美龄就马上征调民夫，只几个月的工夫就在这儿修起一座别墅，还开办了一个“励志社”。可是别墅修好后，宋美龄早就回到南京去了，日本人一来又到了峨嵋山，这儿就废弃了。
真是父母栽树，子女乘凉。蒋经国在温泉转了一圈，认为这是个练兵的好地方，夏天可以避暑，冬天可以洗澡，士兵们一定会高兴。于是他就在这里安营扎寨了。
场地选定后，小蒋就着手制定了练兵计划。他胃口很大，决定第一批要训练六个团。蒋经国虽说是列宁格勒托尔马乔夫红军军政学校毕业的，但他没有亲自带过兵，尤其是国民党的懒散兵和当时威武雄壮的苏联红军又完全没法比，远不在一个层次上。国民党的兵多半是抓来的，莫说训练了，连把他们拘在军营都难，刚从农村抓来的壮丁甚至连做梦都开小差，一跑就是一大串，几十个甚至几百个。小蒋的同事们都为此犯愁，怕兵多了不好管，六个团的新兵得多少人才能看住他们？
蒋经国也伤脑筋，正在他也一时无措的时候，他在俄罗斯军校和野营的训练经验在脑海活跃起来，他忽然灵机一动，高兴地说：“我们为什么不采取苏联红军加强政治工作和思想教育的办法？”
部属问：“那是什么办法呢？”
小蒋说：“在加强军事训练的同时，要深入地对士兵进行保家卫国的教育，启发他们的民族意识，说明国难当头，保家卫国是军人的神圣职责，把国家的安危和他们的家庭利益紧紧地联系起来。”
大家都认为这是个好办法，不妨一试。蒋经国又眉飞色舞地说：“光这还不行，我们还要关心士兵们的物质、文化生活。官长要去掉军阀作风，不许随便打骂士兵。另外，还要通知地方政府，让他们照看好军人家属的生产和生活。这样才能使战士安心服役打仗，去掉后顾之忧。”
新官新作风，蒋经国率先垂范，树立榜样。他把前苏联的官兵关系搬过来，运用自如，虽然山高皇帝远，他也不能太放肆，所以要贴上中国标签。刚好他在溪口学了王阳明的“知行统一”的哲学，那可是他老子喜欢的哲学，是很好的保护伞。他自己本来也没有架子，平易近人，和士兵们生活在一起，同住宿，如同家人。于是，令南昌官僚头疼的小蒋，在偏远的临川温泉热热闹闹地练起了兵。
经过深入的思想教育，树立了新的官兵关系。蒋经国又对一些“专以卖身给有钱人家顶替壮丁来赚钱的兵痞”进行惩处。这些兵痞十分可恶，他们卖一次得一笔钱，到了部队就跑，跑出来吃喝嫖赌干坏事，钱花光了再卖，有的已经卖过三次了。他对这样的“兵痞”执法如山，严惩不贷！这样一来，开小差的显著减少了。
当时国民党军队的纪律实在坏得很。有的人只要一披上军皮就趾高气扬，欺压老百姓，奸淫掳掠无恶不作，群众恨之入骨，视兵如匪。 为了整顿纪律，蒋经国明令宣布：公平买卖，不许骚扰百姓，不许调戏妇女，如有违犯，定要重办不饶。蒋经国再三强调：“我说话是算数的！”
小蒋在这个职位上，第一次杀人，下令把一名逃兵判处死刑。光毙不行，还得抚。他也制定若干新法令协助农村征募来的兵员，例如新兵在偿付旧债之前可以有三年的宽限期，地主必须继续把土地放租给士兵家属等等。农历七月，烈日如火，炎热难耐。
一天上午，蒋经国正隐蔽在温泉对面的山坡荒地和竹林里，举着双筒望远镜观看战士们的军事演习。他放下望远镜低头一看，惊讶地发现两个穿着补钉衣衫的老太太和一个老爷爷哆哆嗦嗦跪在地上求救： “蒋处长啊，这怎么得了呀，您老人家救命啊！”
蒋经国忙让卫兵把三位老人扶起来，问清缘由。原来在温泉附近有一家伤兵医院，住着一些轻伤员，还有一些伤愈后不愿出院上前线的兵痞，经常三五成群，到乡村里偷鸡摸狗，强奸妇女，欺老凌幼，无恶不作，老百姓叫苦连天，无人敢惹。
那一天，离伤兵医院附近的一个村子，两个十七八岁的姑娘正在村外池塘边洗衣服，忽然从那边的大道上走过来五个伤兵。两个姑娘见了如狼似虎的伤兵端起衣服就往村里跑，可是已经晚了，回路已被伤兵堵住。他们强拉着这两位姑娘就往山脚下的甘蔗田里跑，姑娘们吓得大哭大喊。村里人闻声赶了出来要前去解救，伤兵们拔出手枪威胁说：“哪个敢过来，老子就送他上西天！”
乡亲们呼天不应，叫地不灵，只好推选老人拼着老命找蒋经国，请这位已有“为民除暴”名声的蒋处长替他们作主。
蒋经国听了三位老人的控诉，气得浑身发抖，气愤地骂道：“他妈的！不敢上前线去打日本鬼子，躲在后方欺压老百姓，这群祸国殃民的狗东西，我叫你们尝尝我的厉害！”
他处事素来果断厉害，立刻派了一个连，跑步把甘蔗林包围了。那五个兽兵正发狂地轮奸两个姑娘，两个姑娘哭爹喊娘已经气息奄奄，忽听外边枪声大作，知道事情不好，提起裤子没命地往外跑，屁滚尿流。外面己布下天罗地网，只好一个个束手就擒。
蒋经国随即召集全村老乡开会，控诉他们的罪行。村民们有的用棍子抽打，有的往他们脸上吐唾沫，受害姑娘的家属边哭边骂，又撕又打，五个兽兵被打得鬼哭狼嚎，满地乱滚，体无完肤。老百姓控诉完了，蒋经国下令把那五个家伙当场枪毙。
抗日战争爆发的第二年，1938年7月，日寇沿长江西犯，马当要塞失守，九江陷敌。
江西省保安第三团及十一团，奉第六战区司令长官陈诚手令，掩护薛岳、张发奎两大兵团安全转移后，自己却陷入了日军重围，被困在庐山。庐山三面被日军所围，上下山的道路九断其八，只剩下山南一条羊肠小道未被发现。两团官兵2000余人，由第三团团长邓子超与第十一团团长胡家位联合指挥，困守庐山之巅，在粮食极缺、弹药无继的困境中，坚持与敌 顽抗。
保安第三团及十一团已成孤军，环境险恶，但壮士们并没有气馁。日寇多次仰攻扫荡，都被孤军凭借有利地势打退。日寇派来诱降的汉奸，被十一团团长枪毙。
蒋经国听了这些消息，又感动又焦急，决定冒险潜越日寇防线，亲上庐山劳军。8月底，小蒋奉命率领“江西省各界慰问孤军代表团”，从星子县境走小路登山。他穿草鞋，着士兵服装，身背驳壳枪，带领代表团人员和运输队，翻越岖崎山路。他好不容易上得山来，庐山已非昔日他拜见父亲时的面貌。他会见了团长邓子超、胡家位后，便去各处慰问官兵，到各个山头视察工事和观战，并在五老峰举行慰劳仪式。抗日将士发出了慷慨激昂的誓言：“我们誓死保卫庐山，抗战到底，消灭日本鬼子！”
蒋经国接着训话：“你们不是孤军，全国全省同胞都在支持你们。只要我们团结一致，抗战到底，一定能够得到最后胜利！”
“蒋太子”少将保安副处长冒险上山慰问，鼓舞了孤军的士气。一个姓章的分队长，率领八名壮士黑夜下山，摸到高垅陈村日军驻地，一刀结果了哨兵的性命。又摸进敌营，甩了几颗手榴弹，炸得日寇血肉横飞，争相逃命。八名壮士将缴获的日寇的枪支和一门迫击炮抬上山来。十一团在山下打埋伏，截击日寇，也缴获了机枪一挺。他们的英勇行为，得到蒋经国的当面嘉奖。
小蒋在庐山住了一个星期，住在十一团团部庐山图书馆内。他离开庐山的前一天，集合两团营以上的军官，在大月山上举行庄严的升旗礼。在雄壮的军乐声中，在飘扬的国旗之下，蒋少将以悲壮的语调慷慨激昂地进行训话：“国旗代表国家的主权，国旗在什么地方，主权就在什么地方。现在庐山升起国旗来了，我们要拥护这国旗，保卫国家的主权，誓以血肉粉碎敌人对庐山的进攻！”
蒋经国沙哑嗓音里迸发出来的这一番话语，使孤军官兵们听得热血沸腾。邓子超当即代表孤军全体官兵表示：“我们在庐山升旗，是宣示我们的决心。我们决心以血肉保卫庐山神圣地区，即使剩下一兵一卒、一枪一弹，也要继续完成我们的任务。”
大月山上的升旗仪式，是蒋经国的杰作，它像一把烈火，烧旺了庐山军民的抗日情绪。当晚，便有400壮士奋勇下山，插到东清坂袭击敌营，毙敌200余人，杀死敌军官3名，缴获马枪10余枝、手榴弹和日军军旗等物件，极大地振奋了孤军坚守庐山的勇气和信心。
这支庐山孤军，后来遭遇重大损失终于撤下山来，庐山周围的游击队和民众，一直坚持抗击日寇至抗战胜利。
蒋经国这一举动，威震临川，民心大快。伤兵们躲在医院里，再也不敢出来为非作歹了。新兵团士兵们也受到震慑，纪律得到进一步加强。小蒋陆续制定了禁止对新兵体罚、开展文体活动、改善士兵生活等一套办法，并切实执行。基本上解决了士兵的逃跑问题，使得那些新兵都安心接受训练。这样新兵就好训了，用不着他多操心了。他沉下心来写一本如何练兵的小册子，不但要出实践成果，还要出理论成果。