经过戊辰战争与明治维新的一系列革新措施，特别是“奉还版籍”、“废藩置县”和废除武士的封建特权及其食禄制度，武士阶层由此走向瓦解。尤其是大量的中下级武士俸禄低微，又缺乏生产与自谋生活的技能，生活非常清苦。高野家族经过戊辰战争更是家道败落，其大部财产在战争中化为乌有。后来，高野五十六的大哥高野让在北海道开拓的农场也在一场大火中变成灰烬，高野家仅剩的财产也不得已作了赔偿。到1884年高野五十六出生时，高野家境已经败落，生活十分贫困。在这样一个贫困败落的旧武士家庭中，高野五十六幼年生 活的艰难是可想而知的。
◎童年旧事
高野五十六的童年时代是在十分艰苦的环境中度过的。然而，也正是在这种困苦的环境中，高野五十六经受了磨炼，形成了其沉默寡言但又勇敢坚韧的性格，也正是这种性格为其日后成为“大器”打下了最初的基础。
在高野五十六童年的记忆中，信浓川滔滔的流水给他留下了最为深刻的烙印。
夏天，当别的孩子无拘无束地纷纷涌向河边游玩的时候，高野五十六却不得不去照看家里的菜园，不过，他总是能找到时间偷偷地来到河边。信浓川似乎蕴藏着无穷的秘密等待着童年的高野五十六去探索、开发。河边芦苇荡中的鸟巢、偶尔从密林小道上滑行而过的小蛇、举着两只大螯横行于水陆之间的河蟹，都是他关注和探险的对象。
等到高野五十六稍大点以后，他就不用再偷偷地跑到河边探险了，他可以名正言顺地来到信浓川，从事他最喜爱的“工作”——跟着哥哥高野季八到河里捕鱼。小小的年纪，他已经不得不帮着父母和哥哥、姐姐持家。但高野五十六对捕鱼这项任务他却从不感到枯燥，只要能够来到信浓川边，让他干什么他都乐意。就是在这一段时期，高野五十六练就了一身出色的游泳本领，而且也成了一名出色的捕鱼能手，每天傍晚回家，他的鱼篓总是满载着。他因此而经常得到父母的夸赞。
但是，没过多久，高野五十六就被其父亲高野贞吉从这项充满乐趣而又收获颇丰的“工作”中解了职。原因是，在捕鱼的过程中，他多次偷偷参加了长冈的孩子们与信浓川对岸川谷村的孩子们之间的“战争”。
信浓川两岸的孩子们结怨已久，因此，两个对立的“集团”之间便经常爆发一些小规模的战争，但“长冈军”却始终处于劣势，经常被敌人莫名其妙地击得落花流水，因而丢失了许多“城池”。但是，由于高野五十六的出现，战局后来开始渐渐向着有利于“长冈军”的方向发展。
这场关键之役发生在一天的下午。
高野五十六和哥哥高野季八捕完鱼后准备回家。高野五十六忽然想到芦苇荡中去看一下他不久前发现的一个鸟巢。于是，他让哥哥先回家。正当他独自在芦苇荡中找那个鸟巢时，突然听到一群孩子们的呐喊声。高野五十六知道，两边又打起来了。他当时既害怕，又兴奋。他忍不住扒开芦苇向外偷看，忽然发现十几名“长冈兵”被七、八名“川谷兵”追着向这边跑了过来。高野五十六一紧张，扭头就想跑。但他突然想起了什么，他鼓足了勇气，伏下身子悄悄地等待着。等几名溃逃的“长冈兵”从眼前经过、“川谷兵”就要到眼前时，他躲藏在芦苇荡中突然大喊一声，“冲啊！打死川谷人！”，同时，他拼命地摇动芦苇，制造声势，“川谷兵”不知虚实，掉头就往回跑。“长冈兵”见势也马上杀了回来，“川谷兵”这回落荒而逃。经此一“战”，高野五十六在长冈的孩子们当中声名远播，他由一个不起眼的“编外人员”，一下变成了一名“正规”的“长冈兵”。
接下来的一场战役又是因高野五十六使了一条妙计而获全胜。这回他借芦苇荡设了埋伏，用一小股疑兵佯退，待敌人来追，便两面出击而围之。由于“敌人”已经发现了上次“长冈军”胜利的破绽，因而不但没有防备，而且还想趁机把在芦苇荡中的捣蛋分子一块抓获。但这次他们又打错了算盘，并因此付出了更加惨重的代价：不仅一个小头目受了伤，而且还被抓了两个“活舌头”。“川谷军”的士气从此便开始低落下去。
正当高野五十六在“长冈军”中大受拥戴之时，他“参战”之事终于东窗事发，被他父亲发现了。他不仅因此而挨了一顿揍，而且还从此丢掉了心爱的捕鱼工作。在后来的一段时间，高野五十六心中一直感到十分遗憾，他认为，如果不是父亲发现了他“参战”之事，照事态的发展趋势，说不准他能当上“长冈军”的“司令”呢。
不管怎么说，童年时代的这些“战争游戏”已经多少能够显露出高野五十六在军事方面所具备的一些天才的素质。
一个孩子是总能从生活中找到无穷的乐趣的。再不能到信浓川捕鱼游玩的高野五十六又重新照看起了家中的那一小片菜园子。在这片小天地里，最令他着迷的是葫芦架上的一个大黄蜂窝。有一天，他突然发现了这个无人知晓的秘密。他便悄悄地观察黄蜂的生活，他先是深深地被黄蜂们建造的独特的“营房”所吸引，然后又被黄蜂们所具有的组织纪律性所震撼。终于，有一天，他一不小心“捅了马蜂窝”，蜂群像战斗机一架架从航空母舰上起飞一样，凶猛地扑向“来犯之敌”，高野五十六根本来不及躲避，被蜂群蜇了个鼻青脸肿，这一次他又不得不被蜂群所表现出来的战斗力所折服了。但是高野五十六并没有怀着私愤对蜂窝进行偷袭，以便杀死所有的黄蜂。他认为，那不符合一个武士应遵守的道德。于是，他准备了自己的武器：一把木剑和几根剥了皮的细柳条，准备与黄蜂进行一场决战。然而，高野五十六的父亲发现后阻止了这场“大战”，他对儿子说，你不用再去打它们了，它们不但已经失去了战斗力，而且，还很快就会死去，因为，黄蜂的毒刺只能用一次，一旦用过，它们的生命也会很快便因此而终结。高野五十六突然之间感受到了一种悲壮，他这时又怎能不为黄蜂所表现出来的献身精神所感动呢？！