晚上，高野五十六最想干的事便是缠着父母讲故事，而他最喜欢听和最引以为自豪的便是他的家族史。他的父亲经常给他讲关于那些长得像猴子一样的“野蛮人”的故事：他们驾驶着黑色的船，撞开日本的大门，威逼天皇，破坏日本的风俗习惯，给日本带来了灾难。幼小的高野五十六每回听到这里便恨不能自己一下变成一个身怀绝技的日本武士，去杀尽那些“野蛮人”。而母亲则常常给他讲述当年长冈700武士大战政府军的故事，一讲到这里，他总是要求母亲一遍遍地讲述有关他的祖父高野贞通和祖母以77岁高龄战死的故事，以及父亲高 野贞吉参战的情形。这些真实的故事在这个武士之后幼小的心灵中留下了深刻的烙印，同时也使他受到了日本武士道精神的熏陶。
在所有的兄弟姐妹中，高野五十六的年龄与姐姐嘉寿子最为相近，而姐姐也是最疼爱他的亲人。因此，高野五十六对姐姐嘉寿子的感情是最深的。在他童年最为黯淡的那段时间里，姐姐经常带着他到附近的村镇去看祭祀神社的舞蹈。那种神秘的舞蹈一下子就吸引了高野五十六。他每次看罢回家，都要模仿一番，手拿两只盘子，上下左右来回旋转，时间一长，竟练出了一种“盆舞”。姐姐看了也直夸高野五十六聪明。每当家里有客人时，他的父亲还让他给客人表演，以博得客人的高兴和喜欢。嘉寿子在没事的礼拜天还经常带着高野五十六到附近的一座教堂去做礼拜，这所教堂里有一名叫纽艾尔的美国传教士。正是从那时，高野五十六对美国这个遥远的国度产生了浓厚的兴趣。
高野五十六的童年就在这样一种艰苦而又不乏乐趣的环境中悄悄地度过了。
◎学生时代
1890年3月，高野五十六进入阪上小学，开始了学校生活。
据高野五十六当年的老师回忆说，五十六是一个很聪明的孩子，老实听话而寡言。艰难困苦的生活和严格的家教使他一心扑在学习上而无心他顾。因此，他的学习成绩一直很好，在同级生中经常是数一数二的，因而，他每年都能得到学校的奖励。在他小学毕业那年，还得到了学校的优等奖，并获得教育奖励会樱花银质奖牌一枚。
1896年4月，高野五十六小学毕业，升入长冈中学。长冈中学的前身是长冈洋学校，1872年（明治5年）11月由几名旧长冈藩士倡议成立的。关于它的成立，还有一段对长冈中学影响深远的故事。戊辰战争时，长冈藩作为保幕派参加了对明治新政府的战争，结果一败涂地。激烈的长冈之战，使长冈城毁于战火，长冈藩士和居民的一切财产也因之被烧个精光，藩主河井继之助及山本带刀以下全藩武士死伤过半。戊辰战争结束后，又因长冈藩是叛逆之藩被政府削藩减地，俸禄由原来的7.4万石减至2.2万石。长冈藩士真正陷于了食无物、居无所的困境。与长冈藩的凋敝形成鲜明对照的是，经过明治维新，整个日本获得了新生，由明治政府发起的资产阶级改革运动正轰轰烈烈地在全国范围内展开。在这种情况下，一些有远见的武士认为，要改变长冈藩的屈辱地位，振兴长冈，惟一的办法是兴办教育，培养人材。于是，他们在“正因为吃不上饭所以办教育”的宗旨指导下，依靠峰冈藩给长冈的救济米，加上柏崎县大参事南部广矛的赞助，建立了长冈洋学校。特别高薪聘请了福泽谕吉的高足、长冈藩出身的藤野善藏为校长兼英语老师，年工资破天荒地高达125日元。可见他们对兴办教育的决心有多大，对教育的期望有多高。
1873年5月，柏崎县废，与新睸县合并。新睸县政府根据学校统一管理的方针，将各地学校统统划为新睸分校，尽管长冈洋学校要求独立，但未获批准。11月，长冈洋学校正式成为新睸学校第一分校。后来由于学校经费发生困难，几乎到了无法维持的地步，一些教师以不取报酬为条件，要求恢复长冈学校的校名。于是县政府关闭了高田、柏崎、新发田三校，而仅保留了长冈学校。1870年8月，长冈中学改为郡立，在高野五十六毕业的前一年，又改为新睸县立。
建立长冈中学有着特殊的背景，在校内任教的老师大部分都是旧长冈藩的武士，学生也大都是士族之后，私塾色彩十分浓厚。在这样一所充斥武士的学校里，高野五十六所受的武士道教育有多么深厚就可想而知了。
当时，长冈藩武士为了培养可造就的“人材”，还于1875年创建了一个育英事业团体——长冈社，专门用来资助那些有希望进一步升学，可造就为天下有用之材，而经济条件困乏者。在高野五十六以优异成绩小学毕业后，长冈社便决定对他进行资助，资助的经费是一个月1日元。虽然高野家并没有穷到非要借钱供五十六上学的地步，但高野贞吉还是答应了长冈社的要求。这样，五十六便依靠长冈社的资助上了中学。虽然长冈社资助的金额并不多，1年12日元，5年合计不过60日元，但这种形式对高野五十六却是一种刺激。据说他在上中学的几年中一直非常节约，大部分教科书都是由他自己抄写的。
5年的时间内，他只穿了一套校服，回到家马上脱下，穿上他母亲用土布做的衣服。后来在他成名以后，非常珍惜这段历史，不仅一领到工资就立刻归还长冈社的借款，而且还向长冈社高额捐款，一直到其战死为止。除此之外，在1935年长冈社发生经济困难时，他还利用闲暇多次返回故乡长冈，为长冈社募捐。先是找了当时在长冈最有名的日本互尊社的野本互尊，恳请其援助长冈社，野本为其精诚所动，答应捐助5000日元。接着他又找了北越造纸公司经理田村文吉，田村也答应尽力帮助。之后，各种团体纷纷响应他的倡议，慷慨解囊，使长冈社有了较雄厚的物质基础。高野五十六此举从物质和精神两方面给了长冈社以很大的帮助，使更多的青年学生得以利用长冈社提供的贷款获得上学的机会。