胡适家的房屋，是他父亲当官以后新盖的二层楼房。虽不十分阔绰富丽，却也精致而大方。正面墙上有腾飞的门檐。门檐下两扇黑漆大门。门上贴着“僧道无缘”的大红纸条。这是旧日理学家庭的一个典型标记。胡适的叔父兼老师胡介如家，门上也贴有“僧道无缘”的纸条。他们笃信程朱理学，不言怪力乱神，不信神佛迷信，也不布施和尚道士。贴上这“僧道无缘”的条子，和尚道士就不敢登门了。
但是，胡家的女眷却深信神明菩萨。胡传死后，大门上“僧道无缘”的纸条也由红变白，后来竟完全剥落，无影无踪了。女眷们便诚心而自由地求神拜佛。家里人有个三灾两病，便念经许愿，求神佛保佑；甚至恭请和尚到家里来，放焰口，超度冤魂。
在这样的环境下，胡适小时候，便常听那些信佛的老太太们讲“目连救母游地府”，讲“妙庄王的公主(观音)出家修行”的故事，见神见鬼。他自己也看过一些宣传神鬼的连台本戏，读过老太太们带来的《玉历钞传》、《妙庄王经》等劝善罚恶的“善书”。于是，他幼小的心灵里也装满了神佛观念。十殿阎君，牛头马面，地狱的惨酷，轮回的苦痛，使他产生了一种莫名的恐惧心理，最怕来世变猪变狗。加之，胡适自幼体弱多病，他的母亲也常替他求神许愿，教他诚心敬佛。
每年去中屯外婆家，十里路上，所过庙宇路亭，只要有神佛的，母亲便教他去拜揖。有一年，她还亲自带着胡适去朝拜古圹山，在观音菩萨座前烧香还愿。山路崎岖，她的一双小脚行走十分艰难，却不叫一声苦痛；这时候的胡适，自然也是一个很虔诚的小香客，小信士。
但这个虔诚的小信士，不久便变成了一个无神论者。事情是从朱熹的《小学》开始的：
有一天，我正在温习朱子的《小学》，念到了司马温公的家训，其中有论地狱的话，说：“形既朽灭，神亦飘散，虽有烧舂磨，亦无所施。……”我重读了这几句话，忽然高兴的直跳起来。《目连救母》、《玉历钞传》等书里的地狱惨状，都呈现在我眼前，但我觉得都不怕了。放焰口的和尚陈设在祭坛上的十殿阎王的画像，和十八层地狱的种种牛头马面用钢叉把罪人叉上刀山，叉下油锅，抛下奈何桥下去喂饿狗毒蛇，——这种种惨状也都呈现在我眼前，但我现在觉得都不怕了。我再三念这句话：“形既朽灭，神亦飘散，虽有烧舂磨，亦无所施。”我心里很高兴，真像地藏王菩萨把锡杖一指，打开地狱门了①。
科学思想向迷信思想挑战了。胡适从朱子的《小学》里，知道了司马光论地狱的朴素唯物主义观点，使他开始怀疑，不再相信地狱轮回的鬼话了。不久，他又读司马光的《资治通鉴》，从中知道了范缜的《神灭论》：
缜又著《神灭论》，以为：“形者神之质，神者形之用也。神之于形，犹利之于刀；未闻刀没而利存，岂容形亡而神在哉?”此论出，朝野喧哗，难之，终不能屈②。
范缜用一个通俗的譬喻，说形与神的关系，就像刀和刀口的锋利一样，没有刀，便不会有刀的“快”了；没有形体，还能有神魂吗?这样浅显的譬喻，说明了深刻的唯物主义哲理，使知识初开的胡适，完全相信了无神鬼的道理。他说，“司马光引了这35个字的《神灭论》，居然把我脑子里无数鬼神都赶跑了。从此以后，我不知不觉，成了一个无鬼无神的人”；而且，“影响了他一生的思想”③。
经过了这次“思想解放”之后，胡适便不再虔诚拜神礼佛了。但他从小是一个对母亲很孝顺的人，当着母亲的面，还不敢说不信鬼神的话；他母亲叫他去拜神佛，也不敢不去，怕伤他母亲的心。而当母亲不在跟前，胡适便对小伙伴们大发无鬼无神的议论，甚至去打菩萨。中屯村前有个三门亭，亭里供着关老爷的塑像；
村旁小庙里有几个罗汉菩萨。胡适到外婆家，常和小伙伴们去小庙或亭子里玩。
他领着打菩萨的耳光，但不明显打坏；有时又拔去菩萨的几根胡须，也绝不拔光。因此，一直没有被大人们发觉。
有一年正月间，胡适去大姊家拜年，住到正月十五元宵节，才和外甥章砚香赶回上庄去看灯。半路上经过中屯的三门亭。他们走进亭子歇息。胡适对砚香说，“这里没有人看见，我们来把这几个烂泥菩萨拆下来，扔到毛厕里去，好吗?”这欺神灭道的话，把比他大几岁的外甥给吓住了。章家跟送的长工忙加劝阻，说“菩萨是得罪不得的”。胡适还不服气，偏要拿石子去打神像。恰好村里有人来，他们才走了。
回到上庄，锣鸣鼓响，狮灯龙灯，热闹非常，来看灯的客人很多。胡适乘客多的风头，也喝了几杯烧酒。晚间被凉风一吹，他便醉得说起胡话来，乱喊乱叫，要月亮下来看灯。胡适的母亲见此情景，又急又怕，把他连抱带拖，拖进房里去，正不知如何是好，那章家的长工走进房来，把白天在三门亭的话，低声报告了胡适的母亲，并说“怕是得罪了神道，神道怪下来了”。胡适此时其实心里明白，正担心酗酒闹事，受母亲责罚。听到那长工的话，便计上心来，大说疯话，越闹越凶，装着真有神鬼附在身上一般。胡适的母亲急得没法子，急忙洗手焚香，祷告三门亭神道，请求宽恕无知的孩童，又许愿病好以后，亲自到三门亭神道前烧香还愿。胡适暗暗庆幸，小施妙计，便躲过了一场责罚；可是，他万万没有想到责罚却在一个月之后——
过了一个月，母亲同我上中屯外婆家去。她拿出钱来，在外婆家办了猪头供献，备了香烛纸钱，她请我母舅领我到三门亭里去谢神还愿。我母舅是个虔诚的人，他恭恭敬敬的摆好供献，点起香烛，陪着我跪拜谢神。我忍不住笑，恭恭敬敬的行了礼，——心里只怪我自己当日扯谎时不曾想到这样比挨打还更难为情的责罚④!
胡适在他的徽州家乡和亲人中间，渐渐度过了童年和少年时代。这里，既山川秀美，又贫瘠闭塞；既有深厚的文化传统，淳朴的民情风俗，又有浓厚的封建意识，愚昧落后的迷信思想。胡适在这里生活了九年，个儿长高了，知识初开了，还得到一点做人的训练，养成了一点用功的习惯。然而，他那渴求知识的心，却已经难于满足了。故乡的山，是那么高峻青翠而可爱。但高山那边是什么呢?他渴望着越过那山岭的阻隔，去看看山外的世界。
② 司马光著《资治通鉴》卷第一百三十六“齐纪二”武帝永明二年(484)，载范缜在南齐竟陵王萧子良西邸，辩论佛教因果报应之事云：
范缜盛称无佛。子良曰：“君不信因果，何得有富贵、贫贱?”缜曰：“人生如树花同发，随风而散；或拂帘幌坠茵席之上，或关篱墙落粪溷之中。坠茵席者，殿下是也；落粪溷者，下官是也。贵贱虽复殊途，因果竟在何处!”子良无以难。缜又著《神灭论》，(中略）太原王琰著论讥缜曰：“呜呼范子!曾不知其先祖神灵所在!”欲以杜缜后对。缜对曰：“呜呼王子!知其先祖神灵所在而不能杀身以从之!”子良使王融谓之曰：“以卿才美，何患不至中书郎；而故乖剌为此论，甚可惜也!宜急毁弃之。”缜大笑曰：“使范缜卖论取官，已至令、仆(按，指尚书令与左右仆射，相当宰相)矣，何但中书郎邪!”
范缜(约450—约510)，南朝齐梁时著名的唯物主义哲学家和无神论者。所著《神灭论》，载《梁书》卷四十八本传，并附见梁释僧佑编《弘明集》卷九梁萧琛的《难神灭论》一文中。司马光此处所引文字，系缀合原文，并稍有字面上的改异。然而“缜大笑”云云，栩栩传出一个正直狷介的知识分子的磊落胸襟，不愧大史家手笔。
③ 胡适当时尚不知道《神灭论》全文载在何处。到写《不朽》一文时，方引述《神灭论》原文。而1930年12月，写作《四十自述》“从拜神到无神”一章时，大约又未细检原文，故有司马光“编《通鉴》时，硬把《神灭论》摘了最精彩的一段，插入他的不朽的历史里”的话，仍把缀合的这段文字，误认为《神灭论》里“最精彩的一段”原文了(参看《四十自述》亚东版第38页)。
然而，范缜的《神灭论》，对胡适确是“影响了他一生的思想”。1908年，胡适在上海中国公学接编《竞业旬报》，曾于“谈丛”栏中发表《无鬼丛话》多条，陆续载该刊第25至32期，其中第一条就引述了司马光“家训”里的话和范缜《神灭论》里的话(见《竞业旬报》第二十五期)。1914年8月，胡适在《藏晖室札记》卷六，又写了《神灭论与神不灭论》和《范缜因果论》。因思想有了进步，对范缜“识理亦有疵”微有批评，但主要仍是肯定，并赞扬范氏“人生如树花同发，大有平等之意。坠茵落粪，付之偶然，未尝无愤忿不平之心”(见《藏晖室札记》亚东版第364页)。1919至1921年间，写《不朽》一文，再次引用范缜的《神灭论》；并特别指出《神灭论》的几句话，使他“心里受了一大感动，后来便影响了他半生的思想行事”(参看《胡适文存》卷四第105—115页)。1945年，又写《考范缜发表〈神灭论〉在梁天监六年》(1946年4月改定，载《大公报?文史周刊》第35期)。距幼时读《资治通鉴》，已是45年，真可谓终生不忘了。
④《四十自述》“从拜神到无神”，亚东版第42页。