胤祥出生在一个人口众多的特殊家庭。他的父亲康熙帝玄烨，因早婚、早育、多后妃，生养了众多子女。
在清朝皇帝中，玄烨的后妃人数是最多的，与玄烨同葬景陵的一共55位，其中皇后4人，皇贵妃3人，贵妃1人，妃11人，嫔8人，贵人10人，常在9人，答应9人。需要说明的是，玄烨生前册封的后妃，只有皇后3人，贵妃2人，妃11人，嫔5人，贵人11人，常在14人，答应9人。他死后，因雍正、乾隆二朝对其妃嫔又有追封，才出现后妃品级不同的现象。
这就是说，胤祥的生母、嫡母、庶母加在一起有55位以上。一个皇子有这么多的母亲，不仅在清朝，即便是在中国历史上大概也是屈指可数了。
何况，他的兄弟姐妹也多得惊人。玄烨12岁（周岁11岁）大婚，两年后（1667）即14岁第一个孩子出生，至65岁最后一个孩子出生，玄烨前后一共生有55个子女。胤祥曾有过54个兄弟姐妹，这又是一个奇迹。
在康熙帝的众多后妃中，胤祥的生母章佳氏并不据有显赫的位置。她出身一般，是满洲镶黄旗参领海宽的女儿。初入宫，册封妃。她于康熙二十五年生皇十三子胤祥，二十六年生皇十三女，三十年生皇十五女。在四年零两个月内，连续生了三个孩子。这在玄烨中年以后的嫔妃中再无二例，说明她一度很受皇帝的宠幸。但是，她享寿不长，康熙三十八年（1699）去世。这时，她的儿女尚幼，胤祥14岁，皇十三女13岁，十五女9岁。估计章佳氏本人死时也还年轻。章佳氏死后，玄烨降谕礼部：“妃张雅氏（章佳氏）性行温良，克娴内则，久侍宫闱，敬慎素著。今以疾逝，深为轸（ｚｈěｎ） 悼，其谥为敏妃。”
幼年丧母，胤祥和两个妹妹只好由其他嫔妃代为抚养。据说，抚养胤祥的是德妃乌雅氏，即后来继承皇位的雍正帝胤禛的母亲。这种阴错阳差的安排，早早就把他与胤禛的命运联系在一起。两兄弟自幼晨夕聚处，感情深笃，胤禛奉命教胤祥算学，日事讨论。每逢塞外扈从，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄；兄扈从塞外，弟也间或有句相赠。胤禛长胤祥8岁。这种密切的手足之情，伴随他们终生，经受了严峻的考验，而胤祥人生的得与失，喜与悲，荣与损，起与落，又无不以此种关系来贯穿。
在清朝皇室中，皇子皇女幼殇的比例很高，康熙帝玄烨的子女也不例外。他的55个子女内，长大成人的只有28人。55位子女的平均寿命，只有2695岁。胤祥的两个胞妹虽长大成人，也都寿命不永。他的大妹妹（皇十三女）20岁受封为和硕温宪公主，远嫁蒙古翁牛特部博尔济吉特氏杜凌郡王仓津，三年后因难产死去，时年23岁。他的小妹妹（皇十五女）18岁时受封和硕敦恪公主，下嫁蒙古科尔沁部博尔济吉特氏台吉多尔济，一年后去世，年仅19岁。这样，两个与胤祥血缘最近的亲人就过早离世了。
胤祥6岁开始在皇宫内就学读书。学习内容包括满汉文化，儒家经典，以及书法绘画。他的师傅法海，是康熙帝玄烨的舅舅佟国纲的第二子，换句话说，法海是玄烨的表弟，也即胤祥的表叔。法海是当时满洲人中不可多得的博学硕儒。他23岁考中进士，授为翰林院庶吉士，又奉命在南书房行走，成为玄烨身边的文学词臣。康熙三十七年（1698），玄烨选派他在懋勤殿辅导皇十三子胤祥、皇十四子胤祯（雍正继位后改为允）。胤祯是胤禛胞弟，胤祥与胤祯一同就学，同样反映了他与胤禛的特殊关系。这时，胤祥13岁，胤祯11岁。他们在法海门下一学就是10年，两兄弟后来才学俱佳，与法海执教有很大关系。
胤祥幼时很得父皇宠爱。13岁时，胤祥第一次离开京城，随父皇玄烨前往谒陵。此后，玄烨经常带他四出巡幸。玄烨一生先后六次南巡，在诸皇子中，随行次数最多的，就是胤祥。玄烨第三、四、五、六次南巡，他都参与其间。他还随同玄烨巡幸过京畿、陕西西安、山西五台山，或往塞外避暑围猎。这说明，他在青少年时代，曾深得父皇的宠爱。
玄烨有那么多皇子，众皇子对他犹如群星拱月，为什么却对胤祥偏爱？
第一，他自幼温文尔雅，在父亲面前显得很乖巧。《钦定八旗通志》记载：胤祥“幼偕诸王侍圣祖于宫廷。尝随行，以稚弱未能前视，圣祖过，寻履迹伏地嗅之，其孺慕诚切如此”。大意是说，胤祥幼时与诸兄一起侍从皇父于宫廷，因年龄小、个子矮，他几乎看不见在众人簇拥下一晃而过的父亲。为了表示对父亲的孝敬和仰慕，他不禁爬在父亲刚刚留下的脚印上一个劲地闻起来。这个记载或者有所夸大，但印证胤祥一生的行止，和他死后被追谥为“贤”来看，他在为人之道上，无论是对父母、对兄长、对臣民，都很符合儒家传统推崇的典范。
第二，他经过系统教育，加上本人的勤奋努力，才华横溢。能文能诗，书画俱佳。康熙四十一年（1702），玄烨南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥随驾。某日，玄烨在行宫召集大臣和皇子们研习书法。玄烨一时兴起，谈起自己习练书法的体会：“学书须临古人法帖，其用笔时轻重疏密，或疾或徐，各有体势。
宫中古法帖甚多，朕皆临阅。”说罢，他意犹未尽，又亲书大字对联当场展示。随即，他邀请众人观赏皇四子胤禛和皇十三子胤祥书写的对联，据说，诸臣环视，“无不欢跃钦服”。如此惊叹的举动，自然有阿谀逢迎的成分，但两位皇子擅长书法确是事实。这一年，胤祥17岁，已学习书法多年，如果不是心里有底，玄烨又怎么会让他同皇兄一起当场献技呢？
胤祥随从父皇巡幸各地，开阔了眼界，丰富了阅历。他往往把内心感受即兴写成诗篇。他的诗清新隽永，很有意境。如《恭读御制耕织图诗敬成二律》：
在诗中，他刻画了农村田园诗的秀色，歌颂了父皇贤明的治理，同时流露出对百姓生计的关切。
第三，他继承了满洲人的传统技艺，骑马射箭样样精通。有记载提到，他“精于骑射，发必命中”。有一次出巡狩猎，一只猛虎突出林间，他神色不动，手持利刃向前刺之。见者无不佩服他的神勇。
胤祥出生时，父亲给他取了一个寓意深刻的名字，依据的是《礼记·中庸》中的“国家将兴，
必有祯祥”，给他取名胤祥，给他的弟弟（皇十四子）取名胤祯。然而，祝福归祝福，亦如出生在普通百姓家的子弟一样，胤祥的人生道路也充满了扑朔迷离的变数。
康熙帝晚年，对胤祥的态度发生显著变化。变化的标志，则是册封问题。玄烨共有35子，其中15子早殇，1子出继，尚有19子。玄烨生前，曾两次册封诸皇子。第一次在康熙三十七年（1698），皇长子胤禔封为直郡王，皇三子胤祉封为诚郡王，皇四子胤禛、皇五子胤祺、皇七子胤祐、皇八子胤禩（六子胤祚早卒）封为贝勒。第二次册封在康熙四十八年（1709），玄烨在复立胤礽为皇太子的同时，将皇三子胤祉、皇四子胤禛、皇五子胤祺晋封为亲王，皇七子胤祐和皇十子胤（é）封为郡王，皇九子胤禟、皇十二子胤祹、皇十四子胤祯封为贝子。第一次分封时，胤祥13岁，还不够册封的资格。问题是第二次册封时，胤祥已24岁，连比他小2岁的胤祯都受到册封，他却依旧两手空空。这确实是一个反常现象。
对皇子来说，受封绝不意味只是尊号的授予，至少还有四项好处：第一，独立门户，即迁出紫禁城，住在皇父赐给的府第；第二，分出时各给钱粮银23万两（犹如安家费）；第三，以六年为期，由大内支给一定官物（包括食用什物），以便向新生活的过渡；第四，为满足长久生计，按品级赐给大地产和服役人丁。胤祥没有受封，当然也就没有了这些好处。
自幼受皇父宠爱的胤祥，为何落得这般境地？
对于这个疑问，在清朝官书中是找不到任何答案的。有关这一问题的记载，随着迄今仍争论不休的清朝三大疑案之一——雍正帝是否夺嫡，早已被销毁得干干净净。确实，历史总是由胜利者写的。雍正帝胤禛在登上皇位以后，就按照政治上的需要，对历史事实进行了随意的曲解和剪裁。为了澄清上面提出的疑问，还要从康熙帝晚年的两次废储谈起。
清朝入关前，皇位继承实行推举制。康熙帝玄烨也是几经周折才被定为嗣君的，幼年临朝又受到辅政大臣的约制。所以他成年后，鉴于历史上的教训，决心另辟蹊径。当时他可以借鉴的，仍是汉族统治者立嫡立长的做法。
康熙十四年（1675），玄烨下诏册立刚满周岁的嫡长子胤礽为太子。诏谕说“正位东宫”“以重万年之统，以系四海之心”。太子胤礽生于康熙十三年五月，当时只有2岁（周岁1岁）。他的母亲赫舍里氏，是辅政大臣索尼之孙，领侍卫内大臣噶布喇的女儿，康熙四年册为皇后，生胤礽当日死，谥仁孝皇后。玄烨深知太子关系重大，为了使他将来继承大位，精心培养，殚精竭虑。
然而，胤礽稍长，却越来越使玄烨感到失望。
第一，胤礽自幼得父辈恩宠，侍臣阿谀，养成任性骄纵的作风，对父皇亦少敬意。玄烨和胤礽之间首次显露嫌隙，是在康熙二十九年（1690）七月。玄烨出塞远征噶尔丹时，中途得病，传信叫胤礽到行宫相见。见面时，胤礽毫无忧戚之色，对父亲的健康漠不关心，使玄烨很不高兴。
第二，玄烨生活节俭，从不妄用滥取，胤礽却奢侈贪婪，甚至依仗皇太子身份派人向地方官敲诈勒索。康熙四十六年（1707）玄烨带胤礽南巡，江宁知府陈鹏年在主办行宫事务中供奉简朴，又无礼仪馈赠，胤礽大怒，竟要将陈处死。
第三，玄烨待人宽和，胤礽却任意凌虐臣属，甚至连亲贵也随意挞辱。胤礽在诸皇子中地位优越，恣意妄为。当然，同辈兄弟出于忌恨，拨弄是非，也促使了胤礽与父亲关系的恶化。
从玄烨一方讲，立储受挫也有自身原因。他22岁时册封皇太子，未免操之过急。尽管为树立太子威信和培养从政能力煞费苦心，却未注意在制度上防止皇储越分，形成对皇权的干扰。比如在礼仪上，一开始就规定，皇太子服御诸物俱用黄色，一切仪注几乎与皇帝相同。玄烨事后总结说，胤礽“骄纵之渐，实由于此”。他又规定，每逢庆典，大臣们朝拜皇帝后，需往东宫行礼。这些优遇，反而助长了太子的骄纵和非分之想。加上一些阿谀奉承之辈麇（ｑúｎ）集太子周围，为其出谋划策，逐渐形成所谓“太子党”，使玄烨感到皇权受到威胁。
最终促使玄烨决心废黜胤礽的是两件事。
第一件：胤礽失宠后，引舅氏索额图为靠山。索额图是开国勋臣索尼子，胤礽母亲的叔父，任大学士、领侍卫内大臣多年，康熙四十年（1701）以老乞休，但在朝中仍拥有强大势力。索额图是太子胤礽最倚信的支持者，朝廷中索额图党逐渐演变为“太子党”。康熙四十二年五月，据索额图家人告发，索额图“背后怨尤，议论国事”，又发现助太子“潜谋大事”。索额图交宗人府拘禁，后死于狱中。玄烨与胤礽的矛盾日益深化。
第二件：康熙四十七年（1708）五月，玄烨率领诸皇子行围塞外，皇十八子胤祄（ｘｉè）病重，留中途调理，不久病情恶化，玄烨回銮临视，非常忧戚。胤礽对弟弟病危却无动于衷，毫无友爱之意，玄烨对他加以责备，胤礽反而大发雷霆，任意挞辱随行诸大臣侍卫。甚至每夜窥伺玄烨所居幔城，使玄烨惊惧不安。九月初四日，玄烨宣布将胤礽废斥拘禁。随后，玄烨召诸皇子入乾清宫，宣布：“诸阿哥中，如有钻营谋为皇太子者，即国之贼，法断不容。”但是，胤礽废后，太子虚位，希冀储位的诸皇子竞争纷起，争斗更加不可遏制。
诸皇子各自结纳权臣，招纳门客，植党互斗。长子胤禔系惠妃那拉氏所生，不得立为太子，因此心忌胤礽。等胤礽被废，胤禔便党同皇八子胤禩，向玄烨奏称，相面人张明德言皇八子当大贵，并说：“今欲诛胤礽，不必出于皇父之手。”玄烨震怒，斥他“凶顽愚昧”。皇三子胤祉乘机揭发胤禔曾用喇嘛魇术谋害胤礽。玄烨命将胤禔革爵幽禁，张明德等凌迟处死。又传谕：如有人称誉胤禩，必杀无赦。胤禩被革去贝勒，成为闲散宗室。
玄烨废胤礽时，曾说他“似有鬼物凭之者”。胤礽被魇咒事揭发后，玄烨释放胤礽，并说他病情好转，“亦自知有罪”。当时，诸皇子间储位之争已达到白热化的程度，甚至连当朝的宗亲大臣也卷了进去，此情此景令玄烨感到震惊。他斟酌再三，决定复立胤礽为皇太子。
康熙四十八年（1709）三月玄烨举行大典，宣告复立胤礽为太子。同时对其他皇子加封晋爵，以调和诸子关系。
胤礽由被废到复立，前后不满半年，玄烨反复失措，未能稳定朝廷局势。胤礽复位不久，故态复萌，在廷臣中广植党羽。他在复立以前，曾当着父亲和兄弟的面，承认“凡事俱我不善”，并发誓不念人仇，实际上对废斥一事一直耿耿于怀。而且，对属下人暴虐横施，捶楚鞭笞；饮食服用，穷极奢华。种种暴戾乖张行止，比以前更加厉害。玄烨不得已，于康熙五十一年（1712）十月将其再次废黜禁锢。
两次立储失败，玄烨开始慎言立皇太子事，他确定的太子标准是：“必能以朕心为心者。”但诸皇子中何人符合这个条件，却难以验证。立储问题成为玄烨晚年难以排解的心病。
以上，就是康熙两次立储的大致经过。回过头来，再说胤祥失宠原因。有关答案，只在两种私人著述中留有蛛丝马迹。
第一，雍正年间萧奭（ｓｈì）在 《永宪录》中记载，康熙四十七年九月，皇十三子胤祥“因废东宫事波及，削爵”。在康熙四十八年以前，皇九子以下的皇子因年龄小，还没有封号，所谓胤祥“削爵”，与事实不符。那么，胤祥与废太子事件有牵连，是否可靠呢？所幸这并不是孤证。
第二，乾隆年间皇八子胤禩的后嗣弘旺在《皇清通志纲要》中写道：“（康熙四十七年）九月，皇太子、皇长子、皇十三子圈禁。”“十一月，上（玄烨）违和，皇三子同世宗皇帝、皇五子、皇八子（原注：先君）、皇太子开释。”这一记载足以说明：在康熙四十七年即康熙帝第一次废黜皇太子的同时，曾将皇太子胤礽、皇长子胤禔、皇十三子胤祥一同圈禁。而在此前后，被圈禁的还有皇三子胤祉、皇四子胤禛（即后来的世宗皇帝）、皇五子胤祺、皇八子胤禩。也就是说，从皇长子到皇八子，除皇六子早逝不计外，只有对立储一事漠不关心的皇七子胤祐没被圈禁。但是两个月后，康熙帝就以身体不好为由，把除皇长子胤禔、皇十三子胤祥以外的诸皇子都放出了。
从上述记载可以得知：自康熙四十七年九月，胤祥因卷入废储事件遭到囚禁，时年23岁。由于史料的缺乏，仍有若干疑点：
第一，胤禛、胤祥同被圈禁，是否说明他们在争储活动中已结为一党？有几种推测：一是他们替废太子说了话，被视为太子党受到惩处；二是康熙帝担心年长诸皇子谋变，所以把他们暂时圈禁；三是诸皇子各结党羽，彼此明争暗斗，惹恼了玄烨，干脆一同惩戒。四是胤禛、胤祥在争储活动中结为一党。另外，还有人推测，胤祥为反太子党的一员，似与胤禩有关。以上推测，均缺少史料的佐证。
第二，胤禛、胤祥同被圈禁，为何结局不同？胤禛被圈禁后不久放出，第二年康熙帝复立胤礽为皇太子时，他还搭了顺风车，由贝勒晋封亲王。与胤禛同时晋封的，还有另外几位皇子，包括胤祥的弟弟、皇十四子胤祯，但胤祥却被继续圈禁。什么原因使胤祥遭此重惩？有人推测：胤祥同胤禛结成一党，卷入了储位之争。两人被圈禁后，胤祥为了包庇胤禛，把责任揽在自己身上，胤禛很快获释，本人却继续被监禁。这虽然是推测，却也言之成理。其一，胤祥、胤禛自幼关系密切，在扈从父皇巡幸的过程中，胤祥常以诗词、书札寄怀，胤禛为之收藏，仅诗就有32首之多。其二，胤祥受胤禛母亲德妃长期呵护，感情非同一般。其三，知恩图报，符合胤祥一贯的为人标准。其四，正因为胤祥在关键时刻帮了胤禛一把，胤禛才会在即位伊始，把连低级爵位都没有的胤祥一下子超拔为亲王。
第三，胤祥被圈禁的时间究竟有多长？对此，从清朝的官修史书到民国初年修成的《清史稿》，均无只言片语。从康熙四十七年（1708）九月胤祥被圈禁，到六十一年（1722）正月他兀然出现在政坛中心，这中间的14年，在他的生命史上完全是一片空白。造成这种情况的唯一解释是：胤禛即位后删除了一切于己不利的文字，其中包括胤祥的相关记载。人们不禁会问，胤祥被圈禁了多长时间？一年，二年……还是若干年？这又是一个难解之题。