自汉朝以来，居住在今天蒙古大草原上的匈奴人在“逐水草而居”的同时，时不时高举狼头大纛，啸聚而来，狂风一般地忽然出现在汉族人的北部边地。他们践踏庄稼，洗劫城市，烧毁房屋，杀戮当地居民。大肆劫掠后，他们往往又掳走成千上万的汉人为奴隶。往往未等汉族大军到来，匈奴人便又鬼魅一般地消失在无尽的大草原中。吃肉喝酒之余，这些野蛮人在朔朔北风中享受他们掠来的女子玉帛，嗷嗷狂叫以示庆贺。这种情况，不是一天两天，不是一年两年，也不是十年二十年，而是长达数个世纪之久。
东汉建武二十二年（46），匈奴人赖以生存的蒙古大草原发生了前所未有的大旱灾，“赤地数千里，草木尽枯”。对于以畜牧为生的匈奴人来说，大旱成为空前的灾难。牛羊没有草吃，饿毙千万；牧人无食，相继饿死。而人畜的尸体交相堆积，无人清理，后又引发了一轮又一轮的瘟疫，一直号称“天之骄子”的匈奴人“死耗大半”，强盛雄武的匈奴汗国也终于陷入分裂，散裂为南、北匈奴。
南匈奴暂时收起狼性，匍匐于汉朝的金龙旗下；北匈奴则被迫向西迁移。公元91年，东汉大军又乘胜把北匈奴赶到金微山（阿尔泰山）以外，惊惶失措的北匈奴部族只能向西复向西，跨过乌拉山，逃过伏尔加河，在里海以北才敢坐下喘口气。过了两个多世纪后，在迁徙中不断与当地族群通婚繁衍的北匈奴在现在的匈牙利平原重新立国，开始立足东欧，虎视西欧。五世纪的匈奴王阿提拉曾经大显神威，杀得欧洲血流成河，被罗马帝国畏称为“上帝之鞭”。但好景不长，公元453年，阿提拉在美女怀中暴死，北迁的匈奴汗国终于分崩离析，散落并融合于欧洲各族。
回头再说南匈奴。依附东汉的南匈奴有五千余落，开始时他们被安置在五原塞（现内蒙古包头以西、乌拉山以南），不久就迁至西河美稷（现内蒙准格尔旗）。东汉每年耗银一亿多供给这帮失败的蛮族，想让他们成为捍御北匈奴的屏障。但是，估计是当初汉军神威太猛，匈奴人的勇武魂魄已经被打得七零八落，继匈奴而后起的鲜卑人尽占匈奴故地后，又不断向西，南匈奴一败再败，人马被杀无数，牛羊损失千万，日益南退，最后被挤兑到山西离石的左国城（现山西离石县以北）。
东汉黄巾乱起，汉朝政府发令要匈奴骑兵进入中原帮助镇压起义，南匈奴各部当然不愿去当“炮灰”，于是杀掉亲汉的羌渠单于，立顺卜骨都侯为单于。羌渠单于的儿子于扶罗本来向汉地奔亡，想向大汉讨个“说法”，途中看见汉地烽火四起，互相杀伐，于是这位匈奴王子狼性顿起，率数千精骑与中原的乱军搅合在一起，四处攻杀，趁火打劫。
公元216年，大英雄曹孟德发现，迁居塞内的匈奴人种落繁盛，人口众多，便分其威权，把南匈奴分为左右南北中五部，“以弱其势”，每部置部帅一人，派汉人做司马以为监督（曹魏时，部帅改称都尉）。
南匈奴左部统率一万余落，居故兹氏县（今山西临汾）；右部统六千余落，居祁县（今山西祁县）；南部辖三千余落，居蒲子县（今山西隰县）；北部统四千余落，居新兴县（今山西忻县）；中部统六千余落，居大陵县（今山西文水县）。由此，汾水流域一带，南匈奴三万余落遍布四周。但彼时的匈奴各部，畏服于英明神武的大丞相曹操，平时耕牧，打仗时出兵出马，完全是汉朝的“顺民”，“……单于恭顺，名王稽颡，部曲服事供职，同于编户”，内迁的匈奴人和内地的汉族百姓基本没有太大的差别。
入塞的匈奴中，共有十九种，每种皆自相隶属，各有族统，其中最著名的有屠各种、羌渠种、卢水胡等。这群人在日后的十六国时代大显狼威，屠各种有刘氏建立的汉、前赵（304—329），赫连氏建立的大夏（407—431），还有羌渠种建立的后赵（319—349）。此外，卢水胡中的沮渠氏也在西北建立过北凉（397—439）。
由于汉高祖刘邦时代曾嫁宗室公主入匈奴，所以屠各贵族就冒姓刘氏，他们在匈奴诸种中地位最尊，因此五部匈奴部帅都是刘姓匈奴贵族。此外，匈奴有呼衍、卜、兰、乔四大贵姓，皆为刘姓的辅佐高官。所有这些匈奴人移居塞内时间久长，汉化日深。他们当中的贵族子弟不仅博览群书，又精于骑射，可以说是能文能武的中国北方少数民族的高门士族。虽为大晋臣民，与周遭广大汉人杂居，但这些匈奴部帅仍对五部控有传统的威权。匈奴五部平日备战不辍，可以一声令下在瞬间化为强有力的军事组织。
刘渊，字元海，匈奴冒顿单于直系后裔。
东汉末年，羌渠单于被杀后，其子于扶罗自称单于，率几千骑逃入汉地，恰值当时董卓之乱，他就趁机狂掠太原、河东地区，并在河内地区驻屯。于扶罗单于死后，其弟呼厨泉单于得立，以于扶罗单于的儿子刘豹为左贤王。这位左贤王，就是日后大名鼎鼎的刘渊的父亲。
曹操分南匈奴为五部，刘豹得为左部帅。在《晋书》中，刘渊以字称，皆为刘元海，这是因为《晋书》是唐朝大臣编撰，为避高祖李渊的名讳（另一位羯族皇帝石虎被统称为石季龙，因为李渊他爸叫李虎）。
刘渊自幼居于汉地，深受汉文化熏陶，从小就刻苦好学，师从上党名儒崔游，学习《毛诗》、《京氏易》、《司马尚书》等汉族传统典籍。由于出身将种，他还特别喜爱研读《春秋左氏传》、《孙吴兵法》等与征伐相关的权谋兵书。“《史》、《汉》，诸子，无不综览”。可称是高度汉化的匈奴人。“七岁遭母忧，擗踊号叫，哀感旁邻，宗族部落咸共叹赏”。如此“孝道”，也显示出刘渊这些匈奴人的道德礼仪近乎完全汉化。
青年时代，刘渊就有大志，常对同门学习的汉人文士讲：“吾每观书传，常鄙随陆无武（汉朝文臣随何、陆贾），绛灌无文（指汉朝武将周勃和灌婴，周勃曾受封绛侯）。道由人统，一物之不知者，固君子之所耻也。”于是他发奋习武，“妙绝于众，猿臂善射，膂力过人。”本来就是尚武的匈奴王族直系后代，五部又多善骑射之人，刘渊习武，肯定是水到渠成的易事。不仅文采风流，又有一身好武功，才兼文武，刘渊在当时不啻为人中之龙。
由于世为匈奴贵种，刘渊的遗传基因非常优秀。他“姿仪魁伟，身长八尺四寸，须长三尺余，当心有赤毫毛三根，长三尺六寸”。晋人喜从一个人的相貌判断将来运数，好几个相士见到刘渊后，都大惊说：“此人相貌非常，吾所未见也。”太原大族王浑也深叹刘渊一表人才，并命其子王济拜见刘渊。
曹魏咸熙年间（264—265），刘渊作为“任子”（即少数民族贵族子弟在京城做“人质”）在洛阳居住，当时司马昭就很器重他，常邀之入府做客。
晋武帝受禅后，时任晋朝大臣的王浑就不停地在晋武帝面前荐举刘渊这个“半老乡”。晋武帝召见刘渊后，“大悦之”，对王浑的儿子、自己的女婿王济说：“刘元海仪容机鉴，虽由余、（金）日襌也比不过他啊。”王济应答说：“圣上所言皆是，但刘元海的文武才干远远超出由余和（金）日襌两个出身异族、辅佐汉室的古人。陛下如果能派他去平吴国，肯定能马到功成。”
听到王浑、王济父子的荐举，晋武帝自己又对刘渊有很好的印象，一高兴还真要下旨派这位匈奴人去带兵平吴。幸亏当时的大臣孔恂、杨珧很有政治远见，谏说道：“刘元海之才，确实超出常人。陛下如果给兵不多，不足以成事；如果授之以威权，恐怕他平吴之后，肯定自立为王，再也不会北渡了。非我族类，其心必异！如果真的以其匈奴本部交由他统领，凭借朝廷威名外讨，为臣真为陛下寒心！”“帝默然”，没再坚持。由此，刘渊的第一个“好机会“就这样错过了。
后来，关陇一带的氐族酋帅树机能反叛，晋武帝于朝中大臣间访寻谁能胜任平叛的主将。刘渊的另一位老乡、上党人李憙（时任尚书仆射）又推荐他：“陛下诚能发匈奴五部之众，授刘元海将军名号，鼓行而西，可指期而定。”大臣孔恂又一次谏阻：“李公之言，只能是一患未平又生一患！”
李憙勃然大怒，辩驳说：“以匈奴之劲悍，元海（刘渊）之晓兵，奉宣国威，为什么不能平叛呢！”
孔谏对称：“刘元海果真能斩杀树机能，夺取了凉州，恐怕凉州才是真正面临大祸乱。蛟龙复得云雨，就不会再蜷缩池中了。”
“（武）帝乃止。”刘渊第二次一显身手的机会就又错过了。
受到这两次沉重打击，刘渊也真的心灰意冷。一次，以游侠著称的东莱人王弥自洛阳返乡（这王弥日后也成为晋朝一大祸害），刘渊于九曲之滨为王弥饯行。几巡酒后，刘渊哭着对王弥说：“王浑、李憙两位是我的老乡，多次在皇上面前举荐我，却招致谗毁之言。其实我本来就没有当大官的打算，二公好心却成坏事，惟足下（王弥）您深明我心！自今以后，我恐怕要老死于洛阳城内，与君永诀了！”言毕，悲歌慷慨，纵酒长啸，一座之人皆为其这一番“表演”而感动。
刚巧，晋武帝的弟弟齐王司马攸当时也在九曲宴客，听见附近人声喧哗，又歌又哭又叫唤（长啸），便飞马驰近瞧个究竟。刘渊的一番言语表演皆为这位明睿聪明的王爷所睹闻。他回朝后，马上对皇帝大哥司马炎说：“陛下不除掉刘元海，臣恐并州日后不得安宁！”关键时刻，又是刘渊的老乡、晋武帝的儿女亲家王浑出面保奏：“刘元海是个厚道人，我以身家性命担保他不会有异心。我大晋现正怀远以德，怎能做出杀害匈奴入侍质子之事！”
晋武帝非宏图之君，认为王浑说得有理。刘渊又逃过一劫。