不久，刘渊的父亲、匈奴左部部帅刘豹病死。依据晋朝律令，刘渊得以返回本部，世袭左部帅之职。武帝太康末年，朝廷又拜他为北部都尉。
刘渊回到本部后，“明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰无不至者”。就连幽州、冀州一带的名儒、秀士，也不远千里，慕名而至。
晋武帝死后，外戚杨骏辅政，为了拉拢远人，树立私恩，加封刘渊为建威将军，五部大都督，并封为汉光乡侯。晋惠帝期间，八个司马王爷以及众位勋贵各怀鬼胎，你争我斗。刘渊乘机在五部纠结人马，以观时变。惠帝元康末年，由于刘渊所部有人叛逃出塞，他被依法免官。八王乱起，成都王司马颖掌权时，也拉拢这位非常有号召力的匈奴大都督，把他召至邺城，封刘渊为“行宁朔将军，监五部军事”。殊不料，这位宁朔将军不“宁朔”，最后倒是“乱朔”。虽然是空号虚封，但“监五部军事”的官职是刘渊日后成功最大的基础。因为，在魏晋后期，匈奴的什么左贤王、什么右贤王的封号其实完全没有实际意义，已经在岁月的流逝和晋武帝的威权下成为装饰品了。
刘渊当时在邺城“做官”，眼见晋朝宗室相伐，天下动荡，心中窃喜，只是身在汉地，不敢有太大动作。
中原大地板荡之时，居于汾水流域的匈奴五部蠢蠢欲动。刘渊的堂叔祖刘宣秘密召集五部上层贵族，对当时的情势发表意见，准备见机起事。“我们匈奴先人（南匈奴）与汉朝约为兄弟，荣辱与共。自汉朝灭亡，魏晋代兴，我们匈奴族人只有虚号，没有实土之封，虽号称王族世家，和普通百姓编户没什么区别，想想真是屈辱呵。现在司马氏骨肉相残，四海鼎沸，正是我们兴邦复业的大好时机。刘元海姿器绝人，为超世人杰，正是兴复大业的最佳人选。”于是，五部贵族上层秘密盟誓，推举刘渊为大单于，并暗派匈奴族人呼延攸到邺城，把五部盟誓的事情通报给刘渊。
刘渊听说自己已被五部暗中遥尊为大单于，欣喜过望。但他仍不动声色，假称五部族人有丧事，向成都王司马颖请假，说自己要回部落参加葬礼。司马颖当时没答应。倒不是这位司马颖王爷多聪明，有先见之明，而是当时各王之间争斗激烈，他太想把刘渊留下来当帮手了。
眼见不能成行，又不敢贸然私下逃归，刘渊便让呼延攸自己先回去，让刘宣等人召集五部并诱引宜阳诸部胡人，齐集兵马，打着声援司马颖的旗号，准备伺机兴兵。
晋惠帝永安元年（304），自我膨胀的司马颖在邺城宣布自己为皇太弟，废掉侄子司马覃的皇太子位号，这下给东海王司马越以口实，双方开打。荡阴一战，司马颖得胜，把惠帝老兄掌握于自己手中，高兴之余，他又加封一直在身边出谋划策的刘渊为冠威将军。
司马颖没高兴多久，与司马越近宗的晋朝宗室、并州刺史东赢公司马腾和安北将军王浚起兵攻打司马颖，率鲜卑、乌桓等十多万人，直扑而来。
强敌来逼，“貌美而神昏”的二十郎当岁王爷司马颖不知所措。
刘渊乘机进言：“现在二镇跋扈凶猛，有甲士劲卒十多万人来攻，恐怕都京宿卫军士抵御不了这些强寇。请殿下允许我只身返回五部，带匈奴五部之兵杀返，以赴国难！”
司马颖迟疑。“匈奴五部能保证发兵吗？即使五部兵能来，王浚等人率领的鲜卑、乌桓士兵劲速如风云，五部兵能打得过他们吗？……我想护卫皇帝返归洛阳，避其锋锐，再传檄天下，以逆顺制之，不知君意以为如何？”
面对这位大敌当前只识“驼鸟政策”的成都王，刘渊心中十分瞧他不起。但为了自己能顺利返回五部之地，刘渊仍一脸虔诚庄重，一面给司马颖戴高帽，一面“深忧王事”地出主意：
“殿下您乃武皇帝亲子，对帝室立有殊功，威恩光洽，四海钦慕，谁都想为您效命献身啊！有您的命令，五部会闻命而动。况且，王浚竖子，东赢公是王室疏宗，这两个人怎能与殿下您争锋！殿下您千万别离开邺城，兵马一动，示弱于人，又怎能到得了洛阳呢。即使能到洛阳，威权也不在您手中了。鲜卑、乌桓虽号称悍勇，但比起匈奴五部还差得远。希望殿下您镇抚士众，安静以待，我返回五部后，发二部兵击东赢公司马腾，再发三部兵进攻王浚。如此，这两个鼠辈的首级，不久即可传至邺城！”
司马颖闻言大悦，拜刘渊为北单于、参丞相军事。
简言之，几个司马宗室王爷少不更事，纷纷外借鲜卑、乌桓、匈奴雇佣兵来参加“内战”，这些人狼子野心，谁又能真心为了司马家事而效身投命呢。
蛟龙终归大海。刘渊一回到左国城，刘宣等五部贵族马上奉上大单于尊号，建都离石，拥众五万。