司马颖这厢，果然草包。王浚所率鲜卑大军一到，司马颖一败涂地，裹挟着大傻皇帝司马衷南逃洛阳。
已是“大单于”的刘渊此时闻讯，叹骂道：“司马颖不听我言，一战即溃，真是昏庸的奴才！但我和他有约，不可不救。”刚刚摆脱司马氏控制，惯性思维下刘渊起先还真想再扶司马颖一把，想派属下二万余骑进讨鲜卑。
刘宣等人马上阻止他，劝道：“晋朝无道，一直像使唤奴隶一样使唤我们匈奴五部。现在司马氏父子兄弟自相鱼肉，是上天给我们匈奴人光复大业的机会。违天不祥，逆众不济。天与不取，反受其咎，望大单于三思！”
刘渊何其聪明之人，马上借坡而下，他叹言道：“你说得太对了。帝王之业怎有定数呢。大禹出于西戎，（周）文王生于东夷，天授有德之人啊。现在我们有强兵十万，皆可以一当十，鼓行而摧灭晋朝，有拉朽摧枯之势！做好了可成汉高祖的大业，做不好也不失曹魏的霸业。”言至此，老谋深算的刘渊沉吟片刻，半自言自语半对在座五部匈奴豪酋说：“以光复匈奴大业为名，晋朝人是不会响应我们的。汉朝享有天下日久，恩德结于人心，当初昭烈皇帝（刘备）以区区一州之地（蜀），也能抗衡天下。依名分讲，我是汉室之甥，当初与汉朝约为兄弟，兄亡弟继，合情合理。”
于是，刘渊称汉王，在晋惠帝永兴元年（304）于左国城登基，建号元熙，依据汉制建百官。这样，刘渊就成为十六国第一个政权的创始者。现在看来可笑的是，刘渊尊蜀汉后主刘禅为孝怀皇帝，立汉高祖以下三祖五宗神主，假模假式地真以汉朝后嗣来立国。“乐不思蜀”且安然而死的刘禅做梦也想不到，在他死后几十年，竟有个匈奴“孙子”打着他的旗号在汾水流域光复“大汉”，阿斗裤裆再不紧，也不会漏出这么一个大略雄才的孙子。这，真是个历史的大幽默！
刘渊立国未久，西晋宗室、东赢公司马腾派将军聂玄征讨，双方于大陵激战。此役，匈奴五部兵大显神威，击败聂玄的晋军。司马腾惊惧之余，忙率并州两万多户仓皇奔走山东。刘渊乘胜，遣其族侄刘曜，一举攻克太原、屯留、长子、中都等地。
转年，刘渊打败司马腾派来的司马瑜等晋军，但在版桥一战中，晋朝并州刺史刘琨击败刘渊的前将军刘景，占据晋阳。
刘渊受挫后，有段时间一筹莫展，本想退保，但其汉族臣下王育等人进谏：“……殿下如能命将四出，决机一掷，枭刘琨，定河东，建帝号，克长安而都之，以关中之众席卷洛阳，肯定易如反掌！”
刘渊大喜，说：“这正是我所想做的啊。”于是，他进据河东，攻陷蒲坂、平阳等地，击降上郡四部鲜卑。晋朝内贼王弥（在九曲和刘渊喝酒的那位）、氐酋单征以及羯族头领石勒都慕其威名，投靠在刘渊旗下。刘渊对这些人一一封官晋爵。
晋怀帝永嘉二年（308），刘渊称帝，改元永凤，迁都平阳（今山西临汾）。当时，“八王之乱”中的八王已有七王命归黄泉，晋惠帝也被东海王司马越毒死，在位的是晋武帝第二十五子、晋惠帝之弟司马炽，即西晋怀帝。
刘渊称帝后，大举攻晋。他命其子刘聪与王弥进攻洛阳，并遣刘曜等人率匈奴军为后援。匈奴联军一路皆捷，接连打败东海王司马越和平昌公司马模派遣的数支晋军。连胜之下，刘聪顿起骄心，不久，汉军被诈降的晋朝弘农太守垣延认偷袭得手，大败而还。
气恼之下，当年冬天，刘渊又派刘聪、王弥、刘曜、刘景等人率精骑五万进攻洛阳，并派呼延翼率汉族步兵殿后，在河南大败晋军，包围了洛阳城。但好景不长，汉军大将呼延颢和呼延朗接连被杀，匈奴军夺气，刘渊见好就收，忙下令召还诸将，匈奴军还于平阳。
刘渊深信其能卜会算的大臣鲜于修之所言，不再攻晋，静待“辛未之岁得洛阳”的谶言。他于境内大赦，大封诸子、宗室，立其妻单氏为皇后，立儿子刘和为皇太子。
永嘉四年（310），刘渊病死，在位六年，被谥为光文皇帝，其子刘和继位。
刘渊打着“兴汉”的旗号，借尸还魂，起兵之初确实很有政治头脑和政治手段。其将刘景攻克黎阳后，曾残暴地把三万多汉族百姓赶入黄河中淹死，刘渊闻讯后大怒，马上下旨把刘景降职。但是，由于他长期坐镇平阳，根本约束不了匈奴本部狼性勃勃的诸子和五部诸将，致使汉军攻掠之地百姓“流移四散，十不存二……生相捐弃，死亡委厄，白骨横野”。在他统治末期，已经看到匈奴和汉族人民之间的民族仇恨难以泯灭，“称汉以怀人望”根本行不通，就只得放弃他自小学来的那套“汉家儒法”，恢复匈奴旧制，实行“胡汉分治”，此举虽属刘渊的“不得已而为之”，但也成为日后十六国诸多少数民族政权进行统治的“法宝”，纷纷仿效，命祚虽短，确实也加速和深化了乱世中的中华民族大融合。