刘渊死后，太子刘和继位。刘和，“身长八尺，雄毅美姿仪”，和他老爹一样，自幼饱读诗书，好学夙成。但是，“及为储贰，内多猜忌，驭下无恩”。他刚登帝基，就在其舅呼延攸的撺掇下，想杀掉手拥重兵的四弟楚王刘聪等三个王爷。不料，他派去攻杀其弟北海王刘乂的田密等将领斩关奔逃，奔向拥兵十万的刘渊第四子刘聪处通风报急。混乱之间，刘和派人斩杀安昌王刘盛、安邑王刘钦、永安王刘安国、齐王刘裕、鲁王刘隆，但最后刘聪率大军攻入西明门，冲进内宫，斩杀了刘和，并收斩呼延攸等人。
刘聪杀掉刘和后，虽朝中大权皆归己手，但还没有马上自立为帝的野心。由于当时刘渊年轻的孀妇单氏是“皇太后”身份，刘聪就想尊单氏所生的儿子北海王刘乂为帝。“（刘）乂与公卿涕泣固请”。刘乂当时也就十四岁左右的少年王爷，应该不是演“政治”戏，加上他自己也差点被刘和杀掉，推举这位四哥想必是出于真心。依据当时情势，刘聪登上帝位也是众望所归、水到渠成之事。
刘聪“久而许之”。他在朝中对宗室和大臣讲：“皇弟刘乂以及众位大臣值此四海未定之际推举我，是因我年长的缘故。国家大事，我不敢不从。待到皇弟刘乂日后成年，我会把皇位再让予他。”于是，刘聪即皇帝位，改元光兴，尊刘渊的皇后单氏为皇太后，生母张氏为帝太后，拜刘乂为皇太弟，领大单于、大司徒，立其妻呼延氏为皇后，封其子刘粲为河内王，署使持节抚军大将军、都督中外诸军事。
刘聪为人，据说是其母怀孕十五个月才把他生出来（古人好附会灵异，小孩如果真在母亲肚子里呆十五个月，生下来不是死胎也是傻子），左耳间生有一根白毫毛，二尺多长，光泽莹亮。由于长寓汉地，刘聪也是自幼好学，十四岁时，他已精通经史百家，并工草隶，善属文，不仅精习《孙吴兵法》，还著有述怀诗百余篇。由于是匈奴贵种，刘聪十五岁起又开始学习击刺，“猿臂善射，弯弓三百斤，膂力骁捷，冠绝一时”。
刘聪身上既有父氏匈奴骁武的遗传，也有母氏汉族诗文积淀的灵性，确是人中龙虎。弱冠之年，刘聪即在洛阳游学，交结名士无数，当时的大臣乐广、张华都对他大加叹赏。在京城见过大世面后，刘聪回到新兴故地，官至右部都尉，善于抚接匈奴五部士众，族人归心。其父刘渊在成都王司马颖手下效力的时候，唯恐父亲有三长两短，刘聪当时也自告奋勇，在司马颖手下任积弩将军，常常冲锋陷阵，为父亲刘渊争脸邀功。
因此，无论是从禀赋、阅历、政治经验哪个方面讲，刘聪都是个成熟、老练的帝王。即位之后，刘聪马上派遣刘粲、王弥、刘曜等率四万精兵，长驱洛川，在梁州、陈州、汝州、颖州等地辗转袭击，攻陷汉族人所建的坞堡一百多座。同时，他又派呼延晏率禁兵两万七千人，从宜阳入洛川，与王弥、刘曜、石勒大军相呼应，在河南与晋军大战，前后十二胜，杀晋军三万多人，包围了洛阳。
西晋方面，刘琨联合鲜卑部酋拓跋猗庐，大破与刘聪结盟的匈奴支属刘虎以及鲜卑白部。取胜之后，刘琨上书把持西晋朝政的东海王司马越，要求他派兵共讨刘聪、石勒，但司马越害怕与他不和的晋臣苟唏等人趁机夺权，就以洛阳饥荒、养不起外兵为由，拒绝了刘琨的建议，实际也使刘聪围攻洛阳的军队更加有恃无恐，再无被反包围的危险。刘琨无奈，只能“厚谢”拓跋猗庐，并按约定把陉北的五县晋民迁于陉南，割陉北之地与鲜卑。