大起大落
刘渊被困在洛阳无计可施时，匈奴传来消息，刘渊的父亲刘豹去世了。刘渊趁机解除了自己的质子生活，带领军队返回匈奴五部，继承了父亲的职位。
公元289年，朝廷下令封匈奴五部将领为五部都尉，后来又成了五部大都督。刘渊很高兴，这算是由朝廷正式确立了他在匈奴五部的地位。受到极大振奋的刘渊开始励精图治，用自己多年所学来治理匈奴五部。
但是好景不长，因为匈奴五部中有人叛逃，引起朝廷震怒，刘渊被罢免了五部大都督的职务，被迫到成都王司马颖手下当了个宁朔将军。
此时的刘渊就好比龙困浅滩，在积蓄一飞冲天的力量。
建立后汉
八王混战开始后，匈奴部落里的一些贵族说：“我们匈奴单于后代虽然有封号，但是却没有自己的土地，跟一般百姓没什么两样。现在晋朝发生内乱，自相残杀，正是我们匈奴人恢复地位的好时机啊！”
大家一致认为刘渊有才能、威望高，推举他当单于相当合适。于是，贵族们派人去请回刘渊。刘渊很高兴，就借口要回匈奴安葬自己的父亲，向司马颖请假；司马颖不同意，刘渊只好让使者先回去，并且要五部匈奴集结兵力，向南移动。