当李特流民起义发生时，五部大都督刘渊已经在到处招兵买马，积蓄力量，占据了很大的地盘。刘渊的祖上是匈奴人，从汉高祖刘邦开始，汉皇族和匈奴贵族通亲，一些匈奴贵族认为自己是汉皇室刘家的后代，逐渐改姓刘。东汉末年，曹操征服了匈奴，把匈奴分为五大部，每个部设一个部帅，刘渊的父亲刘豹便是其中的一个部帅。刘渊从小读了许多汉族人的书，力气大，武艺高，能够拉三百斤重的大弓。刘豹死后，刘渊继承他父亲的职位。后来，在西晋的成都王司马颖(八王之一)部下当将军，留在邺城，专管五部匈奴军队。

公元304年，正是“八王之乱”发生时，刘渊借口说回匈奴借兵帮助司马颖作战，跑回匈奴贵族的聚居地离石(今山西离石)，召集匈奴五个部族，被拥为大单于，发兵攻打当时正在与晋军作战的鲜卑族军队。当李雄自号成王的消息传来后，刘渊决定也自封王号，刘渊认为：自己本是汉朝皇家的外甥，和汉皇族是兄弟关系，现在汉朝灭了，自己称王，正好用“汉”的名称，便正式称为汉王。公元308年，刘渊觉得自己的势力够大了，便在平阳(今山西临治)自称皇帝，派出大将王弥、刘曜领兵攻打洛阳，但两次进攻都没有成功。