刘琨到了中山，刘希已经被王浚骑兵杀死。幽州兵驱略民众而走，刘琨不愿与王浚彻底翻脸，而没有追赶，任上万民众被幽州兵带走。
王浚仗着鲜卑部骑兵竟还未打过一场败仗。忘乎所以之下，渐生不臣之心。这次驱走民众还不解恨，进而鼓动并、幽、冀三交之地的杂胡攻击刘琨。刘琨无奈，只好先平胡乱。
王浚幽、冀紧临并州，怀帝被擒，王浚早有不臣之心。在石勒未回归之前，其相邻强藩只有刘琨并州，王浚自有吞“并”野心。刘琨惹不惹他，他是都要打刘琨的，只是石勒回河北，王浚才放弃打刘琨的念头。
王浚与刘琨反目，罪虽不在刘琨，可是王浚与刘琨反目，却给其二人带来灭顶之灾。刘琨将杂胡驱走，还未返回晋阳，就接到噩耗，晋阳被前汉中山王刘曜和太子刘粲联合攻下。刘琨当场跌落马下。
原来刘琨急匆匆赶赴中山的时候，前时被刘琨酒后误杀的令狐盛有一子，名叫令狐泥，他就趁机投降前汉。并告知刘聪：刘琨不在晋阳，而且他的将军们也大多不在晋阳，都出动募兵了。晋阳从未如此空虚，机不可失，请攻晋阳。
刘聪数次攻打刘琨，均是完败而归。这次听说不仅刘琨不在晋阳，甚至晋阳城连个像样的将军都没有，刘聪心花怒放。
令狐泥又告诉刘聪，刘琨四处募兵，就是因为他和拓跋部要在三月之后攻前汉，抢回怀帝。
刘聪大惊，紧急召集众将商讨攻打晋阳之事。众将一听晋阳空虚，都摩拳擦掌要报数败之恨。又闻刘琨要在十月来讨前汉。更是群情激动，个个支持出战。
刚丢了长安的中山王刘曜，养好伤。正想立功赎罪，于是上前说道：“我军多次攻袭晋阳不成。虽因刘琨英武，但更主要的原因是我军派去之兵力不足。即然刘琨要在十月伐我，那么不管刘琨在不在晋阳，不管晋阳有没有兵将，我军都要全力去讨伐他。”
众人皆拍手赞同。
中山王刘曜说出中心意见：“我军应像去年攻洛阳一样，倾全力前往，刘琨在，生擒之。刘琨不在，就占住晋阳与其决战。”
刘聪对刘曜道：“我知你的意思了，偏师前去，即使拿下晋阳也未必守得住。我命你和刘粲率本部人马全去讨伐刘琨。”
刘曜一听大喜。刘曜和大皇子刘粲合起来拥有前汉一半兵马，一起出征骑兵超过三万，比去年攻晋都洛阳的兵马还多。前汉与刘琨生死大战开始了。
刘曜、大皇子刘粲（当时还不是太子），率三万铁骑浩浩荡荡杀向晋阳。兵刃耀天，旌旗蔽日，气吞山河。
晋阳城内接到警报，一片慌乱。温乔、刘遵、崔悦等主要将领也在外募兵。刘琨本在晋阳守城，可是王浚来太行西抢民众，刘琨只好亲去调解。本想十日内反回晋阳。可是却被杂胡缠住。
晋阳几乎无兵，太守高乔急得团团转，经过商议，只好先请晋阳城外杂胡先阻挡一下，一面急报刘琨。晋阳胡骑常年受到刘琨恩赐，自是责无旁贷。
如佳本希望请杂胡入城帮助守城，可是他们善骑战，进退无阻，守城这等画地为牢的事。胡兵自是不干。高乔无奈，只求山中散胡多抵挡几日。好为刘琨返回挤出时间。
可是前汉主力尽出，前来阻击的杂胡一击即溃。刘曜、刘粲进而围攻晋阳。晋阳城内只有三千新军，太守高乔本是文官，未经历过战争。但见城下胡马连天，旌旗蔽日，吓破了胆，竟自开城投降。
刘曜和刘粲相继入城，领路的令狐泥将刘琨父母搜出杀死。
匈奴汉几年来数战不能攻下的晋阳，因令狐泥报信而唾手即得。这些年匈奴汉的战略方针就是占领长安和晋阳。以此二城为基地，所以攻下晋阳并未刻意破坏。
刘琨得知晋阳丢失，痛的肝脏尽裂，急命四出之将回击晋阳，并请拓跋倚卢出兵。拓跋倚卢火速派太子六修，侄子普根和晋将卫雄、箕澹前来。三路大军也有骑军三万余人。
刘琨得到三万援军，疾驰晋阳。城内匈奴汉军得知后，中山王刘曜亲领二万骑兵渡河应战。由大皇子刘粲守晋阳。
西晋之后，东晋南北朝有五胡乱华之说，这一时期我国骑兵作战达到了最高峰。其它时期大多是骑步对战，而这一时间北方交战各方都大规模使用骑兵。晋阳之战为骑兵决战的开山之作。
两军相遇，刘曜和刘琨各自麾动骑兵进击。前汉多年在中原作战，打了很多胜仗，所获甚多。所以前汉骑兵以重甲骑兵为主，（当然不是中世纪的重装骑兵，中国骑兵甲片薄而小）。中山王刘曜一声令下，全军冲向刘琨鲜卑骑兵。二万匈奴铁骑采取最简单而实用的扇形阵型，向鲜卑骑兵冲来。骑兵队伍便如网状拉开，犹如层层渔网，在骑兵如此反复强力冲击下，没有敌人能经得住这样的持续打击，骑士在短刃相接先以强弓射敌。
而刘琨所领鲜卑骑兵人数虽略多于敌，但以轻骑为主，骑士只有兽皮为甲。战前刘琨告诫大众，轻骑胜在灵活，而重骑胜在阵形。重骑行动要比较统一，形成相互保护，进退一体。
轻骑胜在灵活，所以刘琨以雁形骑阵应战敌之扇形阵。刘琨轻骑以左右两路，各从敌人肋处插入匈奴重骑，希望在运动中将重骑阵形冲散。
可是匈奴重骑久经战阵，远射近砍，在一开始占了上风。杀场上一方重骑战马奔腾，逢刃必摧；。一方轻骑狂飙突进