太子李建成、齐王李元吉率领着大军一路回撤，大军四散逃跑。由于齐王李元吉私自调动一万大军夜袭敌军，导致中了定阳王刘武周、宋金刚两人的奸计，带去的万人大军被他们两人全部消灭，无一例外地全部被歼灭，使得李建成的计划被打乱，大军回撤又被刘武周、宋金刚追杀了不少人，一路回撤一路防守，仍然难以抵挡住定阳军的进攻。
同年五月，刘武周攻陷平遥；六月，又占领介州。太子李建成、齐王李元吉退守在晋阳城内，李元吉私自调动兵马导致兵败如山倒，一路上刘武周势如破竹，接连占领两座城池。位于长安城皇宫内，唐高祖李渊接到前方将领传回来的战报，怒气冲冲地大骂一声：“这个忤逆子，居然敢私自调动兵马，致使我军大败而归，真是该死！来人，传朕的旨意，齐王贪功冒进，并州失守，不思进取，接连战败，斩首示众！”
唐高祖李渊怒气冲冲地拿起书案前的奏章，大力一扔直接甩在一边，难言心中的怒火。失去城池事小，丢失的脸面却是至关重要，李唐大军七万余人居然抵不过刘武周的两万大军，这要是被天下百姓知道，他李渊颜面何在，而且战死的士兵全部都是精兵强将，就是因为李元吉贪功冒进，不听太子李建成的号令，居然敢私自出兵应战，直接导致此战大败的导火索，关键是被刘武周追击退回到晋阳城。
朝中文武大臣一听唐高祖李渊要将李元吉处死，顿时，他们所有人都愣住了。前方的战事直接由地方传到中央，李渊亲自批阅，因此他们根本就不知道到底发生什么事情。长孙无忌低下头看了一眼脚下的奏章，他躬下身子捡了起来，不看不知道，一看吓一跳，他呆若木鸡地傻愣着站在原地，奏章是裴寂写的，他将太子李建成、齐王李元吉大败的消息一五一十的全部上奏给李渊，现在他才知道为何李渊会动怒，实在是罪不可赦，按律当斩。
长孙无忌急忙躬身道：“圣上，臣以为齐王不当斩！”
唐高祖李渊将自己的命令说完，就听闻有人反对，转身望去是长孙无忌，强忍着心中的怒火，诧异道：“长孙爱卿，你有话要说？”
“臣以为齐王虽有过错，却不至死。”长孙无忌躬下身子，微微颔首道：“两军交战，战场上瞬息万变，齐王好胜心切，乃是平常之事。战场上原本就是讲究智谋，统帅的能力。齐王年纪尚幼，缺乏磨练。再说，战场上斩杀我方元帅，于我军士气不利，若是齐王能够将功折罪也不失为一件幸事，或许代价有些过大，但是仍然不能将所有的罪责怪罪于齐王，而且他是皇子，决不可轻易斩杀。”
唐高祖李渊沉默不语，想了许久。其实，他之前所言也只不过是愤怒之词，根本就不可能真的要斩杀李元吉，毕竟他就算再不好，仍然是自己的儿子。金口玉言，说出的话又不能收回来，长孙无忌适时地出面，为李渊找到台阶下来，不过齐王贪功冒进按律当斩，如果不斩的话，李渊也会担心将领不服气，就顺着长孙无忌的话，叹息一声道：“既然长孙爱卿求情，暂免他死罪，死罪可免，活罪难逃，革去齐王并州总管以及大将之位，擢升太常少卿李仲文为行营总管，与左卫大将军姜宝谊率兵救援并州，即日起出发！”
长孙无忌颔首，他知道李渊借他下台，他心领神会的默默退了下去。于是，唐高祖李渊派遣李仲文、姜宝谊发兵救援并州。只不过，大军抵达雀鼠谷时，被刘武周的麾下大将黄子英击败，出师未捷身先死，直接被黄子英全部斩杀，无一幸免。
唐高祖李渊见敌军如此勇猛无敌，又派遣右仆射裴寂为晋州道行军总管，督军抗击刘武周。同年八月，裴寂率领大军抵达介休，宋金刚见裴寂率领大军前来攻城，率领大军以介休城为据点，利用天然的地理优势抗拒着裴寂，双方率领大军战于索原度，唐军全军溃败，裴寂只身逃回晋州。
裴寂率领大军被宋金刚消灭的一干二净，杀得他片甲不留，于是刘武周乘胜追击，势如破竹，直接进逼晋阳；太子李建成、齐王李元吉见刘武周如此勇猛无敌，急忙撇下城池逃回长安城，裴寂也随之一同返回，接下来，刘武周又攻占了唐高祖李渊起兵的地方——晋阳。
同年十月，刘武周又派遣宋金刚南下攻陷晋州，进逼绛州，占据龙门，攻占浍州。与此同时，夏县吕崇茂自号魏王，与刘武周相呼应；隋朝旧将王行本据蒲坂，与宋金刚相联合。至此，山西大部分尽归刘武周统辖，唐在黄河东岸只剩晋西南一隅之地，关中受到极大震动，甚至唐高祖都惊慌失措，颁发了“贼势如此，难与争锋，宜弃大河以东谨守关西而已”的手敕。
一时之间朝野震荡，就连李渊都惊慌失措。刘武周声势浩大，而且将山西大部分地区全部收归于自己的管辖之地，唐高祖李渊都无法想象。没想到事情的结果出乎预料，自从齐王李元吉弃城不顾，夜袭敌营，被刘武周、宋金刚摆了一刀之后，李唐大军几乎都是败绩累累，根本就没有一次取得胜利。
太子李建成、齐王李元吉面露惧色地低下头，跪在大殿之上，裴寂也无一例外的跪在地上，正前方就是面色阴沉的唐高祖李渊，他一动不动的坐在龙椅上，一言不发，目光不停地扫视着他们三人。如今，太子李建成等三人已经跪了半个时辰，可是，李渊根本就打算让他们起来的意