李渊与长子建成、次子世民挥师南下，兵至贾胡堡，距离霍邑五十余里，代王杨侑派宋老先率领精兵两万驻防霍邑，抵御李渊的步伐。李渊在太原起兵，并且在晋阳设立起义堂，此事早已传到镇守长安的代王杨侑耳朵里，他强自镇静，派遣手下大将前往驻防霍邑，阻挡李渊进攻长安。
由于隋炀帝自刎于江都，死在宇文化及的手中，失去了隋炀帝，代王杨侑年纪尚幼无法独立掌握大权，手中的精兵良将甚少，可是霍邑距离长安不远矣，无奈之下只能派遣两万精兵由宋老生率领。虽然李渊打着辅助自己的名号，杨侑心知肚明李渊想趁机占据长安城。
通往霍邑县的官道被宋老生占领，李渊率领军队从小路向东南直接绕过了他的防守，抵达霍邑县。隋朝霍州总兵宋老生，长的是背阔腰圆，悍壮魁梧，手执一口大砍刀，每日必练刀法，面如紫茄，黑鼻孔，大耳朵，胸前飘着掺白胡子须，年近花甲，却不显老。
李渊、李世民只是静静地等待着宋老生主动出击，自己却屹然不动。他们两人都知道宋老生有勇无谋之辈，必定出战。李渊和几百名骑兵在霍邑城东埋伏，派李建成、李世民率领几十骑到城下辱骂宋老生。
李渊采用激将法不停地辱骂宋老生，使得他中计，开城门率军出战。李世民一路上奔跑着逃命，一边又是辱骂，宋老生见李世民不知礼数，年近花甲之年的他如何受得了别人的辱骂，于是拍马追击。李渊让殷开山召集后援军，李世民与段志玄率兵奔驰而下，来了一个回马枪直接冲到宋老生的军阵，出击宋老生的背后。
李渊传话呼喊：“已经抓住宋老生！”
顿时隋兵大乱，纷纷争先抢后地逃往城门，但是城门已经被李渊率领大军占领，宋老生见状心知自己因一时之气，忽略了‘穷寇莫追’的道理，为时已晚。宋老生根本就进入不了城门，回不了城只能下马跳入壕沟，又被刘弘基阻拦，两人交战数十回合不敌被当场斩首，自此李渊攻下霍邑城。
李渊留下千余人驻扎在霍邑城，沿汾水南下，占领临汾，攻克绛郡，于十五日进至龙门。屈突通率军数万屯守河东，准备阻止李渊军入关，然而李渊对他采取围而不攻，迅速率领军队朝着西南挺进。李渊军到汾阴，招抚关中农民军首领孙华，又命其先行渡过黄河，并派左、右统军王长谐、刘弘基及左领军长史陈演寿、金紫光禄大夫史大柰率步骑兵六千渡河至梁山扎营，以待大军。
此时，屈突通的处境非常艰难，一方面隋炀帝死于江都，隋朝失去了主心骨；另外一方面自己手中的兵力有限，根本就不能持久战，李渊正是看到这种情况，决定采用围而不攻的计谋。屈突通的一切都在李渊的掌握之中，此时的李渊精明强干，就连李靖都无法相信他居然能够将屈突通的兵力以及困难全部算进去了。
李渊自信满满的分析道：“屈突通精兵不少，与我军相隔仅五十余里，但不敢来战，足以证明他的部下已经不为屈突通效命了。但是屈突通害怕上边怪罪，又不敢不出战。若他亲自率军过河进攻你们，那我就进攻河东，河东肯定守不住。若是屈突通全军守城，那你们就拆毁河上的桥梁。这样前面扼住他的咽喉，后面攻击他的后背，他不逃走必定被我们擒获。”
屈突通被李渊采取的围而不攻的策略打的措手不及，无奈之下只能强攻，首先派出虎牙郎将桑显和率数千名士卒乘夜袭击王长谐等军，起初进展顺利。但是，孙华、史大柰率轻骑从侧后袭击桑显和军，隋军败回河东。
李渊见屈突通仍然强攻，决定继续率领大军包围河东。但是，河东城高险峻，易守难攻，加上屈突通又善于守城，使得李渊的大军一时之间难以攻克。李渊见此状况，仔细地思考后决定先行渡过黄河，又留下一部分兵力继续围城，亲自率领主力大军于十二日渡河西进，威逼关中。
由于李氏父子进军神速，只是花费了数个月就将长安攻陷，李渊进入长安不久，就宣布遥尊隋炀帝为太上皇，拥立炀帝孙代王杨侑为帝，改元义宁，是为隋恭帝。恭帝进封李渊为唐王、大丞相、尚书令，以李建成为唐王世子；李世民为京兆尹，改封秦国公；封李元吉为齐国公。
由于李玄霸。李逍遥两人并未在此次作战的行列中，他们没有得到任何封赏，可是窦氏被隋恭帝杨侑加封为一品夫人，唐王妃。一时之间，李氏父子成为长安城真正的控制着，隋恭帝杨侑权力已经被李渊架空，只是李渊手中的一颗棋子，李氏将真正的迈入新的阶段。