赵光义不敢豪赌，他在丧魂落魄之中没有忘记赵家的立朝宗旨：重内轻外。什么千秋功业一代雄主，什么幽云十六州都没有开封金銮殿里的皇位重要。潘美、田重进对付得了韩德威、耶律斜轸，却不一定对付得了耶律休哥。万一西路、中路军再败，三十万军队全军覆没，何以面对天下和祖宗，何以保护皇位根基。
赵光义立即发出命令，命潘美撤兵代州，田重进撤退定州，并布置重兵防守河北，应付契丹反攻。命令逃到高阳的曹彬、米信和崔彦进等即刻入朝。
蔚州战败后退守奉圣州的耶律斜轸很快就得到了耶律休哥在岐沟关大败宋军的消息，萧挞凛主张立即在山西展开反攻，斜轸道：
“再等等。”
“等什么？现在山西宋军一定也得到消息了，正在人心惶惶，军心浮动，此时不反击更待何时？”
斜轸道：“越是这个时候越要头脑冷静，难道宋军不会狗急跳墙，从山西发起猛攻来挽回南京败局吗？咱们在奉圣州要牢牢筑起一道防线，阻止敌人东进。”
又过了几天，朝廷派遣的新的援军在萧排押等大将的率领下陆续来到，四出的探骑也回来报告，宋军开始撤兵了。耶律斜轸一拍帅案，对萧挞凛、萧排押等人大声道：
“好！现在该看咱们的了！”
他命萧排押守住中军大营，亲自率领全部号称十万实则五万余兵马的大军进攻蔚州。潘美正在发兵东进和田重进会合的途中，见蔚州被围，便派麾下贺怀浦军来救。贺军一战而败，溃散而逃，斜轸派兵追至蔚州南边的五台山余脉，两军再战，贺怀浦又败北溃逃。斜轸继续攻打蔚州。
这时宋军占领蔚州刚好一个月，屁股还没有坐稳就慌忙组织防守。斜轸围定几座城门，向城中射帛书招降。这时贺怀浦又和潘美会合挥军来救蔚州，斜轸派监军耶律题子险厄伏击。蔚州城中宋军知道大势已去，见援兵前来，知是来接应他们撤退的，便杀出城门去和援军会合。斜轸命麾下让出一条逃生之路，等到城中守军尽出，便率军从后面掩杀，与题子前后展开夹击。潘美知道现在的任务不是冲锋杀敌而是全军而还，无心恋战，接了蔚州守军便一起向南狂奔。宋军在前面跑，斜轸在后面追，好像赛跑一般，一天一夜狂奔两百多里，一直跑到灵丘、飞狐。这一天是五月十六日，岐沟关大胜之后的第十二天，已经移驾南京的御帐大营终于收到了来自山西的第一份捷报，蔚州首先收复了。
捷报刚刚发出，身在飞狐的耶律斜轸忽接后方急报，说是又有宋军来攻打蔚州，他心里一惊，不知宋军从何而来，生怕蔚州得而复失，连忙回军去救。潘美得此机会赶紧西撤回到大同府。他虽然接到撤退代州的命令，但圣旨命他护送云、应、寰、朔四州百姓迁入宋境！
耶律斜轸在回救途中得知这一次攻打蔚州的仍是中路宋军。原来田重进得了蔚州之后，派一部分兵马驻守，自己亲自率兵乘胜东进。他过了奉圣州（旧名新州），进入可汗州（妫州）境内的桑干河，距离居庸关已经不足五十里，一鼔破关当天便可进入幽州。田重进正在得意之际，忽然闻听曹彬岐沟关大败，顿时惊得魂飞天外。他自忖孤军深入凶多吉少，只好垂头丧气撤兵西还。走到蔚州，却见城头变换大王旗已是契丹的旗帜在飘扬，不禁又惊又疑，一边准备再次攻城一边四出探查情况。这才得知开封下旨撤兵了，潘美在蔚州两战败北，撤退到了大同府。
田重进极其聪明，见圣旨上对他只有撤兵定州的命令，便撇下蔚州，一路收拢驻守各地的部下急速南下，趁着飞狐口还在自己手里，飞快越过关口，逃出了风急浪高的山西战场。这支中路军成了此次北伐唯一全军而退的一部，田重进因此无罪有功，战后还升了官。
耶律斜轸见田重进狼狈撤军，蔚州危机解除，便继续挥军西进。此时局势愈加明朗，宋全线撤退，恢复其它四州只是时间问题。
潘美是一员经验丰富的老将，他的撤退步步为营，耶律斜轸爱惜兵力也不和他硬拼，跟在后面步步紧逼。这样过了一个月，山西四州还在宋军手里。六月十七日，耶律斜轸派出一支兵马打下了面积最小，宋军守兵最弱的寰州，杀死守城的一千多卒吏，恢复了第二个沦陷州城。寰州的位置夹在应州和朔州中间，北边还有大同府。这一天在他在督统行辕中正和萧挞凛商议下一步的用兵方向，忽然接到侦骑探报，说代州的杨业只带了五千兵马出了雁门关开往朔州。就连萧挞凛都不得不佩服这位北枢密的韬略：审时度势，事半功倍。谁想耶律斜轸的运气比想象的还好。大喜道：
“没想到天上掉下个大功劳，这个杨业好好的代州不呆，跑来送死。”
“杨业就是那个潘美的副将？听说他在守代州。”挞凛道。
“是啊，大同府就是他打的，打下大同府后潘美便命他回国守代州去了，可能是怕他抢了下一步攻打南京的功劳吧。这个杨业你可能不熟，他原本是北汉刘继元的大将，还是这位北汉主的义兄呢。算得上是契丹藩邦的盟友，谁知他投降宋朝之后，替姓赵的把守雁门关，对咱们比谁都狠。高粱河大战之后，景宗皇帝打了三仗都失败了，其中雁门关之战，就是和这个杨业打的。那一战杨业杀了景宗