第二日一早，伍彦柔听说了宋军后撤的消息，顿时大喜，自以为宋军是被他吓退，于是得意洋洋地安坐在胡床（交椅）上传令全军开拔。向贺江城内进发。然而刚过贺水，就遭到了宋军的伏击，汉军仓促之间，无力应战。被杀得全军覆没，伍彦柔惨遭俘杀，宋军随即乘胜攻克了贺江。
这个消息传回广州后，刘鋹无奈之下，只得再次启用潘崇彻。将其加封为内太师、马步军都统，领兵三万出镇贺江口，防止宋军顺流而下。
这一次，潘崇彻倒没有推辞，可是到任之后只求自保，绝不找宋军交战。而潘美则趁此机会，接连攻克了昭州（今广西平乐西）、桂州（今广西桂林）、连州（今广东连县）等州。
到这个时候，形势已对南汉十分不利了，满朝文武群情震骇，唯独刘鋹仍不恐慌。反过头去安慰手下人，说道：“昭、桂、贺、连本属湖南，北军要夺就让他们夺去好了，你们放心，北军得了这几州后，绝对不会南下了。”
可是刘鋹这番说出没多久后，就接到消息，称潘美攻克上述几州后一刻不停，现已带兵逼近韶州（今广东韶关）。
韶州乃是广州门户，该州若失。广州也难保。到了这个时候，刘鋹才感到事态严重，只得大举国内精兵十余万，任命大将李承渥为都统。北上迎战宋军。
两军于莲花峰（今广东曲江南）遭遇，列阵相对。此时宋军与汉军在人数上相差无几，但汉军中有一支大象部队，每头象上可载士兵十余人，都手持兵器，算是当时世界上最先进的兵种。李承渥为壮声势，便故意将这支象军布在阵前。
宋军都是北方人，从来没见过大象这种陆地最大动物，所以都被象军的声势震住，不敢向前。唯独潘美神态自若，见汉军排出象军后，立即尽调军中强弩射手于阵前，传令射击。眨眼间宋军万箭齐发，铺天盖地般向汉军射去。
汉军阵前的那些大象因吃痛不住，掉头惊跃狂奔，顿时将汉军阵脚冲得大乱。潘美趁机传令全军进击，将汉军杀的大败，斩俘不计其数，汉军都统李承渥拼死力战，仅以身免，狼狈逃回广州。
李承渥败走之后，潘美顺势攻占了韶州。这一来，广州门户洞口，刘鋹被吓得大惊失色，到这时候才想起来派人修筑防御工事，又召集群臣商议御敌之策。可是在李承渥战败之后，南汉已无将可派了，刘鋹一筹莫展。
这时宫内有个叫梁鸾真的老妇人向刘鋹推荐自己的养子郭崇岳，结果刘鋹急病乱投医，真就把郭崇岳封为招讨使，命他率六万大军去守马径（今广东广州北）。
郭崇岳本是个无赖之徒，没有半点军事才能，到任之后，什么也不会做，每天就知道摆好香案，求神拜佛，祈祷宋军能自行撤退。
此时已经到了北宋的开宝四年（971年），潘美率领宋军势如破竹，连续攻克了英（今广东英德）、雄（治浈昌，今广东南雄）二州。
原本拥兵镇守贺江口的潘崇彻，因见大势已去，也主动向宋军投降，潘美便趁势向马径进军。郭崇岳不敢迎战，掉头就跑，回到广州劝刘鋹投降。
刘鋹毫无办法，但又不甘心就此投降，思来想去之后，决定派亲信王珪和左仆射萧漼等人去宋军中求和。
仗打到这样，讲和是宋军根本就不可能接受的，所以潘美见到萧漼等人哈哈大笑，又取出此前赵匡胤下的密旨给他们看，上面写着“敌人能战就跟他战下去，不能战就劝他防守，不能防守就叫他投降，不能投降就叫他死，不能死就叫他逃跑，除此五条，其余一概不予接受。”然后就把萧漼等人押回大梁听后发落。
刘鋹得知是这么个结果，只得试图做垂死挣扎，集合了国内全部败兵、勤王部队、无辜百姓，凑齐了一支达十五万人的乌合之众，命弟弟祯王刘保兴率领，出城相拒。
临近二月，刘保兴率军来到了广州以北一百二十里的栅头，依托高山深谷布下防线。
此时潘美也恰巧率军赶到，趁机传令部队原地休整，同时召开军事会议，与诸将商议道：“敌军编竹为栅，施以火攻，敌必溃乱，再以精兵于两侧夹击，此万全之策也。”于是当晚就派出精兵数千人，每人手持两支火把，沿小路潜行至汉军栅栏之下，随后万炬齐发，投向汉军营内。
说来也巧，这时突然刮起大风，火借风势，越烧越旺，汉军被烧得一踏糊涂，自相践踏，死伤狼藉。紧跟其后，潘美又率宋军主力杀到，汉军一战击溃，几乎全军覆没。
这是南汉的最后一支部队了，此战败后，刘鋹既无险可守，又无兵可派，只好想着逃跑，于是命人找来十余艘大船，满载珍宝，准备出海逃亡。
可是船刚备好，就被宦官乐范伙同一队卫兵盗走。刘鋹无路可逃，又自作聪明地认为宋军出兵，完全是因为垂涎自己的珍宝，所以只要把珍宝先行毁掉，让宋军进城之后一无所获，他们不久之后就会撤军，于是立即下令纵火烧城。一夜之间，就把广州城内的府库宫殿烧得一干二净，无数珍宝化为灰烬。
然而宋军也并没有因为刘鋹纵火而撤军。二月四日，潘美率军抵达广州城下，是时宋军大军云集，旌旗招展、遮天蔽日，令人望而生畏。
刘鋹自知无力抵抗，又无处