赵匡胤此次南征是否真是为了去吊民伐罪，外人难以臆测，不过刘鋹对国内的残暴统治，却给他这次出兵披上了一件正义的外衣。
北宋开宝三年（970年）九月，赵匡胤正式委任潭州防御使潘美为贺州道行营兵马都部署，命他挂帅出征，率朗州团练使尹崇珂、道州刺史王继勋等大将，会同诸道兵马攻打南汉。
潘美就是《杨家将演义》中潘仁美的原形，也是中国历史上最为著名的奸臣之一，论知名度大致与南宋初年宰相秦桧相当。然而，潘美这个奸臣形象来的非常冤枉，完全是源自于的污蔑。《杨家将演义》成书于明代中期，讲述的是北宋初年名将杨业一家四代人抗辽的故事。
由于该书作者文学功底深厚，语言生动活波，人物形象饱满，情节跌宕起伏，具备了成为畅销书的一切必要条件。所以一经上市，立即杀入国内各大书市排行榜的前列，风靡海内外，其后数百年间，该书一版再版，旺销势头不减，并被改编成多种版本的京剧、话剧等舞台剧及影视作品，已经成为中国历史上为数不多的几部常销书之一。
该书作者在创作的时候，为了满足读者的需要，就把潘美刻画成为一个十恶不赦的奸臣，以此来衬托该书主人公杨业的高大形象。这种写作手法，是用的手段，可是由于这部作品获得了巨大的成功，使得书中主要人物的形象都深入人心，潘美也因此被弄得声名狼藉，一直蒙冤含垢到了今天。
潘美的真实身份是北宋初年著名将领，主要开国功臣之一。他的资历还是非常老的，早在柴荣任后周开封府尹时，潘美就以中涓官的身分事奉柴荣，而此时赵匡胤是开封府的马直军使，所以早在柴荣即位前，潘美就已经与赵匡胤有了来往。
柴荣称帝后。对这些藩邸老人也都给以重用，立即将潘美补为供奉官，又把赵匡胤调入了禁军，这两个人都成为了后周的中层干部。地位相差也不是很多。
但没过多久，高平大战就爆发了，赵匡胤因为在这一战中的表现出色，被柴荣直线提升为殿前军都虞候，成为了禁军中的头面人物。而潘美在这一战中的表现普普通通。只是被升为了西上阁门副使，与赵匡胤拉开了距离。但这两个人的关系并没有因此疏远，反而越走越近。
陈桥兵变时，潘美以客省使的身份随军出征，参与了这场兵变的全过程，并在兵变结束后，被赵匡胤派回京城向后周皇室通报事件经过。
其后不久，赵匡胤听说后周保义节度使袁彦在陕州修理城郭、缮治兵器，有造反的迹象，便派潘美去保义军做监军。力图将陕州形势稳住。潘美受命之后，毫不犹豫，单人独骑进了陕州城，当即说服袁彦回朝受命，又给赵匡胤立一大功。
其后李重进在淮南叛乱，潘美是征讨叛军的副帅，湖南被宋军收复后，因境内局势不稳，赵匡胤又将潘美调到潭州（今湖南长沙）任防御使，对他还是非常倚重。潘美坐镇潭州后。曾多次率军击退了南汉的进犯，又征服了湘西溪峒一带的蛮夷部落，为稳定当地局势做出了突出的贡献。
潭州与南汉辖境相接，所以这次宋军征讨南汉。赵匡胤便命潘美挂帅出征。这里还要说一句，潘美不但是征南汉的主帅，还是后来曹彬征南唐的都监、党进征北汉的副帅，太宗灭北汉的主帅，一生立功无数，荣宠不衰。死后还得到了配享太宗庙的殊荣，至于演义中对他的污蔑，是没有任何根据的。
当年九月，潘美受命出征，率诸道兵马，直扑贺州（今广西贺县东南）。这个消息传到广州后，刘鋹并没有过分恐慌，只是命掌权宦官龚澄枢骑马去贺州慰问巡视，连兵都没有给他派。
南汉自建国以来，就很少打仗，历代帝王又都沉湎酒色，根本就不重视军队建设，士兵长期不训练，连手中的兵器都已生锈，战斗力极其低下，所以龚澄枢心里很清楚，汉军根本就不是宋军的对手，可是领了圣命，又不能不去，只好硬着头皮赶往贺州。
数日后，龚澄枢抵达贺州，当地士兵因为长期得不到朝廷重视，生活极度贫困，好容易赶上要打仗了，满以为龚澄枢会带来大批赏赐犒军，哪知道龚澄枢身上仅有一张圣旨，其余再无一物，只能对士兵们进行了一下精神安慰，没有任何物质奖励。
士兵们见后大失所望，立刻一哄而散，跑得一干二净。龚澄枢没想到当地士兵觉悟这么低，毫无应对之策，不多时又听人报知宋军已到了芳林（今广西贺县北），顿时惊慌失色，急忙乘小船逃回了广州。
早在龚澄枢刚从广州起身赶往贺江时，刘鋹便在朝中召开会议，商量如何抵御宋军，群臣们都推荐老将潘崇彻率军救援，刘鋹也表示认可，随即传旨潘崇彻，命他率军出征。
潘崇彻是南汉的老将，像他这种人几乎都被刘鋹杀绝了，就连他本人也在此前被无故解除了兵权，所以早已心灰意冷，接旨之后就推说眼睛有病，拒不受任。
刘鋹接到使者回报后，勃然大怒，大声说道：“为什么非用潘崇彻呢？难道伍彦柔就不能替我退兵了吗？”于是命大将伍彦柔率水师赴援贺州。
伍彦柔倒是没有推辞，领命之后就率万余水师乘船出西江入贺水（今贺江）北上，于九月二十日晚到达贺州城外，遂传令安营于南乡（今广西贺县南），准备第二日入城。这个时候，潘美已经率军围困了贺江