离开潭州前，赵德秀给予他临机相断的权力，这让潘美自身才能，有了足够的空间施展。
潘美先是冷静分析衡州局势，他认为伍彦柔无长远谋划，故先凭宋军洞庭大胜之威，震慑住南汉军的异动。
震慑住南汉军后，潘美一领兵抵达衡阳，便率军对杨师璠部发起进攻。
在打击渐取得成效时，武平国外部形势不稳，又让周行逢无奈下对蛮族酋长采取羁縻政策。
周行逢对众蛮族酋长多授以太保、司空等官职，成功安抚住与溪峒诸蛮的关系。
既为武平国之臣，溪峒诸蛮在得到杨师璠的求援后，当即表示会领兵入境相助。
当潘美率军进入衡州境内时，衡州境内已有四股军事势力。
这四股军事势力，除去宋军外，分别是伍彦柔的两万南汉军，杨师璠的万余武平军，还有张文表的数千衡阳军。
而当得知宋军南下的消息后，杨师璠听从副将汪端的建议，命人去向溪峒蛮獠等异族求援。
在杨师璠的一番操作下，想来不久之后，衡州境内会再多出一股军事势力。
而溪峒诸蛮名为武平之臣，实则出兵相助，大概是见武平政权岌岌可危，想着来衡州境内劫掠一番。
面对着错综复杂的衡州局势，潘美并未失措。
溪峒蛮獠的前身最早可追溯到先秦，作为聚居在湖湘一地的异族，他们在华夏政权强大时就臣服，在华夏政权衰落时就叛乱。
自安史之乱后，溪峒蛮獠等族多次在湖湘一地作乱，成为湖湘之地中一大不稳定因素。
周行逢成为武平军节度使后，面对着溪峒诸蛮的多次犯边侵扰，一开始采取武力予以坚决打击。