冯铁的大胆冒进，无疑为秦军争取到了极为有利先机。岭南之地地广人稀，和横县距离最近的县城也有足足一千里的距离，待临近的南越军听到横城失守的消息后，已经过去了十天，传到番禺赵佗耳中时，已是大半个月后的事情了。
赵佗急忙下令封锁消息，严禁谈论任何与之相关的东西。但已经为时尚晚，秦军南下的消息早已经不胫而走，传的满城沸沸扬扬。数日之后，又报来秦国大军已经大军压境，正在缓缓南下朝着桂林郡的郡治布山县逼近。大将乌室率着仓促集结的南越军反击，却在秦军的反击下溃散大半，大恐之下只好退回布山，快马向番禺的赵佗求援。
赵佗这时已经慌了神，他一面下令攻入闽越的大军退回，一面将手头所有可以征调的大军悉数集结，共得大军三十万，北上汇合乌室之部后，想借着兵力上的绝对优势将这部冒然入侵的秦军彻底击溃。
事实上秦军并没有做好收复南越的准备，此时进入岭南的不过是一部先头部队，人数不过五千，主帅是将军甘肖，韩信仍然在遥远的成都交接巴蜀。
正领军在丛林间开辟道路的甘肖得到冯铁的回报后，立即意识到了这是个千载难逢的机会。在快马报与韩信后，甘肖当机立断，一边下严令加快道路的修建，一面亲自带领五千轻装步卒，徒手翻越丛林疾赴南越。
正是有赖于甘肖的果断，当乌室匆匆带着集结的南越大军赶到横县城下，城中早已经戒备森严，不得而近的南越军只好后撤，却士卒逃亡不断，才不到一日的时间，就已经逃去了二成。甘肖见此趁机发起反击，仅带着三千步卒就猛烈向前追击乌室的五万大军，战局的结果却让人瞠目结舌，南越军在三千秦军的追赶下上演了一场大溃败，或者说是大逃亡。
当秦军的旗帜还没靠近时，南越士兵就丢下武器一哄而散，更有跪在地上高高举着武器，不少士卒甚至兴高采烈的成群结队前去投降秦军。
很难让人想象，这么一支乌合之众就是当年厉兵坚甲，横扫岭南的虎狼之师。百越之民在南征军的猛烈攻势下死伤过半，那时候南征军无愧于“南强”之称，是一支合格的秦国军团。
可如今在故国已灭，家乡断绝的折磨下，南征军早已经丧失了当年的锐气。再加上岭南极度贫乏的军工技术，弓弩刀剑折损了很难修补，导致战斗力不断下滑，打打蛮族小国尚且吃力的很，更别说对抗正规的秦军军团、
其实这些都是疥癣之疾，南征军仍然有着完整的建制，仍然拥有着秦军的号令严明、进退如一，在战场上仍然是一支令人望而生畏的劲旅。只是他们再次面对当年熟悉无比的秦国旗帜时，不论如何也鼓不起一战的勇气。
甘肖则一面加紧收拢南越溃卒，重新将他们打乱临时编为一军，让秦人出身的降卒做首领，令他们留守后方迎接继续南下的秦军。他自己则带领轻兵继续南下，不顾一切的追击南越军，奔袭一千余里。直到在布山城下遇到了南越军的抵抗，这才退兵撤了回来。
甘肖的判断是正确的，如果他再晚退一天，就会被浩浩荡荡前来增援的南越大军吞没。
当赵佗来到布山县时，面对如此败绩，脸色惨白。
这已经不能算是一场战败了，而是溃败、逃亡，种种不利的情况让他很清醒的明白，南越军绝不可能在他的掌控之外单独对抗秦军，哪怕是十倍之兵、百倍之兵也一样无济于事。
靠着十几年积压下来的威望，赵佗将军中的躁动情绪强行压了下去，至少表面上是。
一千多逃跑的士兵被抓了回来，在军营前枭首示众，以震慑三军。大赏三军，饭食供应皆加倍加量，不计成本的供应酒肉。同时在营中执行宵禁，入睡后若有喧哗窜营者，一律格杀。军中实行联保制度，以一什十人为一保，若有一人逃跑，则杀全什，令士兵之间相互监督，昼夜提防。
赵佗从前线传来的战报他判断出这股秦军只是小股部队，并非他一直担心的秦军大举南下。这才稍稍心安，便在军中大肆宣传，说这股秦军只是流亡南地的小股秦军残余部队，并非秦国派出的远征军。秦国在钜鹿之后早已经灭亡了，这些秦军不过是打着秦国旗号用来蛊惑南征军军心。
赵佗靠着恩威并济的手段，这才稳住了南越军心。他从军多年，本就是名身经百战经验丰富的将领，自然知道这部秦军轻兵南下之所以一路大胜，无非是岭南之人多思念故土这才无心为战。若想保住南越局面，就必须在秦军主力南下之前将这股秦军赶出岭南，再次封锁关路，彻底断了秦军南下收复岭南的念头。
所以赵佗才在稳住军心后，立即拔营北上，共计三十二万大军，沿着苍梧道浩浩荡荡北上，想趁秦军立足未稳时以泰山压顶之势将他们赶出南越。
在民夫的日夜抢建之下，此时巴蜀通往岭南的道路已经打通，虽然简陋至极，但也能供应数万秦军南下所用。韩信在成都得到甘肖的回报后，也无暇从关中和汉中调集更多的兵力。巴蜀乃是新收之地，人心未稳，也不可能将驻军全部抽空，能供韩信调遣的也只有本部亲军