吕易忠大怒，心想你个狂生不过是个秀才而已，一味持才放旷，指着鼻子斥责道：“你个狂悖之徒，再要胡言乱语，办你个扰乱军心之罪！”
“哼，军心还要我扰乱么？”钱太冲毫不买账，正要反唇相讥，有人过来寻找他们。
“诸位先生，请速去大营会议！”
出城的时候，钱太冲发觉城门口的诸军已经全部换成了镇标的人马，个个刀枪出鞘十分严整。滚滚
一行人的马匹从城门洞滚滚而过，城门口的官兵在他们出去之后并不关闭城门，城门继续打开着，方便人马进出。
中军营寨里，虽然何如宾的家丁和镇标还保持着相当的稳定，但是这一场火箭雨使得营中的士气已经降低到最低。许多人都在窃窃私语，认为肯定要退兵了。
大帐之中，各营主将已经到了。他们现在已经深切知道髡贼火器的厉害，在这里安营扎寨毫无安全感，而且墙造得再高，壕挖得再深也不抵用，髡贼的火箭能从十多里外射过来，一射就是成百，这仗是没法再打了。
众将毫无战意，主帅也觉得打不下去了。何如宾知道此时继续坚持在澄迈安营与髡贼对峙已经毫无意义，现在军中士气已经瓦解，粮道又不能很快恢复。不如乘着兵力尚未受到毁灭性的打击先行退到琼山就粮，起码还有能向上塞责的余地。不过退兵这样的决定他无权一个人做出，他把目光转向赵汝义。
赵汝义早就想退兵了――这次讨伐髡贼是明摆着必败无疑了，刚才的火攻吓得他差点灵魂出窍。这样不论前线后方的无差别远程攻击他还是第一次遇到。他的一个仆人在火箭攻击中被一枚火箭直接命中当场死去。他更希望早点脱离这样的绝地，眼见诸将都持退兵之意。也就顺水推舟的同意了。
接下来又讨论各营退却的顺序和联络的旗号、方式，何如宾知道此次退兵回去自己恐怕很难向总督向朝廷交待了，不由得面色晦暗，任由大家商议，自己不置一词。赵汝义见他面色不好，生怕他一时想不开疯了或者自杀――主将一死，这二万人马顿时就要溃散。所以他大声对众将道：
“我兵伐贼连胜，现石山小挫，大军且回琼山就食再做计较！”
当下他又说了许多鼓舞诸将士气的话，这才把大帐中的气氛稍稍挽回一些。决定撤退的时间定在明天一早，以免夜间突围各部看不清楚造成混乱和迷路。
规定由陈人杰带着琼崖参将的本部人马和海南本地的操军、乡勇走在最前面负责开路。五个参将中以汤允文的人马最为完整，队伍中又大多是本地人，地形熟悉。操军和乡勇家乡营盘多在琼山、文昌一带，让他们进攻临高斗志不高，但是夺路而还的战斗意志应该还是有得。
各部紧随其后且战且走。殿后的人马由镇标营中军守备，游击孙昌祚率领。何如宾拨给他二千人马，其中有何如宾的骑马家丁一百人和宋铭的一百骑。孙昌祚知道这二百骑是镇台大人给他保命用得。当下十分感激，表示自己将会率领人马死战殿后。
殿军中还有李陌刀的火器营。这个失掉了大炮的火器营在大家看来已经毫无作用，于是李陌刀就只能带着火器营据守营寨，最后一个退出大营撤退了。何如宾给他的指示是若是道路被截断撤不下去，就直接退入澄迈县城中协守。
诸将辞出后，何如宾关照赵汝义：“大人且在本镇老营休息，待天亮之后再随老营撤退。”
赵汝义却道：“学生还有些行李在城中没有收拾……”
“本镇即遣人去办理。”
“不，不，”赵汝义连忙道，“其中有许多文稿书籍，学生不去，几个下仆无知，恐怕理不清楚。”
“好，请老先生速去速回。”
赵汝义带着奴仆飞马赶回城内的宋宅，幕僚们也纷纷跟着回来了。这群人一回来，宋宅并幕僚们寄居的城中各家大户院内就乱成了一团。赵汝义这次监军，原是准备好好的沿路搜刮一番的，等到了临高，又能取得许多髡贼的玩器宝物。所以带了许多空箱和仆役。虽然这次兵败得太快，欲壑未填，但是军中将校的孝敬、沿途士绅的奉献，这次进得澄迈之后他又得了澄迈县令和县内士绅们的许多礼物。宋宗会因为要求他庇护，也送他白银五十两，本朝名家字画一幅。
他一回到宋宅，即命仆人们立刻就财货全部装箱捆扎，又着人即刻去征发民夫车辆，准备逃走。
幕僚们虽然不是官，但是沿路也得到了多少不等的馈赠，也要一一装箱带走，他们不比赵汝义，带着七八十个仆役――显赫如吕易忠的，带着三四十个仆人，一般的如钱太冲这样的穷秀才，只有一个小僮仆而已。于是有的人只拣细软装箱，有的却连馈送的几匹当地的棉布都要带走。一时间乱七八糟，人声鼎沸。各家的佣人乘着收拾行李之际，干脆在宋宅的客院内随意搬运财物，连桌上的摆设、墙上的字画，乃至床上的帐幔一应全部包裹而走。宋家的佣人们一时都呼“这是遭了官贼了！”宋会宗见场面如此混乱，一面吩咐家人们将家眷老幼送到内院，一面让全家丁壮们准备好棍棒刀枪，