阿巴泰以为这些巴牙喇会在噶尔图的煽动下学汉人玩兵谏那一套，手握住了刀柄，随时准备暴起伤人。他是正蓝旗的小旗主，地位仅次于豪格，是这些人的主子，以后金等级森严的阶级划分，这些巴牙喇虽然能打，却无论如何不敢向他真的动手，只要拔刀砍翻一两个，余下的自然就会怂了。
不料，噶尔图“扑通”跪在了地上，余下的牛录章京和巴牙喇也呼啦啦跪了一地，把阿巴泰吓了一跳。
“贝勒爷，请你下令撤兵吧！这里毕竟是明国腹心之地，明军再无能，四面八方调集军队把咱们团团围住，再加上这个什么坚壁清野的招数，就算打不过咱们，也能把咱们活活拖死。咱们大金的勇士不怕死，可是要死也要在战场上死得轰轰烈烈，不能被活活饿死啊！”噶尔图哀求道。
那些牛录章京和巴牙喇也齐声说：“请贝勒爷下令撤兵！”
阿巴泰这才反应过来，谏倒是谏，不过不是兵谏，是苦谏。他们这么异口同声，只怕私底下已经商量过了。包括噶尔图在内，这些牛录章京和巴牙喇是正蓝旗的核心人员，军队的管理、战斗的指挥都是靠他们。如果他们无心恋战，自己再怎么一意孤行，这仗也没法打下去了。
噶尔图见阿巴泰沉默不语，知道他内心动摇了，赶紧趁热打铁，膝行两步，抱住了他的小腿，继续哀求：“贝勒爷，我知道您想给大金除去一个厉害的对手，免得将来再出现第二支浙兵或者白杆兵。可是消灭这支奇怪的明军，不是您一个人的事，也不是正蓝旗一家的事，是整个大金的事！您一个人扛起来，太辛苦了，到时候把自己的本钱都填进去了，变成了孤家寡人，谁又会体谅您的苦心呢？大汗和那些议政的亲王、郡王们不落井下石就不错了。”
最后一句话深深刺痛了阿巴泰。他最大的心病就是政治地位与自己的战功、年纪、资历不匹配，不要说与继承了汗位的皇太极相比，连那些年幼的弟弟甚至侄子都远远超过了自己。
年仅二十四岁的十四弟多尔衮现在已经是和硕睿亲王，正白旗旗主，掌管吏部；二十二岁的十五弟多铎已经是豫亲王，镶白旗旗主，掌管礼部；豪格就更不用说了，虽然辈分上是自己的侄子，却是正蓝旗的旗主，自己的顶头上司，还被封为和硕肃亲王，掌管户部。而自己快五十岁的人了，连个和硕的封号都没有，只在贝勒前加了个“饶余”（满语富饶之意）遮羞，每逢皇太极赐宴，自己只能和比自己儿子年纪还小的小贝勒们坐一起，脸面都丢尽了。
关于围困棱堡，阿巴泰虽然也有些私心，想多捞取些功劳，但是为了给大金解除后患还是最主要的原因。听了噶尔图的话，他心想：就是啊，自己连上殿参与议政的资格都没有，干吗要为了这支明军把自己也搭进去？就算这伙人将来比白杆兵、浙兵更厉害，天塌下来自有皇太极和那些亲王、郡王顶着。就算这么撤走，回去后可能会被责罚，但是只要自己手里还有几个牛录，就算降为贝子，也比没兵的光杆贝勒强。
他迟迟没有吭声，噶尔图却以为他还在犹豫，分析完利弊后，又打起了苦情牌：“贝勒爷，这次入关，咱们已经抢了不少好东西，也虏获了不少丁口，该知足了，英雄就让武英郡王他们去当吧！福晋还在家等着您呢，我阿玛也等着我多带些包衣回去呢！”
阿巴泰长叹一声，松开了握住刀柄的手，无奈地说道：“话都被你说到这份上了，我还有什么话可说？下令撤兵吧！”
众人大喜，齐声道：“贝勒爷英明！”
这支大军除了阿巴泰，所有人都不愿意再和这座奇怪的石堡和里面的明军再耗下去，他们只想带着抢来的财物和丁口顺利返回关内。
命令一下，全军欢欣鼓舞，立刻收拾东西，拔营撤离。虽然所有人都归心似箭，但是多年征战的经验和严明的军纪让一两万人的大军撤退秩序井然，前队变后队、后队变前队，辎重和丁口、牲畜在前，大军在后，有条不紊地沿着来路往青州、济南方向撤退。
在墙头巡视的苏粗腿看到了这一幕，跳了起来，喊道：“鞑子撤了！”
驻守在各段城墙和凸角上的士兵们都欢呼起来：“鞑子撤了！”
欢呼声惊动了林伟业等人，他们赶紧登上城墙，用望远镜查看。只见对面旌旗摇动，烟尘滚滚，大批骑兵护送着辎重车队缓缓远去，看起来是真的撤退了。
林伟业生怕有诈，把马威叫来，问道：“我们之中和鞑子打过交道最多的就是你了，以你的经验，鞑子这是真撤还是虚晃一枪玩假撤？”
马威用望远镜仔细查看一番后，肯定地回答：“大人，鞑子这是真撤。他们把粮草、辎重和丁口都放在前面，军队在后，想玩回马枪都不行了——粮草都不在了，他们难道饿着肚子和咱们拼命？”
林伟业这才彻底放下心来，对马威说：“赶紧派骑兵回登州报信，告诉谢巡抚，鞑子撤了。”
马威应下，从骑兵营点了几个年轻骑术好的，赶回登州报信。
正蓝旗的大军在阿巴泰的率领下，从北直隶直插登州，与独立团发生遭遇战，攻城受阻然后围困，前后历经十三天，终于在第十四天撤兵了。撤退的主要原因是这支以抢劫为目的的军队没有通过围城得到好处，反而损兵折将，上上下下都萌生去意，阿巴泰虽然是统帅，却也无法违背全军的