柳生宗矩带着军队返回到浮桥区域时，发觉五条浮桥被烧毁了两条，只剩下了中间靠的较近的三条。
这三条浮桥上面还有人在陆续过河，正是那些被留下看守大营的将士。垂头丧气的士兵们老实的按照身后骏河兵的指示，一个个排着队伍按照秩序过桥，他们身上除了一件单衣外，几乎什么都没有携带。
当柳生宗矩赶到时，靠近他这边的河岸上已经坐着4、5百名被释放了的士兵了，这些死里逃生的士兵们撑着最后的勇气过了河后，终于放松了下来，也不知道该做什么，就干脆在浮桥边上的河岸上坐了下来，少数人则干脆躺在了地上。
看着这些横七竖八挡住了自己去路的败兵，柳生宗矩也是火冒三丈，他一边令人驱赶这些败兵让开道路，一边抓了几人过来询问来袭击的敌军数目和去向。
就在他询问这些败军时，原本在对岸督促幕府军俘虏过河的两小队人，看到对方回援之后，便悄悄转身离去了。等待过桥的幕府军俘虏对此一无所知，还是照着这些骏河兵定下的规矩排队过桥。
柳生宗矩从这些被吓坏了的败兵口中，并没有得到多少有用的情报。他只知道了两件事，在太阳升到超过了东面山头一人多高的位置时，大营开始受到骏河兵的进攻。
进攻先是来自于北面，当营中的留守武士将兵力调到大营北面防守时，东面又出现了骏河兵的身影。也就在这个时候，营中缺乏大将坐镇的坏处就出现了，一些武士号召士兵前往东面抵御敌军，但是另一些武士却又在半路上把人拦截了下来，他们觉得已经开战的北面更为重要。
当大营北面防御的士兵听说大营东面已经被攻破之后，便纷纷丢下了武器逃走了，这导致大营北面防线瞬间被突破了。失去了指挥的士兵们，很快就向骏河兵缴械投了降。
之后就是如柳生宗矩所看到的，骏河兵一边清剿着大营内的抵抗势力，一边点火开始烧毁大营。而他们这些投降了的败兵，就被骏河兵驱赶着过了河。
至于那些攻占了大营的骏河兵的去向，大约在四半刻之前对面的大营就开始安静了下来，想来那个时候对方就开始撤退了吧。不过因为烟雾太大，谁也没看清这些骏河兵去了什么地方，不过有人隐约听到了向北面离去的脚步声。
柳生宗矩向着对岸的北面望去，还在猛烈燃烧的大营释放出来的烟雾，将北面的树林遮蔽的严严实实的，什么异常状况都发现不了。
也就在这个时候，这些败兵终于被柳生宗矩带来的军队驱赶到了一边，桥头和浮桥清理出了可以通行的程度。
柳生宗矩看着对岸浓烟滚滚的大营，心里有些预感，此时就算灭了火，大约营中也剩不下什么了。不过他还是硬着头皮发布了命令，让回来的部下过河救火，并派出了两只小队伍前往北面搜索骏河兵的动向。
至于已经完全失去组织且两手空空的败兵，他直接就无视的丢在了一边，任由他们自生自灭去了。
一个刻时之后，大营的火终于渐渐熄灭了，当然并不这些缺乏灭火器具的幕府兵的功劳，而是营中的可燃物已经烧的差不多了。
仅仅是靠近大营边缘的区域，地面就已经被烤的发烫了，穿着草鞋的幕府兵只能从边上挖掘干土铺设出了一条通往营内的道路。
虽然营内大部分区域已经看不到明火，但是空气中依然留存着滚滚的热浪，这让柳生宗矩极为不适应。除此之外，空气中还有一股奇异的肉香，看着边上被清理出来的一具具焦黑尸体，和那些正在呕吐的士兵，柳生宗矩自然就明白了肉香的出处。
柳生宗矩看了一眼这些士兵，便不再理会，他站在原地向着负责清理营地的武士询问道：“所有的粮食都被烧毁了？一点都没有抢救下来？”
“是的大人，都变成焦炭了，除了一些坛子里的腌菜，不过那也没多少数量，也不能当饭吃…”
柳生宗矩还在询问的时候，河对面又突然变得噪杂了起来，很快全副武装的板仓重昌就冲进了被烧成废墟的大营，他看到柳生宗矩询问的第一句话便是：“还剩下多少粮食？”
当板仓重昌垂头丧气的和柳生宗矩走出了大营后，他才又想起了什么的问道：“那些该死的骏河兵跑到什么地方去了？萨垂岭还在我们手上吗？”
柳生宗矩正准备回答，却看到河对岸的队伍又混乱了起来。一名武士急匆匆的跑到了板仓重昌面前，有些惶恐的报告道：“大人，兴津城内的守军追上来了，户田、中村大人派我来请求大人指示。”
板仓重昌下意识的就看向了一边的柳生宗矩，似乎指望着他来拿主意。柳生宗矩虽然不满板仓重昌的软弱，但是现在两人都在一条船上，他也不好坐视不理。
柳生宗矩尽量以寻常的语气向板仓重昌说道：“板仓殿，是不是先下令户田、中村选出500人来断后，先让其他人过河先？”
已经六神无主的板仓重昌立刻点着头向这名来报信的武士重复了一遍，当这名武士想要离去时，柳生宗矩突然又补充了一句，“凡是携带武器的优先过河，没有武器的最后过…”
看着这名武士又冲上浮桥努力的挤过人群去，柳生宗矩也不再顾忌尚未找到的消失的骏河兵，对着板仓重昌说道：“萨垂岭到还在我们手上，如果以四分之三刻时计算，我们抵达萨垂岭下的通道时，大概刚好是黄昏时刻。
萨垂岭到东面最大的宿场蒲原大概要两里多地（日里），全力前进的话，也需要半夜才能抵达。不过到了蒲原，我们就安全了。现在骏河兵紧追着我们不放，如果我们发布全军撤退命令的话，恐怕到时候谁也走不了。”
板仓重昌看了一眼桥上越来越无序的队伍，方才有些不确定的说道：“但马守的意思是，把对面的军队抛下，我们自己先走吗？”
柳生宗矩目光闪烁的说道：“不是抛下他们，是让他们就地坚持抵抗，只要我们同后面的援军汇合，就回来解救他们，总不能大家都抱团等死吧？”
此时渡过兴津川的军队大概还不到两千，滞留对岸的军队倒有二千多人的样子，丢下这么多人员逃跑，让首次担任军队统帅的板仓重昌颇为犹豫不决。
柳生宗矩似乎看出了他的担忧，不由再次对他说道：“这些不过是从各藩征募来的藩兵，并不是幕府的旗本和御家人，哪怕是都损失在这里，也不会损害到幕府的力量。
将军大人最多也就是斥责你几句，不会拿你怎么样的。但是如果我们被骏河兵抓住，就成了骏府羞辱将军的工具，就算忠长殿下不要我们的命，将军大人也会要求我们切腹洗刷耻辱的。”
柳生宗矩的这番话终于打动了板仓重昌，他同意了柳生宗矩的撤退计划。正在兴津川西岸奋力组织抵抗，和土岐頼泰所部杀的难分难解，并没有落于下风的户田、中村所部，突然便收到了被板仓重昌抛弃的命令，而且这位上官还恶毒的拆毁了河上的三座浮桥，这顿时令西岸正在抵抗的幕府军士气大挫。
七百多手无寸铁的沼津、小田原藩兵干脆远离了战场，打出了白旗，表示愿意向骏河兵再次投降。而其他士兵不是丢下武器混到了沼津、小田原藩兵的队伍中去，便是不顾一切的向着上游逃去，准备自己给自己找活路去了。
看到上官自顾自的逃亡，自己指挥的部队又开始崩溃，户田、中村这些幕府军的高级武士顿时也失去了继续作战的意愿，他们派出了代表向对面的土岐頼泰投降。
而这个时候，板仓重昌、柳生宗矩带着的2000人还没有跑出兴津川以东一公里。当负责拆毁浮桥并监视后方状况的小部队追上了大队伍，并告诉了板仓重昌等人对岸发生的事情之后，板仓重昌固然是气的大骂这些投降的武士毫无气节，却也禁不住催促了部队加速行军，生怕骏河兵渡河追上自己。
其实板仓重昌是多虑了，土岐頼泰一口气俘虏了2千余人已经是非常满足了，他带出城的追击部队也就一千五百人而已。在户田、中村等高级武士投降后，他一边亲自安抚着这些身份高贵的俘虏，自己带着大队人马返回了兴津；另一边只是派出了三百人修复浮桥，并渡河追击板仓重昌的余部。
不过被吓混了头的板仓重昌等人已经顾不上去核实身后追击的部队数量了，他们不停的驱赶着士兵们前进，原本四分之三刻时的路程，四分之二刻时不到就跑完了。
但是这样的快速行军速度带来的后果就是，整支队伍完全失去了队形，某些士兵连自己的上司在哪里都看不到了，而且缺乏体力分配的快速行军，使得大多数人看到海边高高耸起的萨垂岭时，已经变得气喘吁吁，在没有什么体力了。
当然更为糟糕的是，除了一小部分人之外，大多数人已经吃完了身上携带的食物，又饥又渴的士兵连补充体力的机会都没有。
也就在这个时刻，埋伏在道路旁树林中的松浦信元所部，首先发起了对于这只混乱部队中后部分的攻击。