こうした態勢を整えたうえで、義元は松平元康らに鷲津と丸根の両砦を攻撃させ、攻略を終えると大高城番を元康に交代させた。大高城から兵を撤収させるだけでよいなら、前夜に兵を入れる必要もなければ、翌朝に多大な犠牲を払ってまで敵の付城を排除する必要は無かっただろうから、義元は何としても大高城を橋頭堡として維持したかったのだろう。これは取りも直さず、義元がやってきた目的は大高城の後詰であったことを物語る。
そして、西三河の一大勢力である松平党を利用し、その当主である松平元康に橋頭堡たる大高城の守備を任せたと考えるべきだろう。それならば、今後は駿遠そして東三河の兵を動員しなくて済むからである。その間、 服部左京亮は満ち潮に乗って大高城に舟を乗り入れ、 兵糧を運び入れたあとは引き潮に乗って舟を沖合に浮かべていた。
しかし、そうした処置を終えても信長がやってこないので、義元は三河へ引き上げることを決め、漆山を後にし、善照寺砦・中島砦に対し兵威を示しつつ、鳴海~桶狭間道(旧東海道筋)へ出て、手越川沿いに桶狭間村へ向かった。この道は鎌研という場所で旧東海道筋から向きを東南に変え、長坂道の坂を登り、高根山の峠を超えて桶狭間村へ至る。義元自身は高根山の峠に至ると一旦兵を止めて陣を張り、自らが殿軍(しっぱらい)を努めるべく、後続の駿河勢の収容を図った。いわゆる繰退である。
繰退は、事前に後方に防禦に適当な場所を選定しておき、殿軍を二つに分けて、一方が敵の攻撃を阻止している間にもう片方が事前に選定した陣地まで後退して防御の用意をし、次に残った部隊が敵に一撃を与えてから、用意された後方陣地まで撤退し、その間を先に後退していた部隊が援護する。これを繰り返して撤退被害を最小限に止めようというものだ。
『三河物語』でも、「早々帰らせ給えと六左衛門尉申ければ、急ぎ早めて行くところに、徒の者は早五人三人づつ山へ上がるを見て、我先にと退く（早く所属している西三河勢の原隊へ帰らせて欲しいと六左衛門尉がいう。石川が急いで帰ろうと足を速めているところへ、敵兵が数人ずつ山へ上がってくるのを見ると、後に残っていた駿河兵もみな我先にと撤退した〉」
と書いており、義元は撤退中であったことが判明する。
十九日午前十時頃、信長がやっと善照寺砦に到着したが、それを見て中島砦に先着していた佐々・千秋は、義元の撤退を阻止するために攻撃を仕掛けたが一蹴された。「首巻」には、
「是を見候而義元か戈先には天魔・鬼神も不可忍心地ハよしと悦而緩々として謡をうたハせ陣を被据候〈この様子を観戦していていた義元は、我が軍の切っ先の鋭さの前には天魔鬼神も堪らないだろう、良い気分だと喜んでゆったりと謡をうたい、陣を張って腰を落ち着かせていた〉」
とあり、義元は漆山の麓で行われたこの戦いを高根山から見物していたとみられる。すなわち佐々・千秋は通説の言う義元の「前軍」ではなく、撤退する隊列を逃すまいとして攻撃したのである。これは前夜の軍議で信長が､ ぜひとも国境で一戦を交えたいと述べ たことを踏まえての行動だろう。
義元は撤退中だったから、いつまでも高根山に居たわけではない。 漆山の殿軍を高根山に収容したならば、高根山に殿軍を残して義元自身の本陣をさらに後方へ後退させた。これを繰り返して、敵が後を追うのを諦めて安全だと考えられる場所まで退くのである。
義元が次に選んだ陣地が、牛一が「首巻」で「おけはさま山に人馬の休息在之」という場所、すなわち多くの研究者が桶狭間山に比定する「六四・九メートルの山」である。ここは桶狭間村の東側にあって周辺で最高峰の山であり、高根山とは一キロほどしか離れておらず、その間は鳴海~桶狭間道(長坂道) 一本しかない。また高根山を東に下りた所は『陽明文庫本』によれば深田であったとされるから、それを前にして義元本陣は鉄壁の防御陣地となった。義元はここで全軍の撤退を待った。ここまで彼の作戦はすべて成功していたと言 っていいだろう。
