诚如刘燮所言，吕蒙与鲁肃之所以会下山斫营，正是打着顺势撤退的主意。他们放火烧鹿角的时候，后队的人已开始陆续撤离八公山，往西南面转进。在那里，寿春水师早已在等待接应，一见他们到来，立刻高举火把。四野火光漫山遍野，连绵不绝，显得异常壮观。
在此守备的黄权见到这幅景象，初时大为惊诧，还以为吴人将在南面开展主攻，当即旗鼓传令，令麾下将士各守阵地严阵以待，他自己则在望楼上眺望敌情。而随着眼前的火光越聚越多，吴人射出的箭矢不增反减，这让黄权也意识到些许不对。但他终究是谨慎之人，哪怕吴人的火把大规模向南转移，他也不敢贸然出兵阻止。等刘燮的军令传来的时候，吕蒙等吴人将领已完全离开八公山，沿着淮河向南面去了。
此时天色已经发白，汉军们依稀能够看见营外的一片狼藉。除去满地的箭矢之外，四处都是夜战时拼杀而死的两军尸体，很多鲜血都已经渗入了土壤，只能看见些许淡漠的红色。除此之外，就是满地无序的脚印和车辙。极目远望，无论是在高山还是在滩涂，吴人的辎重、旗帜完全不见了踪影。
得知吴人已经遁去，黄权向天子请示，是否先派人占据八公山，再分兵去追击。然而刘燮却没有任何再等的雅兴，他回书说：“吴贼苦战一夜，必定疲惫至极，此刻纵马去追，不须片刻便可赶上，尔尔山营，如何能比数万大军！”
两军主将皆被天子驳斥，自然也不敢抗旨，匆匆在营中点齐兵马。此时汉军能战的尚有九万人，能战者约有八万，剩下的皆是受创养伤的伤兵。刘燮留下六千兵力与伤兵守营，余者便随天子倾营而出，骑士乘马，水师浮舟，两军水陆并进，沿淮河直追南下的吴军。
大军出发，过了龙茅顶后，狭隘的山道逐渐变得开阔，抬头看天色，朝阳仍不见踪影，天空云层密布，空气阴沉凝重。再过一处古冢时，雨雾弥漫，从天上飘洒下来细细的雨珠，把骑手们戎服的袖子都润湿了。当地的向导说，那处古冢是古名将廉颇之墓。
踏上行程后，刘燮的怒气已经消了。听闻此地便是廉颇墓，他一时生出些感慨。这位自河北闻名的古之名将，早年屡破齐燕，又南御强秦，后世将其与白起、王翦、李牧并称，可末了却因年迈不被人重用，最后下葬在异国他乡的八公山下。刘燮对郭淮等人说：“我在宫中，太后常常对我感叹，说韶华难留，青春不再，名将又有何不同呢？你们有机会立功，就千万要珍惜才是。”
等过了廉颇墓，就能看见淝水河口了，在那里已经没有欺负的山丘，大地也因此一望无垠，四野更显阴暗苍茫。前军骑士往前探看，只见南边的天边槊戟旗帜如林，从南边的淝水岸边连绵而来，一直延伸到眼前的淝水河口。连忙拨马回来报告说：“贼据占淝水河口列阵，静待合战。”
刘燮得闻后，不禁摩挲双手，对众将笑道：“想背水一战，吴将里不乏胆气啊！”但他随后一转道：“可惜，此刻我占尽天时，怎会给他绝地反击的机会？传令下去，全军固守！等他们开拔，我军再跟进！”汉军即刻沿河列阵，明明是以骑军为前锋，却全然没有准备进攻的征兆。
见此情形，吴军果然迟疑不定，双方对峙一个时辰，却没有发生任何战事。就在他们紧张之际，却愕然发现，汉军后军中升起了杳杳炊烟，原来汉军已开始埋锅造饭了。迟疑片刻后，吴军又重新开拔，一面监视汉军，一面向南沿淝水开进。
而刘燮对此好整以暇，他令全军从容用膳，而黄权等将也明白了皇帝意图，私下议论说：“我军有骑军在此，只要相隔在数里之间，随时都能尾随其后。这就好比一条狼盯着猎物，猎物担惊受怕，如何敢走得快？陛下的策略就好比这漠北苍狼，要在这淝水之畔，将这群贼子拖死累死！”
吴军对此自然也不是没有察觉，他们打算留下朱然一部殿后，其余各部火速行军。但到底也不过是步卒，刚行出数里，便见侧翼有数千汉骑飞快赶上，直趋吴军的左前方。吕蒙等人不敢冒进，只好又令各部列阵防御，以防备侧翼时刻可能出现的袭击，而后稍过片刻，后方汉军又至。
如此一来，吴军行军一日，也不过走了短短三十里，正好与寿春隔河相望。追兵在后，他们没有再入城的想法，而是继续向合肥南行。刘燮也仍旧按此前布置，令汉军始终紧随其后，又不至于接战。两军就这样一直保持十里左右的距离。
走走停停间，又是两日过去了。往年的淮南，此时正是秋高气爽、风和日丽的佳节，可现在却依旧看不见太阳，只有厚重的云层在头顶凝聚，天气变得愈发阴沉，人和铠甲都蒙上了一层青黄的阴影，这是要下大雨的征兆。对吴人来说，这算是一个好消息了，土地泥泞后，或许后面的汉军会因此放弃追逐。
但至少现在，汉军还没有撤退的意思。从追击的第二日开始，侧翼的汉骑就开始频繁遣使向吴军喊话，内容千篇一律，无非是些劝降的话语，此前他们就已说过很多回了。他们说：“诸位将士你们听着，合肥已经被我军周大都督包围了，换句话说，你等归路已被我扼断，再打下去，无非就是全军覆没。你们何苦为孙权卖命呢？只要放下武器，归顺朝廷，天子就既往不咎，给你们放开一条生路！再负隅顽抗下去，又如何挡得住我王师一击？无非是化作泥粉罢了。”
然而他们话音刚落，吴人便以箭矢作为回答。一阵稀疏的箭雨落下，有一人中箭倒地，其余几人则侧身躲避，虽然再没有人受伤，但座下的战马有些恐惧，以至于踏着的马蹄声有些散乱，只是他们还没有离开，仍在原地徘徊。
吴军本来在八公山占尽优势，此时弃山而退，冒雨而行，心中正窝了一肚子火。汉骑的劝降声在他们听来，不过是虚张声势而已，反而大声辱骂道：“好男儿交战，从来都是干净利落，哪像你等小儿？战又不战，退又不退？有胆子就来分个生死，何必啰啰嗦嗦？！”说罢又继续放箭，直到汉骑都尽数撤走，他们又发出嘲笑的声音来。这几日下来，吴人们已经沉不住气了。
就在他们嘲笑宣泄的时候，几滴水打在吴人脸上，他们抬起头，积蓄了几日的云层终于开始下雨。骤雨从空中直落而下，雨滴打在将士的铠甲和兜鍪上，发出清浊不一的响声。在这些声音的掩盖下，喧闹声一下子就静了下来，雨水划过众人的脸庞，滴落到泥土里，而后顺着层层叠叠的脚印蜿蜒流入淝水。
但在这片簌簌的寂静之中，似乎又隐藏着什么，孕育着什么，让吴人们忍不住侧耳倾听。就像是一个即将成熟的婴儿，正在酝酿出生后的第一声啼哭。猛然间，马蹄声和歌声一起冲破雨幕，响彻在吴人耳边，前来的汉骑唱的是一首壮怀激烈的北府军歌：
“易水过泉州，胡笳边塞京。卧披燕山雪，起照卢龙冰。
置阵千重云，张弦十万骑。走马摇山岳，氛尘白昼昏。
黄鹄志寥廓，曾敌百万兵。暂笑乌桓泪，来日待孟津！”
歌声唱过一遍后，踏雨而来的骑士们连声高呼：“杀！杀！杀！”
在吴人还不能反应的时候，七万汉军已被刘燮分成三路，一路堵截吴军的前军，一路冲击吴军的后阵，一路从侧翼直捣吴军中军。弓弦拉扯声和斫刀的砍击声突兀响彻起来。汉军就如同蓄势已久的狼群，而这几日里，吴人看似愤怒，实际上已完全泄气，即使此前有汉骑前来劝降，他们也并未结阵守御。这导致吴军的阵线极为散乱，几乎瞬间就被冲入的汉骑撕碎了。而他们发起的所谓抵抗，就像血水中打漂的泡沫，渐渐地也终于消失掉了。
唯一幸免于难的只有吴人水师。他们停靠在淝水边，既防御着身后的汉军水师，同时又给河边的同伴做掩护，奈何大雨也遮挡了水师的视线，使他们不敢做随意调动，只能不断向岸上射箭，尽力将逃过来的士卒收拢船上。可朦胧之间，船上的吴人们也能感觉到，岸上的同袍们已是有心无力，溃败难止了。
主持这支水师的乃是吴人老将邓当，他眼看着陆上大军濒临崩溃，面容也变得麻木，心中不知在想些什么。随行的亲信则心中焦急，向他询问说，是否要抛下吕鲁肃两位都督，直接率众逃走。不料邓当却苦笑道：“逃？子明乃我妻弟，我今日弃他而走，世人将如何看我？纵然真逃了，又逃到何处呢？纵使回到江东，也无非是等死罢了。”
说罢，邓当下定决心，即刻遣使向汉军请降。
随着淮南水师倒戈，吴军的最后抵抗也就此消失了。自此，淮南之战以吴军的全面溃败告终。吴人不止丢失了整个淮南，还损失了全国近一半的兵力，江东防御荡然无存。