杜充却深居简出，不做准备，岳飞泣谏道：“胡虏大敌，近在淮南，睥睨长江，包藏不浅。卧薪的形势，没有超过这个时候的。而相公却终日宴居，不理会兵事。万一敌人窥见我军的松懈，乘机举兵攻打，相公既然不亲自作战，能保证到时诸将舍命作战吗？诸将既不用命，金陵一旦失守，相公还能在这里高枕无忧吗？虽然我以孤军效命，对国家也于事无补啊！”但岳飞的苦谏也无济于事。
听到金军渡江的消息后，杜充只派都统制陈淬率岳飞、戚方等将统兵二万奔赴马家渡，又派王?的一万三千人策应。十一月二十日，陈淬率军力战，岳飞率右军和金国汉军万夫长王伯龙部对阵。但王?临阵逃跑，陈淬战死，诸将都逃走了。只有岳飞挺枪跃马，奋力冲突。金兵不敢近身，只好由他驰骤。可各军已经败溃，单靠岳飞一军，终究众寡不敌，没奈何只得麾众杀出，择险立营，为自保计。
杜充接到马家渡的败报后，率领亲兵三千弃城逃到江北的真州，住在真州长芦寺。真州守将向子忞劝杜充由通州、泰州一起去浙江和赵构会合。但是杜充此时已经有了二心，拒绝了向子忞的建议。金兀术即让唐佐写信劝降，并派人告诉杜充道：“如果投降，就把中原封给你，如同张邦昌故事。”
杜充大喜过望，于是暗中回到建康。刚好金兀朮来到城下，杜充立即与守臣陈邦光、户部尚书李棁，开城迎降，拜于道旁。赵构得知杜充投敌居然还“不食者累日”， 说道：“朕待杜充不薄，让他从庶人到官拜宰相，可以称得上厚恩了，因什么缘故反叛？”下诏削去杜充爵位，将其子杜嵩、杜岩、杜崐、女婿韩汝流放广州。
金兀朮进城，所有官属都投降了，只有通判杨邦乂用手指在衣襟上血书“宁作赵氏鬼，不为他邦臣”十个字。金兵牵他到金兀朮面前。进兀朮见他血书，心下倒是敬佩，因此婉言劝他归降，不失官位。他又大骂求死，金兀朮不得已，将他杀害，事后还嘉叹不已。
这时的赵构早已魂飞天外，急忙召来吕颐浩商议道：“怎么办，怎么办？”吕颐浩说道：“万不得已的时候，不如乘船入海。敌人善于骑马，却不习惯坐船。等他们退去，我们再回两浙。彼出我入，彼入我出，也是兵家的奇计。”赵构一听，大声喊好，于是向东逃到明州。
金兀朮乘胜南进，从建康奔广德，越过独松关，见关内外空无一人，于是笑着对部众说道：“南朝只要用数百个羸弱之兵，扼守住此关，我等就不能容易度过了。”金兀术当下直抵临安，守臣康允之弃城而逃，钱塘县令朱跸自尽。金兀朮安心入城，立即派遣阿里蒲卢浑率兵渡浙，去追赶赵构。
赵构听说金兵快要追来，急忙乘船入海，留下参知政事范宗尹，以及御史中丞赵鼎，驻守明州。刚好张俊从越州到来，奉命为明州留守。赵构还亲付手书，有“捍敌成
功，当加王爵”等话。吕颐浩上奏令从官以下，行止听其自便。赵构说道：“士大夫当知道义理，岂可不与朕同行？否则朕所到处，几乎与盗寇相似。”于是郎官以下，大多跟随。还有嫔御吴氏，也穿着戎装随行。
吴氏是开封人，父亲叫吴近。她父亲曾经梦到了一个亭子，匾额上写着侍康二字，亭子两旁种满了芍药，只有一花开放，妍丽可爱，他醒后，却不知是什么征兆。吴女长到十四岁，生得秀外慧中。赵构在康邸的时候，把她选来充当侍女，颇加爱宠。吴近也因此得任武翼郎，才知道侍康的梦兆，确有征验。
等赵构逃奔江、浙，只有吴氏不离左右那。她不仅介穿甲胄而驰，而且知书识字，过目不忘，算是一个才貌双全的淑女。此时随赵构逃去海上，先到定海县，接着到昌国县。途中有白鱼跳入船里，吴氏指着白鱼称贺道：“这是周人白鱼的祥瑞。”赵构大悦，当即封吴氏为和义郡夫人。
不久，将近腊月。赵构接到了越州被攻陷的消息。于是他不敢上岸，直接逃避到了温、台，闷坐在船中过了一个年。到了建炎四年正月，又得到了张俊的捷报，这才敢移船靠岸，暂时停泊在台州境内的章安镇。过了十余日，赵构听说明州又被金兵攻陷，他非常惊慌，连忙令水手驾起船只，直向烟波浩渺的大海里，飞速逃去。
原来金将阿里蒲芦浑带领精骑，一路向南追赶赵构，很快到了越州。宣抚使郭仲荀逃奔温州，知府李邺投降。蒲芦浑留下偏将琶八守城，自己率兵继续追赶。琶八送金军出征，将要回城的时候，忽然有一块大石头飞来，与他的头颅相距只有一尺。他急忙躲闪，侥幸没有被击中。他当下喝令军士，拿住刺客。
那刺客大声喊道：“我是大宋卫士唐琦。恨不能击碎你的脑袋。我今日死了，仍然是赵氏之鬼。”琶八叹息道：“假如人人像他，赵构何致如此？”接着他又问道：“李邺是主帅，还是举城迎降了。你又是什么人，敢对我下此毒手？”唐琦厉声说道：“李邺为臣不忠，应该碎尸万段。”
他说到这里，看见李邺在一旁，怒目说道：“我每月只受了一石米，却不肯悖主。你享国厚恩，却甘心降虏，还算得上是人么吗？”琶八令人把他牵出斩首。唐琦到死，依然不绝口。
阿里蒲芦浑离开越州，渡过了曹娥江，来到明州西门。张俊派遣统制刘保出战，刘保败回城中。张俊再派遣统制杨沂中，以及知州刘洪道，水陆并击，众人殊死力战，杀死了金人数千名。这日正当除夕，杨沂中等人杀退敌兵之后，这才入城会饮。
杨沂中字正甫，代州崞县人。杨沂中出身将门，他的祖父杨宗闵，曾任永兴军路总管，与唐重一同守卫永兴，金军攻陷城池，迎敌战死。他的父亲杨震曾知麟州建宁寨，也在抵御金军时战死。
杨沂中身材
魁梧，性情沉鸷，少时机敏，力气超人。他曾经慨然地对人说道：“大丈夫应当用武功博取富贵，怎能俯首贴耳成为腐儒！”于是学习孙武、吴起兵法，他还擅长骑射。
宣和末年，山东、河北群盗四起，杨沂中应募从军平叛，积功至忠翊郎。靖康元年，金军第二次围攻汴京，杨沂中与张俊、田师中随信德府守将梁扬祖率万兵入援，成为张俊部属。赵构向张俊询问将领，张俊以杨沂中答对。
赵构召见杨沂中，赐给他袍带。当时元帅府正值草创之时，杨沂中昼夜护卫赵构的寝帐，没有片刻离开旁边。赵构也知道他忠诚谨慎，因此非常亲近信任他。巨盗李昱占据了任城，官军久攻不下。杨沂中率领数名骑兵冲入敌阵，击杀数百人。
赵构登高望见，杨沂中甲胄全部变成红色，以为他受了重伤。赵构召他前给自己观看，其上满是敌人的鲜血。赵构加以激励，并赐饮酒，说道：“饮此血酒。”杨沂中请求再去，被赵构阻止。杨沂中说道：“这些盗贼已经破胆，将被擒拿了。”于是大破叛军，收复任城。以功迁任閤门祗候。
建炎二年，杨沂中在嘉兴征讨贼寇徐明，率先登上城墙。主将准备屠城，杨沂中极力劝阻，只杀首领，嘉兴赖以保全。其后，他又被调任荣州刺史。赵构渡过长江后，杨存中率胜捷军随从张俊守卫吴门。苗刘之乱发生之后，赵构被叛军软禁，杨沂中又随张俊前往勤王。
元旦这日，当时西风大作，金兵又来攻城，仍然不能攻下。次日，金军增兵猛扑，张俊、刘洪道亲自上城督守战。他们还派遣兵马偷袭，杀伤了大半金兵。残兵败逃到余姚，派人向金兀朮求援。过了四日，金兀朮大军来到，还是由阿里蒲芦浑督率进攻。
张俊竟然胆怯起来，出城逃去了台州。刘洪道也惊慌而逃，城中无主，当然会被金兵攻入，大肆屠掠。金国乘胜进破昌国县，听说赵构在章安镇，急忙派水师力追。过了三百余里，却没有看到赵构的踪迹。偏偏来了大船数艘，趁着上风，来击金兵。金兵船小力弱，眼见不能取胜，只好回舟逃跑，被那大船中的宋军，痛击了一阵。那船中主帅，却是提领海舟张公裕。张公裕击退金兵，返报赵构。赵构大喜，这才回船停在温州港口。
翰林学士汪藻，因为见诸将无功，上奏请求斩杀败将，以振士气，此外量罪加贬，令他将功赎罪，赵构不从。幸好此时金兀朮已经饱欲，引兵回到临安。金兀术纵火焚掠，将所有金帛财物，装了数百车，取道秀州，经过平江。留守周望逃入太湖，知府汤东野也q逃走了 金兀朮大掠而去，直奔常州、镇江府。
刚好遇到浙西制置使韩世忠，在镇江等着，专门截了金兀朮的回路。金兀朮见江上布满战船，料知不便渡河，于是派遣使者来到岳飞处通问，且约战期。韩世忠批准来书，即于明日决战。