贾似道又上疏乞求归乡，赵禥命侍从传旨挽留。大臣、侍从传圣旨挽留他的一天来四五次，有名分的中使一天来十多次，晚上就轮流睡在他的府第外守候。他被任命为太师、平章军国重事，一月三次去经筵入侍讲读，三天一上朝，去中书堂办公。赐给他府第在葛岭，让他在此养老。官吏抱着文书到他的府第让他签署，朝中大小事，全由他的门客廖莹中、堂吏翁应龙裁决，宰执不过是摆设而已。
贾似道虽然深居府中，凡是台谏弹劾、各部用人及京尹漕运等一切事情，不向他请示都不敢施行。李芾、文天祥、陈文龙、陆达、杜渊、张仲微、谢章等，稍违背他的意思就被斥责，严重的就贬去，终身不录用。正人君子，被贾似道排斥殆尽。官吏争相纳贿求得美差，那些想当统帅、监司、郡守的人，给他的贡奉不可胜计。
赵潜等争相献宝玉，陈奕甚至为了升官，拜贾似道的玉工陈振民为哥哥，一时间贪污的风气盛行。咸淳五年，贾似道又以有病为由辞官。赵禥哭着挽留他，不同意他的请求，命令他六日上朝一次，一月去经筵讲读两次。咸淳六年，又允许他入朝不行拜礼。退朝时，赵禥要起来离开御座，目送他出宫门后才坐下来。接着又允许他十日上朝一次。
贾似道每天呆在葛岭，修建楼台亭榭，娶宫女、伎女、尼姑美貌的为妾，日夜享乐。只有从前的赌友每天都来赌博，没人敢偷看他的府第。他一个小妾的哥哥来了，站在府门像是要进的样子，贾似道看见后，就绑着他投入火中。贾似道曾与群妾蹲着斗蟋蟀，与他亲近的客人开玩笑问道：“这是军国重事吗？”
贾似道酷爱宝玩，修建多宝阁，每天去玩赏一次。他听说有个玉带，就想去要，但玉带已做了殉葬品，贾似道就掘开坟取出玉带。别人有宝物，他索求不给，就加罪别人。从此，他有时几个月不上朝，赵禥去景灵宫，他也不跟从。咸淳八年，完成明堂礼，在景灵宫祭祀。
这时天降大雨，贾似道希望赵禥雨停再动身。胡贵妃的父亲胡显祖为带御器械，请皇上不要乘车，乘逍遥辇回宫。皇上问贾似道的意思，胡显祖说道：“平章已允许乘逍遥辇了。”皇上就回宫。贾似道大怒说道：“我为大礼使，陛下的举动不能事先知道，请罢我的职。”当天就出了嘉会门，皇上挽留不下，罢了胡显祖的官，流泪赶出胡贵妃为尼姑，贾似道才回来。
贾似道日益专横，怕人们议论自己，就用权术驾驭众人，他不吝惜官爵，以此笼络当时的名人，又增加太学餐钱，放宽科举考试的恩例，用小利引诱众人。于是言路断绝，贾似道也能肆意作威作福。
再说蒙古人忽必烈，早就想侵宋，只是因为阿里不哥抗命，于是他亲自督军征讨，到了昔木土的地方，双方交战了一场，阿里不哥败逃，蒙古军队追赶了五十里，敌将大多投降。
忽必烈于是返回，到了中统五年，阿里不哥自知穷蹙，不能再逃。原来他和与诸王玉龙答失及谋臣不鲁花等。
忽必烈汗赦棉了阿里不哥，怪罪不鲁花等几个人，说他导王为恶，被处以死刑。赵禥命刘秉忠为太保，参领中书省事。刘秉忠请迁都燕京，忽必烈准如所请，就在燕京缮城池，营宫室，择日迁都，并改中统五年为至元元年。又过了四年，忽必烈才命征南都元帅阿朮，与刘整等经略襄阳。
阿朮驻马在虎头山上，看着汉白河口，不禁欣然说道：“如果在白河口筑起壁垒，断绝宋军粮道，襄阳不难攻取。”于是他督兵兴役，筑城在白河口。当时知襄阳府为吕文焕，听说蒙古兵在白河口筑城，心知不妙，急忙通报其兄宣抚使吕文德。
之前忽必烈采用了刘整的计策，送给吕文德玉带，求他在襄阳城外答应建立榷场。吕文德好利贪婪，请求诸朝廷后，答应他开榷场于樊城外。于是他在鹿门山筑起土墙，对外通互市，在内筑堡壁。蒙古兵也在白鹤山设寨，控制了南北要道，还经常派遣哨襄、樊城之外，大有反客为主的情状。
吕文德弟吕文焕，知道其兄已经堕入敌计，急忙发书谏阻，可已然不及。吕文德还并没着急，等白河口筑城一事，吕文焕很是惶恐。吕文德反而谩骂道：“你不要妄言徼功，就使有了敌城，也不足虑。襄、樊城池坚深，储粟可支十年。叛贼刘整，如果敢来窥伺襄、樊，但叫你等能坚守半年。等到春水一涨，我顺流来援，看刘整如何对待？恐他就要逃走呢！”吕文焕无可奈何，只得缮城兴甲，准备固守。
转瞬间已是来春，刘整又献计给阿朮，造了战船五千艘。蒙古军队招募水军，日夜操练，风雨不懈，练卒达到了七万人。于是蒙古军队从白河口进兵，围攻襄阳。警报连续传达岛临安，但都被贾似道压住，无法上奏上。宁海人叶梦鼎素有好的名声，曾经以参政致仕退休。贾似道也想顺从众望，特别荐引，召他为右丞相。
叶梦鼎刚开始推辞不来，经过贾似道再三劝驾，不得已他才入朝就职。数日之后，因为利州路转运使王价子诉求遗泽，叶梦鼎查例合格，答应给荫。贾似道因为此恩不是从自己手上给出，即罢斥了省部吏不少人，叶梦鼎愤激求去。
贾似道母亲胡氏听说了此亭，召贾似道来责问，带着怒容道：“叶丞相本来安心于家，不想求进。你们强迫起用他为相，又牵制至此，我看你的所为，最终要得到灾祸。我宁可绝食而死，免遭伤害。”贾似道素来畏惧母亲。赵禥于是想留下叶梦鼎，叶梦鼎知不可为，更加要求去，赵禥不肯答应。接着他听说襄阳的警信，被贾似道扣住。于是他长叹了数声，连夜逃跑！
蒙古派遣史天泽等增兵围攻襄阳，史天泽到了襄阳城下，就添筑长期围困。从万山到百丈山，都用
重兵扼守，令南北不得相通。他们还筑岘山、虎头山为一字城，联络诸堡，决定攻取。蒙古军队又分兵围住樊城。京、湖都统制张世杰，本来是蒙古将张柔儿子。
吕文德召来麾下张世杰，见他忠勇过人，累擢至都统制。他即率兵往援樊城，到了赤滩圃，为蒙古兵所发现。两下交战，蒙古兵非常精悍，张世杰孤军不支，只得败退。赵禥到了这个时候，才闻襄、樊告急。他命夏贵为沿江置制副使，进援襄、樊。
夏贵乘着春水刚刚涨起来，就轻兵裹粮，到了襄阳。恐蒙古兵出来掩袭，只是和吕文焕问答了几句话，立即引军退了回来。这时天大霖雨，汉水涨溢，夏贵于是分遣舟师，出没于东岸林谷间。蒙古主帅阿朮望见，对诸将说道：“这是兵志上所说的疑兵不应交战，我料他必来攻新城，且调集舟师，专行等着便了。”
原来蒙古兵围攻襄阳，共筑十城，新城就在其中。等到次日一早，夏贵果然直趋新城。刚到虎尾洲，蒙古水军早已两路杀出，截击夏贵。夏贵不料敌兵突然来到，仓皇失措，眼见不能抵敌，掉舟急奔，被蒙古兵追杀一阵。夏贵所部大多溺入水中，丧失了不少性命。都统制范文虎率舟军援救，正值蒙古兵追击前来。范文虎本是个没用人物，见蒙古兵这般强悍，吓得胆战心惊，忙乘轻船离开。部众也相率惊溃，冤死不少人。
吕文德听说援军连败，这才后悔轻易答应开设榷场，不禁叹道：“我实误国，后悔不及了。”因为发生背疽，于是吕文德称病乞休。赵禥下诏授少师，封卫国公，不久死了。他的女婿就是范文虎，贾似道升他为殿前副都指挥使，令典禁兵。
贾似道一面调两淮制置使李庭芝，转任两湖，督军援救襄、樊。范文虎恐怕李庭芝得到功劳，自己愿意再援襄阳，因此发书贾似道，说道：“我们率数万兵进入襄阳，必定一战可平。但不可接受京阃的节制。如果得托恩相的威名，幸得平敌，大功当尽归恩相。”
贾似道大喜，当即提出范文虎一军，只归枢府节制，不受李庭芝驱策。李庭芝屡次约请范文虎进兵时间，范文虎只是推说还没有奉旨，拒绝出兵。他自己天天击鞠蹴球，朝歌夜宴，任情取乐。吕文焕日守围城，专等援军。哪知都中的权相，外面的庸将，都在华堂锦帐中，寻寻欢作乐，哪里会管什么襄阳不襄阳。
贾似道再次称病，屡次请求辞职归田。赵禥苦口慰留，甚至哭泣不已。刚开始的时候，下诏许他六日一朝，一月两赴经筵。接着又下诏十日一朝，贾似道还是不能遵守。赵禥听说襄阳围城紧急，屡次催促他入朝议事，贾似道还是拖延不来。一日，贾似道与群妾斗蟋蟀，刚刚拍手欢呼的时候，忽报有钦使到来。 贾似道转喜为怒道：“什么钦使不钦使？就令御驾亲临，也须等我斗完蟋蟀再说。”