潘美、贺令图又率军前来，耶律斜轸在飞狐又一次将他们击败。潘美兵败飞狐后，奉赵光义都诏旨掩护边民撤退，于是潘美与杨业引兵护送四州吏民南迁。当时宋军运源、应州的守兵都弃城南走，辽军乘胜突入寰州，杀死了守城吏卒千余人
杨业见耶律斜轸已经率军据寰州，兵势正盛，于是想避其锋芒，向潘美等人建议道：“现在辽军的兵力和士气都很旺盛，我们不能和他们正面交战。朝廷只是让我们护送这几个州的百姓，我们只需带领部队从大石路出发，先派人秘密告诉云州、朔州的守将。等到大军离开代州的那天，命令云州的部队先出发。我的部队驻扎在应州，辽军必然来抵抗，就下令让朔州百姓出城，直接进入石碣谷。同时派一千弓箭手埋伏在谷口，命骑兵在中路支援，那么三州的百姓，就能够万无一失了。
监军王侁反驳他的建议，说道：“我们带领来好几万精兵，却如此畏惧怯懦。只需直奔雁门北川，大张旗鼓的前进。”护军刘文裕也赞成王侁的意见。杨业说道：“不行，这样一定会失败。”王侁却挖苦地说道：“将军一直号称‘无敌’，现在看到敌人却犹豫不前，难道你是有别的心思？”杨业说道：“我不是怕死，只是觉得时机对我们不利。白白让士卒死伤，却立不了功。现在您责怪我为何不死，我就在大家前面出发。”
将要出发的时候，杨业哭着对潘美说道：“这次行动，一定对我们不利。我是太原的降将，按理应当处死。皇上没有杀我，恩宠我让我做了将帅，交给我兵权。不是我放过敌人不去攻击，只是想等时机，准备立点军功来报效国家。现在大家责怪我躲避敌人，我应当率先死命杀敌只是恐怕不能再见主帅了！”
潘美听完，哼了一声，装着笑脸道：“君家父子，都久负盛名。如今还没有交战，就先动摇军心，难怪令人不解。你尽管放胆前去，我当前来救应。”杨业并指着陈家谷口说道：“请诸位的军马在这里摆开步兵、弓箭，作为左右翼的支援兵力。等我转战到这里，就用步兵夹击敌人救援我们，否则，都会被敌人所杀。”潘美于是和王侁率领部下的兵马在谷口布阵。
杨业于是率兵从石跌口出发，杨延玉、杨延昭随父同行。途中遇到辽兵，杨业父子当即挥军杀去。耶律斜轸稍微接战一会，就指挥辽军后撤。杨业挥兵追赶，他看见一路上都是平原，估计没有伏兵，于是只管尽力穷追不舍。耶律斜轸边战边走，把杨业诱到中途。
突然辽军放起号炮，四面伏兵蜂蛹而来。耶律斜轸又转身杀了回来，把杨业等人困住垓心。杨业带领二个儿子，舍命冲突，硬是杀出了一条血路。退到狼牙村的时候，兵士已经丧亡过半。辽兵还是不肯舍放弃，一齐追来。杨业只得率领败兵南逃，自己断后。战一程，退一程，好容易到陈家谷口。
杨业眼巴巴地指
望援军杀出，哪知谷中并无一人。忍不住打哭道：“这次我们要死在这里了！”杨延玉和杨延昭也哭泣不停。杨业又说道：“我们父子全部死在这里，也是没有什么益处。我上受国恩，下遭猜忌，除战死以外，更无他法。你两人可以自寻生路，回去禀报天子。须让他知道我是因为别人怀疑我的忠诚，同时被人处卖。如果得蒙皇恩昭雪，我死也瞑目了。”
杨延玉说道：“儿子愿随父亲同死，不愿逃生。”杨业摇头不肯答应。杨延昭对杨延玉说道：“潘帅已经答应来救援，就算不到陈家谷，总可以出兵。兄弟在这里保护父亲，据守谷口。我前去求援，如果能够请兵到来，还可以让我们父子保全。”
他们刚刚商议好，辽兵已经杀到。万弩齐发，箭如雨点。杨延昭奋勇杀出，但是手臂中箭，鲜血淋漓。他也来不及包裹，飞马去求援。杨业与杨延玉率领麾下继续和辽军血战，杨延玉身中数十箭，忍住巨痛，哭着对杨业说道：“孩儿去了，不能保护父亲。”说到“亲”字，口吐狂血，晕绝身亡。
杨业见杨延玉已死，好似万箭穿心，回看手下，已不过数百人。杨业流泪对他们说道：“你们都是有父母妻子之人，和我一起战死，又有什么益处？你们快各自逃生，回报天子！”众各将士流涕说道：“生则一起生，死则一起死，我等怎忍心抛弃将军？”
杨业于是率领部下士兵，继续奋力作战，身上受了十多处伤，士兵都快死光了，他依然亲手杀了好几十上百的敌人。无奈战马负伤，没奈何暂时避入林中。辽将耶律希达望见袍影，用强弩射来，正中马腹，战马倒地上，杨业也摔落马下。
辽国副部署萧挞凛纵马冲来，把杨业捉住。杨业部下全部战死，无一生还。辽兵押着杨业来到胡原的时候，杨业看见道旁有一石碑，上面写着李陵碑三个字。杨业不禁长叹道：“皇上待我很丰厚，我期望用征讨敌人、保卫边境来报效他，反而被奸臣所胁迫，导致军队被打败，有什么脸面活着呢！”又大喊道：“宁为杨业死，不为李陵生。”说完，向碑上撞来过去，头破脑裂，霎时丧命。
杨业死后，萧绰下令将杨业的头颅割下，装入匣中，传送边关各地。辽军士气大振，而宋朝守军则大受打击，未曾对敌便已经失了信心，无法守住已经夺得的土地。
再说潘美派遣杨业出兵候，本来上和王侁等人在后面为援军。他们来到陈家谷口，摆好阵势等待杨业返回。但是自寅至已，却没有得到杨业的回报。于是令人登上高台遥望，也没有看见什么。
盘美未不免心下怀疑，王侁却禀道：“杨业如果败退了，必有急报。这样久还没有消息，大约他已经杀败了敌兵。主帅何不赶紧上前，趁势图功？”潘美踌了好久，说道：“再待一两个时辰，再定行止。”
王侁退出后，对众将
说道：“此时还不去争功，更待何时？我却先去了。”说完，他就率领本部人马，径自出了谷口。众将也都争功心急，跃跃欲动。潘美不能制住他们，只得随行。
于是潘美率军沿河西进，走了二十里，突然看见王侁领兵退回。潘美连忙询问缘由，王侁答道：“杨业已经被打败，辽兵猖獗得很，恐怕不能抵挡，因此急忙回来。”潘美听了这话，也不觉惊慌，索性率兵退了回来。他把陈家谷的约定，早已抛之脑后，一直退到了代州。
杨业因为失去援军而兵败身死，使得边境大震。云、应、朔诸州的将吏，都弃城而逃。眼见三州疆土，又送回给了辽国。杨业战死的消息传到京城，赵光义非常悲痛惋惜，下诏说道：“拿兵器保卫国家，听到鼓声就想起将帅。尽力杀敌，气节豪迈，如果不追封表彰，如何弘扬忠义刚烈！
原云州观察使杨业真如坚硬的金石，他的气节让风云激荡。他本是陇上的雄才，山西的望族。投身军队，誓立战功。正指挥虎狼般的军队，防守边境报效国家。可各将领不遵守约定，不上前救援。杨业带领孤军，陷入沙漠；刚毅忠烈，视死如归。古人之中，也没有比他更崇高的了！
所以特地举行典礼，来表彰他的忠烈。如果他的灵魂有知，应道了解我的深意。追赠为太尉、大同军节度使，赏赐他家人布帛一千匹、粮食一千石。大将军潘美降职三级，监军王侁免冠、流放到金州，刘文裕免官、流放到登州。”又封杨业的长子供奉官杨延朗担任崇仪副使，二子殿直杨延浦、三子杨延训同为供奉官，杨延瑰、杨延贵、杨延彬同时担任殿直。
曹彬、米信等回京，赵光义又下诏尚书省审讯，令翰林学士贾黄中等定案，责怪他们违诏失律，都应获罪。赵光义把曹彬降为右骁卫上将军，米信为右屯卫上将军。田重进全军不败，李继隆所部，也成军而辉，于是两人不再加罪 。任命田重进为马步军都虞侯，李继隆为马军都虞侯，兼知定州。
因为代州关系紧要，杨业已死，必须另外选择合适的人去镇守。刚好张齐贤上书论是，触怒了赵光义，赵光义于是命他出任代州知州，和潘美一同管理军务，加枪防边。张齐贤本来是一个文臣，只是因为得罪了赵光义而被派去守卫边关。幸好他文武双全，后来用计大败敌军，边塞得已安定。
这年冬天，辽主耶律隆绪，又跟着太后萧燕燕带兵入侵，耶律休哥为先锋都统，率军十万，浩浩荡荡，杀奔前来。
瀛洲部署刘廷让听说辽军南侵，于是约集边将李敬源、杨重进等人，集聚了十万宋军，沿海北上，准备乘虚袭击燕地。耶律休哥正防着他这招，随处派人侦查。一旦得到消息，就去扼守要隘。刘廷让等人到了君子馆，天气非常寒冷，士卒手都冻僵了，连弓弩都不能开张。