德祐二年正月，宋朝败亡已定。在元军进入临安以前，谢太后封赵昰为益王、判福州、福建安抚大使，赵昺为广王、判泉州兼判南外宗正，命人保护二王逃出了临安。赵昰一行躲过元军的层层围堵，到达温州。陆秀夫派人招来了躲藏于此的陈宜中，张世杰也率兵从定海前来会合。温州有座江心寺，南宋初年高宗南逃的时候曾到过这里，其御座此时还保存完好，众人于座下大哭，拥戴益王赵昰为天下兵马都元帅，广王赵昺为副元帅。此后二王就成为宋室遗民心目中仅存的希望。
都元帅府成立后，众人决定前往远离元军威胁的福建。五月一日，赵昰在福州即位，是为端宗，改元景炎。册封杨淑妃为太后，垂帘听政，进封赵昺为卫王。已经两次逃跑的陈宜中被任命为左丞相兼枢密使、都督诸路军马，陈文龙、刘黼为参知政事，张世杰为枢密副使，陆秀夫为签书枢密院事，苏刘义主管殿前司。流亡小朝廷在福州建立起来，并粗具规模。
流亡政权刚建立，外临强敌，内部却开始争权夺利，官员之间相互倾轧，分化了本已非常孱（chán）弱的力量。时杨淑妃的弟弟杨亮节居中掌权，秀王赵与檡以赵氏宗亲的身份对杨亮节的所作所为多所谏止，遭到杨亮节的忌恨。杨亮节遂把赵与檡（zhái）派往浙东。朝臣有人言秀王忠孝两全，应该留下来辅佐朝廷，杨亮节听后更为忧虑，担心自己地位难保，驱逐赵与檡的心意更加坚决。赵与檡后来在处州与元军交战，被俘不屈而死。宰相陈宜中此时又使出自己擅长的党同伐异手段，排斥异已，指使言官将陆秀夫弹劾出朝廷。在小朝廷立足未稳的时刻，陈宜中的这种行为引起众人的普遍不满，张世杰责备陈宜中说：“现在是什么时候？还在动不动就以台谏论人！”陈宜中无奈之下，将陆秀夫召回。
南宋虽然已经投降元朝，但还有许多地区依然掌握在宋室遗民的手中。福建、两广大片地区仍处在流亡小朝廷的控制之下，李庭芝坚守的淮东、淮西地区也进行着拉锯战。但在元军的进攻下，淮东、淮西等地相继失陷，李庭芝战死。景炎元年（1276）十一月，元军逼近福州，此时小朝廷还有正规军17万，民兵30万，淮兵万人，拥有的兵力远比元军要多，完全可以与之一较高下，但由于朝政由陈宜中、张世杰二人主持，陈宜中一直就是一个胆小鬼，张世杰也“惟务远遁”，因此小朝廷在福州立足未稳，就又开始了逃亡。十一月十五日，陈宜中、张世杰护送着端宗赵昰、卫王赵昺及杨太妃乘一艘海船逃跑，刚刚入海，就与元朝水军相遇，由于天气不好，大雾弥漫，才侥幸得以脱身。离开福州之后，小朝廷失去了最后一个根据地，此后只能建立海上行朝，四处流亡。端宗一行辗转泉州、潮州、惠州等地。景炎三年（1278）春，来到雷州附近的洲。逃亡途中，宰相陈宜中借口联络占城，一去不返，第三次充当了可耻的逃兵。端宗由于在逃亡途中受到飓风惊吓，惊恐成疾，四月十五日死于洲，年仅11岁。端宗死后，群龙无首，眼看小朝廷就要分崩离析，陆秀夫慷慨激昂，振作士气：“诸君为何散去？度宗一子还在，他怎么办呢？古人有靠一城一旅复兴的，何况如今还有上万将士，只要老天不绝赵氏，难道不能靠此再造一个国家么？”众臣便又拥立年方7岁的赵昺为帝，由杨太后垂帘听政，改元祥兴。
元军步步为营，小朝廷已陷入三面包围之下。洲地处雷州半岛，而雷州具有重要的战略地位，对战局的发展有着至关重要的作用。在元军的猛攻之下，雷州失守，小朝廷形势危急。张世杰数次派军想夺回雷州，但都没有成功，于是将流亡政权迁至崖山。崖山位于今广东省新会市南，与西面的汤瓶山对峙如门，称为崖门，宽仅里许，形成天然港口，内可藏舟。“每大风南起，水从海外排闼而入，怒涛奔突，浪涌如山”，而“崖山东西对峙，其北水浅”，每天早晨和中午涨潮落潮时分，既可“乘潮而战”，又可“顺潮而出”。崖山的这种地理特点，后来被元军利用，导致宋军大败。
小朝廷到达崖山时，尚有正规军和民兵20万人，而进攻的元军只有数万，仅就兵力而言，双方相差悬殊，且元军不善水战，宋军无疑在这方面占有优势。但张世杰已经对前途不抱希望，放弃了对崖门入海口的控制，把千余艘战船背山面海，用大索连接，四面围起楼栅，结成水寨方阵，把木制战船两侧用衬垫覆盖，以防御元军的火箭和炮弩，赵昺的御船居于方阵之中，打算在此死守。张世杰此举有两大失误，一是放弃了对入海口的控制权，等于把战争的主动权拱手交给了对方；二是把千余战船贯以大索，结成水寨，虽然集中了力量，但却丧失了机动性，相当于把宋军暴露在敌人面前，任人攻打。元将张弘范率水军赶到，控制了崖山之南的入海口，又从北面和南面两个侧翼切断了宋军的所有退路。宋军陷入孤立无援的境地，在10多天的防御战中，将士们只能以干粮充饥，饮海水解渴，饮过海水的士兵呕吐不止，战斗力严重削弱。
一个暴风雨的早晨，元军对宋军发起总攻。元将李恒指挥水军利用早晨退潮、海水南流的时机，渡过平时战舰难以渡过的浅水，从北面对宋军发动了一场突袭，到中午，北面的宋军已被元军击溃。南面的元军又在张弘范的指挥下，利用中午涨潮、海水北流的时机，向宋军发动了另一次进攻。宋军南北受敌，士兵又身心疲惫，无力战斗，全线溃败。战斗从黎明进行到黄昏，宋军多艘战舰被毁。张世杰见水师阵脚大乱，战船为大索联贯，进退不得，下令砍断绳索，率10余战舰护卫杨太后突围。
张世杰率帅船杀到外围，见赵昺的御船过于庞大，被外围的船只阻隔在中间，无法突围，便派小舟前去接应。当时天色已晚，海面上风雨大作，对面不辨人影，陆秀夫惟恐小船为元军假冒，断然拒绝来人将赵昺接走。张世杰无奈，只得率战舰护卫着杨太后杀出崖门。宋军败局已定，陆秀夫知道已没有逃脱的可能，便把自己的妻子儿子赶下大海，然后对赵昺说：“事已至此，陛下当为国捐躯。德祐皇帝受辱已甚，陛下不可再辱！”赵昺身穿龙袍，胸挂玉玺，随陆秀夫跳海自尽。官员、妇女、将士们也纷纷随之跳海。
这是一场少见的残酷战役。结束时，海面上到处漂浮着尸体。文天祥此时正在崖山元营，亲眼目睹了这一惨状，他在诗中写道：“羯来南海上，人死乱如麻。腥浪拍心碎，飙（biāo）风吹鬓华。”据记载，宋朝在这场战役中损失了10万人！
陆秀夫负帝投海图数天之后，陆秀夫尸体浮出海面，被乡人收葬。元军在清理战场的时候，发现一具身穿黄衣的幼童尸体，身上带有金玺，上书“诏书之宝”四字，送交张弘范，经确认是赵昺所带玉玺。张弘范再派人寻找赵昺尸体时，已下落不明。
张世杰带着杨太后冲出重围。听到帝昺的死讯后，杨太后痛哭，投水自尽。张世杰收拾残部，逃亡海上。突遭暴风雨，张世杰仰天大呼：“我为赵氏已经尽心尽力了，一君亡，又立一君，如今又已亡矣。如今遭逢大风，不知天意如何？若老天不要我存复赵氏，就让大风吹翻我的船吧！”话语刚落，狂风大作，船便沉于海中。
崖山之战是元军消灭南宋最后一战，流亡近三年的南宋小朝廷灭亡。张世杰、陆秀夫等人的部署失当，是崖山之战失败的重要原因。虽然如此，他们所表现出来的民族气节，不能不让人叹服。