徽宗一行分乘860余辆牛车，由彼此语言不通的胡人驾车，一路凄凄惶惶，受尽屈辱折磨。靖康二年四月五日，徽宗见到韦贤妃（赵构母）等人乘马先行而去，竟不敢吱声，不觉五脏俱裂，潸（shān）然泪下。四月七日，徽宗妃嫔曹才人如厕时，被金兵乘机奸污。八日，抵达相州时，适逢大雨不断，车皆渗漏，宫女到金兵帐中避雨时又被金兵奸淫，死者甚多，徽宗长吁短叹，却无可奈何。北上途中食物匮乏，又连日风雨大作，宋俘饿殍满地，惨不忍睹。
钦宗出发时，被迫头戴毡笠，身穿青布衣，骑着黑马，由金人随押，一副失魂落魄的样子，不但受尽旅途风霜之苦，还备受金军的侮辱。钦宗时时仰天号泣，辄被呵止。日暮宿营时，金兵“絷（zhì）帝及祁王、太子、内人手足并卧”，以防逃跑。四月十日，自巩县渡黄河，驾车的人对随行的同知枢密院事张叔夜说，将过界河，张叔夜悲愤难抑，仰天大呼，扼吭而死。五月下旬，过太和岭时，钦宗等人都被缚在马背上。七月二十日，徽宗、钦宗在燕京相见，父子抱头痛哭，悲愤不已。徽宗原以为生活可以就此安定，不料九月，金人又将徽宗父子迁往更远的上京，因为南宋势力渐强，金人怕他们夺回徽宗父子，而在同南宋的交涉中失去讨价还价的筹码。这样，徽宗父子不得不再次承受颠沛流离之苦。
建炎二年（1128）八月，徽、钦二帝抵达上京，金人命他们身穿孝服拜祭阿骨打庙，这被称为献俘仪，实际上是以此羞辱北宋君臣。然后，又逼着他们父子到乾元殿拜见金太宗。接着，金太宗封徽宗为昏德公，钦宗为昏德侯。这也是中原皇帝玩过的把戏，隋文帝灭陈，封陈叔宝为长城公；宋太祖灭南唐，封李煜为违命侯。此外，韦贤妃以下300余人入洗衣院，朱皇后不堪受辱，投水而死，男子则被编入兵籍。
不久，金人又将徽、钦二帝赶至荒凉偏僻的边陲小镇——五国城，他们从此就居住于此，直至去世。生活稍稍安定后，徽宗又有了读书写诗的雅兴。徽宗喜好读书，有时竟到废寝忘食的地步。有一次，他读了唐代李泌（bì）的传记后，知道李泌为国尽忠，复兴社稷，后被奸佞嫉恨。徽宗读后感触颇深，并令大臣抄写一份，赐给韦贤妃。然而，徽宗对这一切醒悟得太迟了。
在五国城期间，徽宗还与钦宗在宴会上饮酒赋诗，自然是寄厚望于钦宗。徽宗平生爱好写诗，再加上做囚徒的伤感，也流溢于诗词之中。被流放期间，徽宗写诗较多，但流传下来的仅有十几首。其中，《在北题壁》流传最广：
彻夜西风撼破扉，萧条孤馆一灯微。
家山回首三千里，目断天南无雁飞。
钦宗像孤独、凄凉之感跃然纸上。
徽宗在五国城生活了三年，绍兴五年（1135）病死。钦宗异常悲痛，身心受到沉重打击。绍兴十二年（1142）三月，宋金关系有所缓和，韦贤妃由五国城归宋。她离开时，钦宗挽住她的车轮，请她转告高宗，若能归宋，自己当一太乙宫主足矣。高宗担心其兄回来后威胁自己的帝位，表面上高喊迎回徽、钦二帝，内心却巴不得他们客死异地，因而他终生都在与金人议和，根本无心恢复中原。
绍兴二十六年（1156）六月，57岁的钦宗病死。然而，直到绍兴三十一年（1161）钦宗死讯才传到南宋。高宗表面上痛不欲生，内心却暗自高兴。七月，上谥号“恭文顺德仁孝皇帝”，庙号钦宗。