宋太祖在斧声烛影中不明不白地死去，当时天下就传言“太祖之后，当再有天下”。一百余年后的南宋高宗果然绝后，且其近亲后裔大都已被金兵掳去，只得“广选艺祖之后宗子”。最让人百思不得其解的是：高宗居然在身体还相当强健的五十六岁盛年，主动让位给太祖之后的孝宗，这在中国数千年的历史上绝对是罕见的。
靖康之难，金军押解了二帝及宋宫“妻孥三千余人，宗室男妇四千余人，贵戚男妇五千余人，诸色目三千余人，教坊三千余人”等北还，其中就包括赵构康王府的三位有名位的妻妾和五个女儿，其正事邢氏已有身孕，结果在北迁的路上“以坠马损胎”。惟有妾潘氏也已妊娠，因无名位，住在开封自己家中，独得躲过这一劫，后回到赵构身边。赵构即位一个多月之时，即建炎元年(1127)六月，其子赵?降生，潘氏也晋立为贤妃。
建炎三年(1129)，武将苗傅和刘正彦在杭州发动兵变，逼迫高宗逊位，立他的三岁幼子为帝。后韩世忠统兵历时一个月平定了叛乱，处苗、刘以磔刑。然而此事变最严重的后果是：赵构在此次事变中受惊吓而从此阳痿，才二十三岁就丧失了生育能力。不久，三岁太子也受惊吓而离开人世。在潘贤妃妊娠期间，正值金军破开封府前后，她成天提心吊胆，生活艰难，故所生之子先天不足，体弱多病。据说七月间一天，赵?患病时，恰好有一宫女，不慎踢翻了一只鼎，“仆地有声，太子即惊搐不止”。高宗大怒，“命斩宫人于庑下”，然而仅过片刻，赵?就停止了呼吸。两件事发生于同年，如此巧合，莫非天意。
而这时，年近六十的隆?皇太后孟氏，突然“尝感异梦”，梦见太祖赵匡胤说：“只有把皇位传给我的子孙，国势才能有一线转机。”太后自二十四岁时被宋哲宗废黜，长期过着痛苦的幽居生活，不过也由此而没有被金兵北掳，也算不幸中的大幸，此时看到宋廷所遭劫难也时有所思，于是“密为高宗言之，高宗大悟”。
在这样的形势之下，高宗也知道自己恐无希望有子嗣了，不如顺水推舟，便说：“太祖以神武定天下，子孙不得享之，遭时多艰，零落可悯。朕若不法仁宗，为天下计，何以慰在天之灵。”(《宋史?孝宗纪》)于是同意“广选艺祖之后宗子”比自己低一辈者。
选太祖后裔比赵构低一辈者，就是在其“伯”字辈的宗室子弟中访求。据说太祖后裔香火还特别旺盛，其“伯”字辈约有一千六百余人，当然朝廷只从七岁以下儿童中遴选。最后选出儿童十人，再让高宗逐一审看。据说，一次审看两人，某次一瘦一胖两个孩子出场，让高宗仔细端详，突然有一只猫走过来，胖的为童心驱使，踢了猫一脚，高宗以为，胖孩“如此轻狂，怎能担当社稷重任”。子是把胖孩淘汰，而那位瘦的，就是后来的宋孝宗赵伯琮。最后，高宗选了两个孩子：赵伯琮和赵伯玖，时为绍兴二年(1132)。
两个孩子来到妃嫔面前，张婕妤用手一招，赵伯琮便向她的怀里扑去，高宗便命张婕妤养育伯琮，命吴才人养育伯玖。伯琮后赐名赵瑗，伯玖后赐名赵璩。赵瑗天资聪颖，博闻强记，异于常人，颇受赵构钟爱，还亲自教之读书。
绍兴五年(1135)，封赵瑗为保庆军节度使、建国公，入资善堂上学，并诏：“建国公禄比皇子”。然而，高宗却不正式立赵瑗为皇太子，原因是对自己能否恢复生育能力，仍抱有一定的希冀，就是说心里还是不太情愿由这个太祖的后裔入继大统。绍兴八年(1138)，又封赵璩为节度使、吴国公，使两个孩子处于平列的地位。由此，高宗表明自己尚无立储之意，诸大臣提出不同意见，尤其左相赵鼎竭力反对，据理力争，高宗只得收回成命。然而到第二年，依然封赵璩为保大军节度使、崇国公，“赴资善堂听读，禄赐如建国公例”。
此时，右相秦桧进谗言道：“赵鼎欲立皇子，是谓陛下终无子也。宜待亲子，乃立。”此话说到高宗心里。后秦桧独相十八年，是赵瑗成长中最为艰难的岁月，时或与奸相产生嫌隙。直到秦桧病死，总算扫除了立皇储的一大障碍，高宗对自己的生育能力也已不抱希望。这时，赵瑗为普安郡王，赵璩为恩平郡王，两人都已长大成人，且才能不相上下，高宗一时踌躇不决，不知立谁为皇储。