永嘉五年（311）月，司马越病死在项城，其党羽王衍奉丧 还葬东海。被司马越留在洛阳防察宫省的何伦等人也离城东走，许多达官贵人纷纷追随而行。不久，困守孤城的晋怀帝接受青州都督苟晞的邀请，准备迁都仓垣。一时间，洛阳上下，人心惶惶，出现了人口外流的狂潮。到怀帝准备动身之时，竟然连个卫队也找不到了，朝廷的官员更是十不存一。不久，洛阳为汉军攻陷，怀帝被俘。王衍等人也被石勒抓住杀死。

　　逃出洛阳的司徒傅祗、司空荀藩分别在河阴（今河南洛阳东北）和密县（今河南密县）建置了行台。与此同时，大将军苟晞、大司马王浚也在仓垣和幽州等地建立行台。他们各奉一位西晋皇室成员代表中央政府，布告天下。其中以荀藩奉立的秦王司马邺的行台影响较大，他们传檄四方，要求各地方镇出兵勤王。由于对司马睿的期望最大，遂推举司马睿为盟主。在司马越死后，怀帝曾重新对各方镇进行过任命，司马睿被委任为镇东大将军、兼督扬江湘广交五州诸军事的职务。司马睿对于西晋朝廷的重视不以为意，他的主要精力集中在经营江南方面，根本无心北顾。

　　由洛阳外流的官僚和士族以及中原地区的广大汉族人口，为逃避胡人的杀戮，除一部分以坞堡自守外，一部分北迁辽东、西亡凉州，余者皆纷纷南下。“是时，幽冀青并兖五州及徐州之淮北流民，相率过江淮”（《晋书·食货志》）。人口的南迁，往往是以一个大族为中心的集体迁徙，这些北方来的士庶侨民集团具有强大的势力。为了争取他们的支持，司马睿接受了王导的建议，大量吸收这些人参与政权。他先后委任了很多人担任内外主要官职，并使北方侨人士族在江南政权中明显地居于优势地位。同时，司马睿还在长江南北设置了许多侨置州郡县，安置流亡人口。对于北来侨民，为了照顾他们暂寓江左日后还乡的情绪，司马睿也没有把他们编入土著民户的永久性户籍——黄籍之中，而是专门为他们设置了一种临时户籍——白籍。白籍侨户受到优待，可以长期享受减免租税赋役的待遇。通过这些措施，司马睿比较快地取得了北方侨人士族的支持，并使他们成为自己政权的支柱。但是，司马睿的上述作法也带来了一定的恶果，它造成了江南地区郡县制度和户籍制度的混乱，并为大族侵吞人口提供了便利条件。

　　不过也有一部分南迁的北方大族名士对司马睿势力的孤弱表示失望。汝南大族周曾发牢骚地说：“我是因为中原地区不安定来此避难的，而这里如此单弱，怎么能保证安全呢！”为此，王导做了大量的拢络工作，逐渐稳固了他们的情绪。