公元2世纪后期，由于西北羌人的不断反抗，汉朝对西北地区的控制越来越弱，不少政区不得不撤销或者撤到内地。北方的鲜卑逐渐南侵，移居入塞的南匈奴人也在扩大活动的范围。到了灵帝光和七年（公元184年）黄巾起义爆发，东汉再也无暇顾及边疆，朔方、上郡、北地、定襄、云中、五原六郡完全放弃，上谷、代、雁门、西河、安定等郡也都放弃了一部分，大致退到了今桑干河、吕梁山、黄河和六盘山一线。这一线以北被称为“羌胡”所有，实际上是由匈奴、鲜卑、羌等多种民族聚居或杂居，留在那里的汉人也有一定的数量，这种状况一直延续到西晋末年。

在整个十六国和北朝期间，尽管北方经常处于战乱之中，疆域很不稳定，但由于原来居住在边疆的非汉族先后占有黄河流域的全部或一部分，它们把中原王朝的疆域和自己的根据地连成一片，有的还并吞了其他北方民族，因此中原政权管辖的范围比东汉后期、三国和西晋时反而有所扩大。例如前燕并吞了鲜卑的宇文部，北部边境增加了今老哈河流域，基本恢复了西汉的旧地。在北魏统一了北方以后，到523年六镇起义以前，它的北界不仅大体与秦汉时相同，阴山一带还达到了更北，控制了阴山北麓。

东汉后期对西域的控制一度中止，此后西域长史府也时置时废。但由于中原与西域长期的交往，中原人民在西域的长期经营，西域与中原的联系并没有断绝。不仅如此，西北的地方政权还第一次在西域设置了正式行政区。 327年，张氏前凉设置高昌郡，辖有今新疆吐鲁番盆地东部哈拉和卓以东一带。此后历经前秦、后凉、西凉，直到439年北凉为北魏所灭。西域的第一个郡建在吐鲁番盆地，这绝不是偶然的。这里是通向西域的孔道，一直是中原王朝经营的