永平十六年（公元73年），汉军进攻北匈奴，打通了与西域的交通线，又派班超控制了鄯善（今新疆若羌县一带）、于阗（今新疆和田市、和田县一带）等国，于是在次年重新设立西域都护府，恢复了这一大片疆域。由于北匈奴的势力仍很强大，汉军并没有稳定的优势，章帝建初元年（公元76年）决定将汉军从西域撤回，撤销了西域都护府。但当地疏勒（今新疆喀什市一带）、于阗等国的国王坚决挽留班超，班超也不愿无功而返，就返回疏勒，凭借汉朝的余威和自己的胆略孤军奋战，使西域的大部分仍在汉朝控制之下，依附匈奴的国家越来越少。到和帝永元三年（公元91年），汉军大败北匈奴，北匈奴从此西迁，西域都护府再次恢复，班超出任都护。但由于后继者措施失当，激化了与当地国家的矛盾，至安帝永初元年（公元107年），西域都护府又不得不撤销。汉朝的撤退使西域各国再次受到匈奴的威胁，一些国家重新寻求汉朝的庇护，促使汉朝在延光二年（公元123年）置西域长史府，继续行使对西域的管辖。但乌孙已成为独立政权，葱岭（帕米尔高原）以西地区也脱离了汉朝的统治，汉朝的西北界退到了今天山山脉西段以南。

随着境外林邑国的扩张，东汉疆域的南端也从今越南富安省南界退至承天省南界。