秦二世三年（公元前207年），赵高与其弟赵成、女婿咸阳令阎乐发动了望夷宫政变，杀掉了秦二世胡亥。但是赵高不敢称帝，于是他就是秦宗室拉出比较德高望重的子婴。但是子婴知道自己只是赵高的一个棋子，但是他不想当傀儡，于是在家中与自己的两个儿子商量，决定发动政变。他们出其不意杀掉了赵高，并当朝廷大臣的面宣布了赵高的罪状，之后清除了赵高的党羽，赵高全家被族灭。

秦王子婴在位上并没有坐多长时间，刘邦率军队入关，秦王子婴向刘邦投降，秦朝灭亡。不久项羽也入关，他杀掉了秦王子婴并火烧咸阳。好在刘邦入咸阳后，萧何直入秦朝的掌管图书的地方和丞相官署中，把大量的书籍等带走了，非则中国的文化也被项羽这个武夫一把火给烧光了。当然肯定也相当部分的图书被项羽给烧了。

至于有人说赵高是宦官，本人不敢苟同。如果说赵高是宦官，请问他的子女是哪儿来的？再说了，司马迁和其他同时期的人并没有人说他是太监啊。如果他是太监的话，他就被称为阉人。而根据秦汉的制度，太监是不能担任象郎中令、中书令或中车府令这样的官职的，这些都是正常人担任官职。尤其是中车府令这样的官职，首要条件是相貌英武，其次是身手矫健，三是车术高超，三者不能或缺，因此这代表着皇帝的威严与安全。

赵高的真实形象其实与我们看到的文学作品中相反的。他首先是正常人，但是出身很不好，司马迁《史记·蒙恬列传》中说“赵高者，诸赵之疏属也，赵高昆弟数人，皆生隐宫，其母被刑僇，世世卑贱。”。隐宫这种身份是很贱的，只比奴隶高点。但是赵高的家庭文化水平不错，因此他得学习律法。秦国讲究世业，也就是说一种职业是由父传子，子传孙的形式传下去。赵高为人强力，因此他成了当时秦国和秦朝一流的书法家和法律专家。秦始皇是喜欢那些律法人才的，因此赵高得到了秦始皇宠信，而且把自己最喜欢的小儿子胡亥交给他教育。

赵高最后不得好死，是他个性使然。另外赵高也是有名的书法家、文字学家和当时的法律学家。