刘志丹从小熟读四书五经，并且是保安县第一家高等小学的第一批十二个毕业生之一，完小毕业后考入榆林中学。

榆林中学是陕北二十三县唯一的一所中学，校长杜斌丞毕业于北京大学，在西北名重一时(四十年代他是民盟在西北的领导人，被国民党杀害)。学校不但从北京请来了一批名牌大学毕业生，还请了一批德高望重的前清遗老、翰林，以示新旧并重，办学风格颇似蔡元培。图书馆内订有《新青年》、《每周评论》、《新潮》等新文化运动时的著名刊物，所以榆林中学虽地处黄土高原、西北内陆，却并不闭塞，刘志丹正是在这里受到了五四运动的影响，受到了民主和科学的启蒙，特别是从北京来的国文教员魏野畴对他的影响是非常深刻的。正是在魏的指导下榆林中学成立了学生会，刘志丹当选为学生会主席，又组织了社会科学研究会、文学研究会、时事研究会、剧社、画社、篮球队等，还出版油印刊物。刘志丹勤奋好学，思想敏锐，在这里开始接触到《共产党宣言》、《俄国布尔什维克的胜利》、《政治经济学原理》等，并写下了小说《官逼民反》，出于对穷苦百姓的深厚感情，以天下为己任的刘志丹萌生了走向社会、唤起民众的思想。

在榆林中学期间，刘志丹先后加入了共产主义青年团和进步组织“共进社”，并加入了共产党。

1925年五卅运动后，刘志丹和几个同学一切取道山西、北京、上海到广州投考黄埔军校，是黄埔第四期学生。

1926年7月，刘志丹带病参加北伐战争，随东路军出发，在江西吉安前线受命调到北方冯玉祥的国民军工作，先后担任过国民联军驻陕总部组织科长、宁夏的四路军政治处长(该军司令马鸿逵)。

1927年“四·一二”政变后，形势剧变。冯玉祥以“集训”名义，把全军的政治工作人员(共产党员)解除武装，监押在开封宫驿街三道胡同第二中学，一个个审查。出名的32个共产党员则另行看管，刘志丹也是其中之一。十多天后，他们被押上一截铁闷子车驱逐出境。在武胜关脱逃到武汉后，才看见陕西、河南的报纸上都登着冯玉祥捉拿32人的通缉令。