1927年南昌起义前，叶剑英得知汪精卫阴谋加害叶挺、贺龙，立即冒着风险找他们商量对策，决定叶挺和贺龙指挥的部队迅速向南昌开进，使敌人阴谋没有得逞，南昌起义得以实现。起义军撤出南昌后，叶剑英极力劝阻了张发奎对起义军的追击。8月上旬，兼任第四军军官教导团团长，使这支革命武装成为广州起义的主力。他促成警卫团扩编，介绍共产党员梁秉枢当团长，使警卫团也成为广州起义的武装力量。12月11日，他与张太雷、叶挺等领导了广州起义，任工农红军副总指挥。这次起义，和南昌起义、秋收起义相连接，成为第二次国内革命战争与创立中国工农红军的伟大开端。

1928年冬，叶剑英赴苏联共产主义劳动大学特别班学习，1930年下半年回国。1931年初到达中央苏区，历任中央革命军事委员会委员兼总参谋部部长（即总参谋长），红一方面军参谋长，闽赣军区、福建军区司令员等职务，参与指挥第二、三、四次反“围剿”战役。在此期间，还担任中国工农红军学校校长兼政治委员，培养了大批军政干部。

1934年10月，中央红军进行长征。叶剑英任军委第一纵队司令员。部队进入广西山区，他在一次敌机轰炸中负伤，带伤坚持行军、作战。1935年1月，党中央在遵义召开政治局扩大会议。在这个重大历史转折中，叶剑英坚决拥护毛泽东的正确主张。3月，调任三军团参谋长。7月，任红军前敌总指挥部参谋长。8月，党中央政治局在毛儿盖开会，决定部队分左、右两路军过草地北上甘南。率领左路军的张国焘，进行分裂党和红军的活动，拒绝执行党中央的北上方针，并企图危害党中央。叶剑英识破了张国焘的阴谋，立即报告毛泽东。党中央在巴西召开紧急会议，决定迅速率领红一方面军主力北上，终于脱离险境。叶剑英在这个危急关头保护了党中央。毛泽东后来屡次称赞这是叶剑英在关键时刻为党为革命建立的一个大功。9月中旬，叶剑英任由一、三军团改编的中国工农红军陕甘支队参谋长。中央红军到达陕北后，任红一方面军和军委参谋长。