“广州好，革命好摇篮。”广东作为大革命时期工农运动最活跃的地区之一，广州党组织十分注重建立由党直接领导的工农武装。1924年8月，广州地委决定成立工团军和农团军。工团军由工代会所属工会中的300多名青壮年工人组成，共产党员施卜担任团长。农团军由第二届农讲所的200名男学员编成，彭湃担任团长。团中央特派员卜世畸在1924年9月认为：“广州新成立有所谓工团军与农团军，均我们之工作也”“观其进行计划，日后大有发展之希望。”后来，工团军、农团军在平定商团叛乱的战斗中发挥了重要作用，很多成员成为省港罢工工人纠察队与各地农民自卫军的骨干。

　　1924年10月，中共广东区委鉴于粤汉、广九铁路经常被军阀、土匪骚扰，提出建立一支以保护大元帅府安全和铁路安全为基本任务的陆海军大元帅府铁甲车队，得到孙中山的支持。周恩来亲自指导铁甲车队的组建工作。11月底，铁甲车队正式成立，有150人左右。徐成章任队长，周士第任副队长，队内所有人员的调配，都由中共广东区委决定。由于有共产党员作为领导核心，铁甲车队纪律严明，有着很强的战斗力，在开赴广宁支持农民运动、援助省港大罢工和保卫广东革命政权方面发挥了重要作用。

　　由于武装斗争形势发展的需要，1925年11月，在国民革命军第四军内，以铁甲车队为基础，建立了由广东区委直接掌握的第34团，由共产党员叶挺担任团长，下设三个营。该团以共产党员、共青团员为骨干，并建立中共支部。1926年春，这支部队改番号为第四军独立团（即“叶挺独立团”），在后来的北伐战争中立下赫赫战功。

　　中共广东区委利用一切有利时机培训和创立党直接掌握的武装，在反帝、反军阀的斗争中发挥出重要作用。毛泽东在谈到中共早期军事斗争时曾指出：“从1924年参加黄埔军事学校开始，已进到了新的阶段，开始懂得军事的重要了。经过援助国民党的广东战争和北伐战争，党已掌握了一部分军队。”