红军改编为八路军出师抗日后，为了保卫中共中央、保卫抗日战略总后方——陕甘宁边区，洛川会议决定，从三个主力师中留下一部分兵力留守。经南京政府任命，肖劲光为八路军后方留守处主任。机关设在延安城北门外云梦山与云梯山之间的小沟里，即今日的延中沟。当时人员不多，依山挖了几孔土窑洞就安营扎寨了。以后随着人员的增多，又挖了许多土窑洞，同时在沟里平地盖了房子。60年代，一些房舍还有保留，后来沟里搞修建、砌窑洞、盖楼房，遗址房屋被扒掉了，仅保留了山两边的土窑洞。有居民住的，还比较完整，无人住的便倒塌得面目全非了。
    1937年10月2日，中央军委决定将留守边区的部队9000余人，按国民革命军序列编制，并划定驻防区域。树木、府谷、靖边、安定(子长)、保安(志丹)、延安、甘泉、富县、洛川、延川、延长等县为东地区留守处，主任陈伯钧、副立任陈先瑞；定边、盐池、环县、庆阳、合水、正宁、旬邑、淳化等县为西地区留守处，主任王宏坤、副主任王维舟。为加强领导，又决定将留守处对外改称留守兵团。将所属部队编为八个警备团，加上385旅旅部及所属770团、富甘独立营、骑兵营和绥德警备区，共约1.5万人。军委任命：肖劲光任兵团司令员兼政委、曹里怀任参谋长、莫文骅任政治部主任。
    在中央军委和毛泽东的直接领导和亲切关怀下，留守兵团逐步建设成一支政治素质好、战斗力强的劲旅。在肃清匪患、抗击日寇、防卫河防、反顽固派摩擦和大生产运动中，功劳卓著，胜利地完成了保卫党中央、保卫边区的历史使命，同时向抗日前线输送了2000余名干部。
    1942年10月，留守兵团并入新成立的陕甘宁晋绥联防军，对外名称仍保留。1945年9月，留守兵团建制撤销。