刘秀不断削弱地方的军事力量，增强中央集权。他在建立新朝不久，就下令废除郡国都尉这一制度，将兵权统一交由守、相。随后，他又取消了各郡国的常备部队和每年一度的都试，这样做是为了减少地方势力的独立性，使其无法自行发动战争。从此，守、相也失去了他们的一部分军事权限。

中央军主要由四个单位组成。在首都有两个主要部队——南军和北军。南军分为两部分，一部分由光禄勋负责，包括五官中郎将、左、中、右三位中郎将以及羽林左监和羽林右监，他们负责宫殿的防卫和皇帝的侍从；另一部分归卫尉管辖，负责宫门的防护。

北军设立了一名中候，并划分为五个营：屯骑营、越骑营、步兵营、长水营和射声营，每个营配有一名校尉，他们共同保护京师安全。

在地方上，也有两支部队。一支位于黎阳（今河南省浚县东），合并了幽州、冀州及并州之兵骑，以谒者监为主官，其职责是防御黄河以北地区，为雒阳城提供安全屏障。此外，还有一支部队驻扎于雍（今陕西省凤翔市南），主要任务是保护三辅区域（即左冯翊、中山等地）作为西汉皇陵所在地，以及作为雒阳城西面的防线。

安帝时期，由于鲜卑贵族频繁侵扰，又增加了渔阳（今北京怀柔区）的驻军。此外，还有使匈奴中郎将等边疆指挥官直接受中央指挥。这些边疆部队也是直属于中央机构管理。