刘秀不断削弱地方的军事力量，增强中央集权。他在建立新朝不久，就下令废除郡国都尉这一制度，将兵权统一交由守、相。随后，他又取消了各郡国常备的轻车、骑士、材官、楼船士等四种军队，以及每年一度的都试制度。从此，守、相所掌握的军权也被撤销，郡国的军队规模大幅减少，只能用于非战略性任务。大型战争则需要依靠中央政府直接控制下的武力。

中央军主要包括四个部分。在首都设有南北两支部队。南方部队分为两部分，一部分由光禄勋负责管理，下辖七署：五官中郎将、中郎将（左、中）、虎贲中郎将和羽林中郎将以及羽林左监右监，他们负责宫廷保护和侍从工作；另一部分归卫尉管辖，专门负责宫门防护。

北方部队则设置了一名中候，下属五营分别是屯骑营、越骑营、步兵营、三水营和射声营，每个营设有一名校尉，他们共同维护京师安全。

在地方上，有两个主要单位，一是黎阳营，它汇集了幽冀并三州兵马，在今河南省浚县东地区驻扎，其主要职责是作为首都雒阳城北面的防御屏障。一是雍營，在今陕西省凤翔南地区驻扎，以防御三辅（左冯翊、中山靖王墓地；右扶风及京兆尹，即西汉皇陵所在地），同时也是雒阳城西面的一道防线。在安帝时期，为应对鲜卑贵族的威胁，还增加了渔阳（今北京怀柔）区警备力量。此外，还有使匈奴中郎将、度辽将军、护乌桓校尉和护羌校尉这些边疆指挥官统率着直属于中央政府的大量边境部队。