元代军队包括蒙古军、探马赤军、汉军、新附军等。在漠北草原的蒙古人，仍过着兵民合一的游牧生活，战时出军，平时便屯聚牧养。在汉地，元朝军士的来源采取从固定的军户中签发的办法。蒙哥二年壬子（1252年）大规模籍户时，已明确地区分民户和军户。进入内地的大多数蒙古人户及被收编的金、宋降军之家，皆以军户著籍；此外还有一些汉族或其他各族人户陆续被新签为军户，一般都由中户充当。军户种田，可免税粮四顷，称为“赡军地”。
蒙古、探马赤军和汉军（金国降军和蒙古政权、元政府在华北签发的军队）军户，都是通过奥鲁进行管理的。奥鲁的主要职责，一是从军户中起发丁男当军应役，并及时起征亡故军人的“户下弟男”承替军役，弥补军队缺员。二是负责按时为本奥鲁起发的当役军人置备鞍马、器杖、盘费等军需。蒙古、探马赤军的奥鲁，隶属于该奥鲁当役军士所在的万户、千户之下，汉军奥鲁由所在地区的管民官兼领。新附军（南宋降军）未设奥鲁。
元代军事防卫分为两大系统，即戍卫京师（大都）的宿卫系统和镇守全国各地的镇戍系统。宿卫军队由怯薛军和侍卫亲军构成。忽必烈建国后，保留了成吉思汗创立的四怯薛轮番入侍之制，用他们列值禁庭以充护卫侍从，常额在万人以上，由皇帝或亲信大臣直接节制。侍卫亲军用于环卫京畿，到元朝末年先后置三十余卫，卫设都指挥使或率使，品秩与万户相当（正三品），隶属于枢密院。进入内地的色目人军队，由于战斗力较强，相当一部分被编入侍卫亲军。
镇戍诸军的布局，腹里主要由蒙古军和探马赤军戍守。华北、陕西、四川等地的蒙古、探马赤军由各地区的蒙古军都万户府（都元帅府）统领，隶属于枢密院。南方以蒙古军、汉军、新附军相参驻戍，防御重点是临江沿淮地区。隶属行省的镇戍诸军，方面有警时由行枢密院统领；平时日常事务归于行省，但调遣更防等重要军务仍受枢密院节制。全马总数，只有皇帝和枢密院蒙古官员知道，行省兵马也只有为首的蒙古官员知道。