至元八年（1271年），忽必烈称帝，公布《建国号诏》法令，取《易经》中“大哉乾元”之意，正式建国号大元。一年后，在刘秉忠规划下，元帝国建都于金国中原的大都。
北方政局稳定后，忽必烈决定采用南宋降将刘整建议，先拔襄阳，浮汉水入长江，进取南宋。至元五年（1268年），命阿术、刘整督师，围困隔汉水相望的襄、樊重镇，襄樊军民拒守孤城达六年。至元十年（1272年）初，元军攻下樊城，襄阳守帅吕文焕出降（见襄樊之战）
次年六月，忽必烈命伯颜督诸军，分两路大举南进。左军由合答节度，以刘整为前锋，由淮西出师。伯颜本人与阿术领右军主力，九月，自襄阳出发，沿汉水入长江；同时，命董文炳自淮西正阳南逼安庆，以为呼应。十二月，元水师入长江，克宋江防要塞阳逻堡。宋汉鄂舟师统帅夏贵遁，汉阳、鄂州宋军降。伯颜分兵留阿里海牙经略荆湖，自领水陆大军顺流而东，以吕文焕为前锋。宋沿江诸帅多为吕氏旧部，皆不战而降。至元十二年二月，贾似道督诸路精兵，抵御元军。这时，他仍企图奉币称臣议和，被伯颜拒绝，只好在池州下游丁家洲勉强与元军会战。因宋军内部不和，一触即溃。同年秋，伯颜从建康（江苏南京）、镇江一线分兵三道趋宋都临安（浙江杭州）。至元十三年正月，宋幼帝赵昺上表降元。
之后，南宋大臣文天祥与张世杰、陆秀夫等在东南沿海继续顽抗，拥立益王赵昰为帝。赵昰死后，又拥立卫王赵昺，继续抗战。至元十五年（1278年），文天祥兵败被俘，被囚于大都三年之久，拒绝了元朝的招安，后从容就义。至元十六年（1279年），金国降将张弘范指挥元军在崖山消灭了南宋最后的抵抗势力，陆秀夫背着8岁的幼帝赵昺投海殉国，南宋灭亡。
元朝的统一，结束了自唐末藩镇割据以来中国的南北对峙、五六个民族政权长期并存的和战乱局面，推动了多民族统一国家的巩固和发展。
蒙古灭南宋后，统治阶层出现了以许衡为首的儒臣派与以阿合马为首的理财派官员之争。由于蒙古需要大量财宝赏赐予各封王，加上开支繁重，所以财政日渐紧张。以儒臣派官员认为元朝应该节省经费、减免税收。反之以色目人为主的理财派官员认为，南人藏有大量财物，应没收以解决朝廷的财政问题。于是这个问题在朝中没有停止。
忽必烈信任色目官员阿合马，设立尚书省解决财政问题。而儒臣则以受汉化更深的太子真金为核心形成一派，与阿合马抗衡。结果阿合马被刺杀，而真金也于其后得病而死。忽必烈仍然先后任用汉人卢世荣、人桑哥等理财派官员以之来解决朝廷的财政问题。