阿倍仲麻吕，全名阿倍朝臣仲麻吕，亦名朝臣仲满，入唐后改名晁衡。公元698年（日本文武天皇2年）生于奈良附近的一个贵族家庭，父船守，官拜中务大辅，位至正五位上。仲麻吕天资聪敏，自幼勤奋好学，尤其酷爱汉文学。阿倍仲麻吕生活在中国唐朝社会稳定，经济繁荣，文化昌盛，国威远播的时代。邻国名人学士纷纷来唐学习。日本在大化革新后，学习唐朝先进文化的热情更高。他们不顾当时海上交通的艰难险阻和巨大牺牲，不断向唐朝派遣使者和留学生。

公元716年（日本灵龟2年，唐开元4年），日本政府决定派遣以多治比县守为首，由557人组成的第八次遣唐船。十九岁的仲麻吕被举为遣唐留学生。

开元五年（717年）3月，仲麻吕随多治比县守大使一行，从难波（今大阪）起航，向中国进发。同行的著名留学还有比仲麻吕长三岁的吉备真备和学问僧玄昉等人。仲麻吕和吉备真备同乘一船，渴望入唐学习先进文化的共同理想，使这两个青年人立刻结为好友。于九月底到达了他们日夜向往的唐朝都城。到访地一说长安，一说洛阳。

由于开元五年（717年）二月唐玄宗至东都，该批遣唐使于九月底抵达洛阳城，在紫微城应天门受到唐玄宗的接见。储光羲《洛中贻朝校书衡，朝即日本人也》：“万国朝天中，东隅道最长。”天中：指洛阳，唐朝的东都。古代认为北斗星是天之正中，洛阳居北斗星下为地之正中，玄宗前期多居洛阳接见各国的朝拜。如唐·许浑《洛中游眺贻同志》：“康衢一望通，河洛正天中。”由此进一步印证了该批遣唐使来洛阳朝见的史实。

阿倍仲麻吕到洛阳后，唐玄宗李隆基赐他在国子监和中国的王公贵族子弟一起学习。他先在东监学习，后来去了西监。

阿倍仲麻吕慕中国之风不肯离去，于是改姓名为晁衡。在到达大唐后不久，仲麻吕就入了国子监太学，这是教育贵族子弟的高等学府。学生攻读的重点是礼记、周礼、礼仪、诗经、左传等经典。毕业后参加科举，只有少数优胜者才能出仕任官。仲麻吕聪敏勤奋，成绩优异。太学毕业后参加科试，一举考中进士。进士是高等文官仕补，它要求深通天下大政，长于诗文，是当时最受尊重的荣誉,因而也是学士们拼力争夺的目标。仲麻吕作为一个外国人，取得进士的桂冠，说明他的学识确是出类拔萃的。

725年（开元十三年），阿倍仲麻吕担任洛阳司经校书，负责典籍整理，正九品下。