1906年出生于湖南省益阳县新市渡高村。早在青少年时代，他就追求真理，具有强烈的反抗精神。
1920年，曾三在益阳县立第二高等小学（即箴言书院）读书时，就因学校收取了学生取暖费而不给烤火，带领全班同学，提出不得使学生挨冻，不得体罚学生的要求，震动了全县教育界。
1922年，曾三考入长沙长郡中学，深受熊亨瀚等进步教师的影响，开始接受马列主义，积极参加进步。
1924年11月，社会主义青年团在长郡中学成立支部时，他就加入了中国社会主义青年团。在此期间，他和同班同学宋希濂（后任陆军中将）一起创办《雷声》报，抨击时弊，宣传爱国思想。宋希濂去广州后，他将《雷声》报改名《新雷声》报，并当选为社长。
1925年3月，曾三加入中国党。“五卅惨案”发生后，他被选为“青沪惨案湖南雪耻会”和“长沙青沪惨案雪耻会”执行委员。他组织同学积极参加、、罢市活动，举行，查抄日货，声讨日本帝国主义的暴行。7月，受党组织派遣，曾三和夏曦、熊亨瀚等8人组成代表团，到李宗仁的第七军做军队组织工作，随军北伐。1926年春节，曾三回县城，参加了以高文华为首组织的耍“诉苦灯”，还为活动撰写了“诉苦歌”。
1927年初，曾三任湖南区执委秘书。马日事变发生后，受命潜回益阳隐蔽。
1930年他在武汉找到高文华，与党组织接上了头，并被派往上海中央特科学习无线电通信技术，从事地下无线电工作。经周恩来筹划，他与李强和张沈川等创办无线电训练班。大失败后，在白色恐怖的环境下，曾三辗转到汉口。
1931年被派往江西中央根据地，担任报务员，实现了中央红军与在上海的党中央的第一次无线电联系。从此，在、朱德等的领导下，曾三及其战友开创中国工农红军的无线电通信事业。曾三先后任苏区中央局电台政委、台长，并兼任红军通信学校政委。参加了第二、三、四、五次反“围剿”和红军二万五千里长征。
1936年西安事变后，曾三赴西安，任红军联络处电台台长。
1937年3月回到延安。曾三是及红军早期电台的报务员和领导者，为开创的无线电通信事业，培养机要人员，做出了重要贡献。抗日战争初期，曾三担任与友军联络的工作。
1938年，赴新疆任西路军“新兵营”委员、党委宣传委员、处副主任。
1940年3月到西安做秘密情报工作，同年11月返回延安。在延安，曾三先后任中央敌区工作委员会秘书处处长、第二室副主任兼处主任，中央办公厅机要科协理员、中央秘书处处长，并当选为“七大”代表和中央直属机关党委。
1946年冬，中央机关开始疏散转移。曾三和中央秘书处部分人员带着一大批核心机密档案，东渡黄河到晋绥，于1948年5月到达河北平山西柏坡，历经千辛万苦，胜利的完成了中央档案的安全转移任务，为保存宝贵历史资料立下功勋。在西柏坡，曾三参加了七届二中全会的记录工作。
新中国建立后，曾三历任中央办公厅秘书处处长、秘书局局长、中央办公厅副主任、新中国第一任国家档案局局长、中央档案馆馆长、是第一届全国代表和“八大”代表 。
1962年起先后担任全国地方志小组组长，中国地方志指导小组组长、名誉会长等职，在坚持马列主任、思想为指导，继承民族优秀文化传统，组织编纂全国新的地方志方面做了大量开拓性的工作。
1951年至1961年连续担任中央直属机关党委、处职务，十分重视对干部的培养、教育，关心青年成长，为加强中央机关党的建设和思想工作做出了贡献。
“文化大”中，曾三遭受，身心受到严重摧残，但他坚贞不渝，与、“”一伙进行坚决斗争。党的十一届三中全会后，他的冤案得到彻底平反，恢复了原职务，仍任中央办公厅副主任兼中央档案馆馆长。党的十二大当选为中顾委委员，并以特邀代表的身份出席党的十三大。
1990年11月28日曾三因病医治无效在北京逝世，享年85岁。