长城建设初期，劳动力来源主要是从征服和纳入统治下的各民族。这些被征服的人们被迫参与到漫长而艰苦的工程中，他们在没有现代工具和设备的情况下，仅凭手工完成了大量的土木工程工作。

建筑过程中，还有许多士兵因为疾病、挖掘地基过深或因山崩而死亡。据史料记载，有些士兵甚至在施工过程中遭遇恶劣天气，如严寒、暴雨和风雪，这些自然条件极大增加了他们面临的风险。

在修筑长城期间，还有一部分人因为战争和冲突而丧生。这包括那些试图逃离劳役或反抗统治者的叛军，以及那些为了保护边境安全与敌对势力交战的人员。

除了直接死于建筑工作外，一些人也因饥饿、疲惫以及健康问题而去世。在那个时代，没有有效医疗资源，对于伤病者来说，治疗往往只能依赖于传统医学知识，而这对于救治重伤人员来说显得非常有限。

另外，一些学者认为还有一部分人可能是在长城建设后的一段时间内，因为失去了家园或者生活环境无法适应新环境所导致的心理压力等原因，最终选择自杀。这种情况虽然难以统计，但它同样体现出人们为何会投身这样的巨型工程，并且付出了如此高昂的人命代价。