他的叔叔皇甫规是东汉名将、凉州三明之一，父亲久为边将。皇甫嵩少年时便有文武志介好诗书，熟习弓马。他最初被察举为孝廉、茂才，为郎中，迁任霸陵、临汾县令，因父亲去世而离职。后来，太尉陈蕃、大将军窦武相继聘他为官，都没有应召。

汉灵帝以公车征辟他为侍郎，迁任北地太守。在平定黄巾之乱时，他与朱儁调发五校三河骑兵，与波才部作战，用火把夜袭敌营，以奇计破敌，被封都乡侯。随后，他又与朱儁共同击败了张角和张梁，并最终在苍亭大破黄巾军，将其主力剿灭。

然而，在朝政日非的环境中，皇甫嵩遭到了权宦赵忠和张让的陷害，被贬官改封。当董卓掌权时，他遭受了一次更大的迫害，但得以保全性命。此后，他历任车骑将军、太尉等职，最终因计破王国之功而重新受到重用。但不久之后，由于董卓对他的忌恨，再次失去了位高权重的地位。

尽管如此，在兴平二年（195年），当董卓被诛杀后，皇甫嵩再度出任征西将军，对付宗族余孽。他晚年的生涯虽然波折多端，但他的英勇事迹依然载入史册。在唐德宗时，他位列武成王庙六十四将；宋徽宗时，则位列武庙七十二将之一。这一系列荣誉证明了他在历史上的重要地位和影响力。