于冲汉是清末秀才出身。1891年（光绪18年），他任县丞及直隶总督衙门文案。此后他到日本，在东京外国语学校任中文讲师。
1904年（光绪31年）日俄战争后，于冲汉任办理辽阳西部巡警事宜、辽阳交涉局局长。1910年（宣统2年），他任长春道台衙门帮办。翌年，他任奉天交涉司随办、辽阳知州。
1912年1月1日中华成立，于冲汉任外交部特派奉天交涉员、奉天巡按使署外交顾问。此后，他任张作霖所率第27师总文案，并任其外交顾问。1920年（9年），他任奉天官银号总办、东三省巡按使署总参议。同年8月，他任国务院参议。11月他奉张作霖之命作为特使前往日本。此后他任辽阳电灯公司总经理以及鞍山铁矿公司振兴公司总办。
1922年（11年），他任东三省保安总司令部总参议。1925年（14年），他升任东三省特别区行政长官。翌年，他转任中东铁路督办。1927年（16年）他辞职。1928年（17年），他任东三省保安总司令部参议。在张作霖手下，于冲汉在王永江死后和袁金铠被合称为奉天文治派的双璧。张学良继承张作霖大业后，因张学良同旧派疏远，故于冲汉的影响力渐失。