潘孝德出生于武术之家。父潘望，谙拳术，后建店定居。其伯父，是位白鹤拳师，拳艺名驰遐迩。潘孝德经其精心教导传授，对白鹤拳造诣殊深。
潘孝德成名较早，青年时期即受聘于江西某地为拳师，教授白鹤拳。3年后返回德化赤水，设馆授徒，精心传授拳艺，堪称德化白鹤拳一代名师。时漳平拳师雷正明到赤水街，欲与拼馆比武，孝德宽以待人，再三礼让，但雷正明恃强不舍，孝德奋勇应战，雷正明败逃。初年，德化赤水一带老虎出没伤人，百姓谈虎变色。时潘孝德常往返于德化县城与赤水之间，有次路过荒凉的厚德葛竹仔(一说为赤水街往格后尖山路上)，浓雾茫茫，猛虎迫身，孝德正当盛年，毫不畏惧，赤手空拳与老虎扑斗，将老虎击坠深渊。
17年(1928)，潘孝德参加在南京举行的“中央武术考试”，与全国3000多位名拳师角逐，名标24名优秀之列。18年(1929)8月，荣任中央武术馆闽南国术团教练，率徒黄振田、陈添恩等人赴东南亚各国巡回表演国术。所到之处，表演时座无虚席，观众见到他们的精深拳艺，无不热烈喝彩，掌声不绝，由是驰名海外。潘孝德热爱中华，热心教育，他们将巡回表演门票收入作为“中华中学教育基金”。他们展献“唐人”国粹，为民族争光，为华人争气，受到当地华侨、华人的热烈欢迎与敬慕。潘孝德并先后受聘为马来亚、新加坡等中华国术馆馆长，先后授徒上千人。华侨领袖陈嘉庚等赠以对联赞誉：
谁号东亚病夫，此耻宜雪；
且看中华国术，我武维扬。
勿忘黄帝儿孙任人鱼肉；
相率中原豪杰为国干城。