1876年，李尧臣出生在习武之风盛行的河北冀县李家庄。他自幼习武，14岁已在武林崭露头角，18岁进入北京会友镖局当镖师。会友镖局当时居北京八大镖局之首，中国近现史上的不少历史事件与之相关。为了弥补镖局史料的空白，新中国成立后，李尧臣作为政协委员把自己在会友镖局的经历详细整理成文，刊登在全国政协的文史资料选辑中。从保皇杠、擒土匪、保护前门外商业区和三次见到西太后的经历中，人们依稀可以领略到青年时代李尧臣的风采。
李尧臣终生倡导武术。他经常说，一人练武，可以强身;全家练武，可以强族;全民练武，可以强国。1921年，会友镖局解散后，李尧臣在天桥水心亭开办武术茶社，这里方圆二十丈，能容纳上千人练武。李尧臣是三皇炮捶、绵掌的重要传人之一，谂熟拳械及软硬功夫、暗器，尤精六合刀、大枪等械。抗日烽火燃起，李尧臣应佟麟阁将军之邀，出任29军武术总教官。为增强士兵的白刃作战本领，李尧臣浓缩传统刀术中的精华，创编了一套实战性很强的无极刀法，交战时既可劈，又可刺。喜峰口战役中，学了无极刀法的大刀队骁勇善战、如有神助，手刃鬼子近百人，追杀日寇60余里，缴获大炮18门。从此使日本兵听到大刀队就胆颤心惊。直到“七七”事变，李尧臣一直保留着他与29军将士们夜练大刀时用过的一盏马灯。跟李尧臣学过武术的人很多，京剧武生泰斗杨小楼演闹天宫的猴拳和梅兰芳演虞姬的剑法，都是李尧臣传授的。
为了捍卫民族尊严，李尧臣两次与日本武师比武的故事曾广为流传。1931年“九一八”事变之后，日本侵略者越来越猖狂。他们公开在北京、天津、南京、上海设下比武擂台，向中国人挑衅。李尧臣与师叔焦朋林愤怒登台。他在南京打擂那天，全城轰动。日本武师连发三个大力拳，都被李尧臣轻巧闪过。看清路数后，李尧臣只一招白鹤亮翅，挑中对手下巴，便使日本人直栽台下，为中国人长了志气。
日本侵略者占据北京后，敌伪将李尧臣抓起来，强逼李尧臣与日本武师武田熙当众比武，李尧臣胜了，可以放人;李尧臣输了，必须磕头拜武田熙为师。比武地点定在东便门蟠桃宫，时间选在农历三月三，正逢庙会。比武那天，日本兵在擂台周围荷枪实弹。武田熙生得高大凶悍，善柔道，还会中国的八卦。交手之际，李尧臣在台上理直气壮地要武田熙当众宣布比武条件，此时台下人如潮涌。第一回合，李尧臣只一个顺手牵羊，就将武田熙摔了个狗吃屎。第二回合，李尧臣运用绵掌控制得武田西抓不住、打不着、推不动、站不稳，待武田熙招数用尽，李尧臣一发内力将武田西扔出一丈多远。武田熙恼羞成怒，从地上爬起来，抽出日本宪兵手中的两柄战刀，又要与李尧臣比试刀法。时间不过三分钟，武田熙已被李尧臣的刀锋裹挟得直喘粗气。李尧臣顺势飞起一脚，踢在武田熙的手腕上，战刀脱手，武田熙疼痛难熬，蜷缩在地上。台下呼声四起。李尧臣趁机扬长而去。
新中国成立后，李尧臣受到党和国家的关怀和重视。毛主席、周总理等中央领导人多次请他到中南海怀仁堂去作武术表演。全国及北京的武术比赛多次请他作裁判长。虽然已是高龄，李尧臣依然事事走在前面：抗美援朝时，为了给前方捐献飞机大炮，他率领子女和弟子四处义演;为了祖国的经济建设，他支持孩子到边疆和内地去工作;1966年，他把39件自己心爱的有文物价值的古代兵器上交给国家。
李尧臣一生做过很多好事，帮助过很多人。国民党统治北平时期，地下共产党员杨世义(化名杨春)被捕，李尧臣得知后，不顾自己的身家性命，主动出头联合29军有地位的老友为杨世义担保，获释后亲自接他出狱。李尧臣为普及武术教过的人成千上万。他的弟子很多，不少人在中国武术史上占有一席之地，其中比较晚的弟子李宗儒曾获得全国武术观摩大会金牌。