1909年，中国武术名家霍元甲在中国上海创办〈精武体操学校〉，树立〈强国先强民〉宗旨，提倡武术。1910年订立章程改组为〈上海精武体育会〉，确立以传授武术，强身健体，发扬体、智、德三育的宗旨。随後遂成立上海中央精武，并远向南洋各地传播精武主义。
吉隆坡社团领袖仰慕上海中央精武体育会之组织，函索中央精武章程及精武丛书，并得到上海中央精武派人南来协助，乃倡议组织雪兰莪精武会。上海
中央精武於1920年间派遣〈精武五使〉，罗啸璈、黎惠生、叶书田、陈公哲及陈士超南来宣扬精武主义，表演精武拳艺、各地热烈响应。当时热心於召集精武的社会领袖包括有：陆运怀、陆运日、梁顺玲、谢少铭、符云卿、曹尧煇、朱嘉炳、叶隆兴、辛百卉、廖荣枝、何锦堂、余东旋、陈泰阶等。
1921年9月间“雪兰莪精武体育会”获准注册，正式成立，以提倡体、智、德三育，发扬智、仁、勇三达德，完成最高尚之人格为宗旨，在吉隆坡谐街设立会所，首任会长为张郁才，副会长辛百卉，其他重要职员有曹尧煇、梁隆福、陈泰阶、黄强亚等。
雪兰莪精武创立以后，在先贤们的努力推动下，会务迅速发展。除积极发扬武术外，并致力提倡健康文化艺术及体育活动如：中、英文补习班，书画，奕棋、音乐、戏剧、摄影、杠子及各种球类运动。此外尚有服务团之设立。对於社会公益如筹募义款，账济灾民，捐助慈善机关皆尽力以赴，同时也训练武术指导。由於精武体育会不涉及党派政治活动，并且严明的会规，会员严守纪律深得社会之好评与支持，会员人数逐渐增加，声势日渐壮大。
精武以〈唯精唯一，乃武乃文〉，〈立己立人，达己达人〉的精神，於1929年在会所内创办精武学校。其时特设立半日班以容纳受英文教育之华人子弟。
在三十年代，精武拟定了长远计划，以全面发展精武大业，其目标包括：(一)兴建精武学校；(二)建立会所；(三)建运动场；(四)加强会务活动； (五)组织马星精武总会。这些计划和目标後因第二次世界大战，各项计划受阻不能进行，日军南侵沦陷期间会务亦告停顿。光复後，精武即重整旗鼓迅速恢复活动。 以上计划至五十年代初期皆能一一实现。
战後发行彩票，彩票之盈馀使精武积存大笔基金加上多年的积蓄，购置了许多产业。1947年购买精武山上的地段，於是重组了以陈泰阶为首，郑权洲，曹尧煇、侯西才，梁隆福、林文泽、叶宝、汤宝源、苏展鹏、郑玉，何国英等人为委员的建筑委员会，以推行建校建会计划。
1950年本会统筹统办的巴沙律精武学校落成，1951年正月由会长张郁才主持揭幕。当时精武学校除传授学识外，对於道德、体魄、思想与纪律也极为重视。校内有武术及服务团之组织，为精武事业培养基干人才。现改为精武国民型华文小学，在籍学生有1800名。
位於吉隆坡惹兰汉拔的精武会所和体育馆是於1950年初兴建，於1951年8月31日由当年雪兰莪州苏丹希沙慕汀阿南莎殿下主持奠基典礼，1953年建竣。同年12月11日由英国驻东南亚最高专员麦唐纳先生主持开幕典礼，社会贤达济集一堂，参与盛会，成为精武历史上光荣的一页。
矗立於精武山上的宏伟新会所的建成，奠下了精武大业的基础。随後奥林匹克规模的游泳池於1954年竣工，并於1955年4月9日由社会领袖李光前先生主持开幕，同时一连三天举行星、槟、隆三角埠际游泳赛，为雪兰莪华人举办游泳赛之先声。当时精武体育馆及游泳池之设备，称冠於东南亚。
这时期精武事业如日之东升，会员逾万，气象蓬勃，活动更为多姿多彩，举凡武术、游泳、篮球、音乐、歌舞皆极为活跃，成绩斐然，国手迭出，富丽堂皇的会所俯瞰吉隆坡市区，与历史悠久的中华大会堂相映成辉。〈精武山〉乃成为公众观赏的名称，许多盛大的华人集会、世界音乐名家表演、武术大汇演、商业展销会等等亦在精武会所举行。
五十年代末，由於开支增加，精武部份产业如店铺地段逐渐被出售，迨至七十年代，负债殊钜，一些活动也因此而沉寂下来。
1972年12月26日，社团注册官以雪兰莪精武体育会未呈报1970年及71年账目和会务报告为由，援引1966年社团法令，吊销雪兰莪精武体育会的注册，公共信托官跟着接管精武的产业与行政权。后经以秦添达医生、周瑞标等领导人为首的热心会众的多年努力奔走交涉，内政部长终於1977年1月25日批准恢复雪兰莪精武体育会的注册，随后高庭也批准将产业及行政权归还。复会后以丹斯里李延年为首的新理事会的群策群力及发动社会捐款运动努力下，精武会终於清理了高达百万元的庞大银行贷款债务和各项政府税务。
精武於1992年3月26日与一家发展商签约发展位於吉隆坡河清园的地段精武园，分得公寓楼一座13层高，拥有154单位房屋160馀个车位，拥有泳池、壁球场设备。1997年建竣，租金收入是本会主要经济来源。
精武是一个民间武术、体育、文化活动综合体，它兼容各类武术套路而无门户之见，它也不含种族、宗教和政治色彩。
本会目前的活动包括武术、太极、舞龙、舞狮、大旗、合唱团、儿童合唱、声乐、舞蹈、华乐、古筝、绘画、书法、奕棋、摄影、乒乓、举重、建身、游泳学习、游泳竞赛、救生、潜水、水球等项目，并拥有各类教练指导不下30人，本会门户开放，欢迎公众参加精武各项活动。
本会名称，从1992年6月28日起修改为“雪隆精武体育会”。最高决策机构是会员大会，每年6月结束前举行，会员大会每三年选举理事会成员：会长，署理会长各一名，副会长两名，以及22名理事，然后复选各部主任集体掌管精武会的行政、活动与发展。凡本会永久会员或普通会员，年龄满25岁，会龄至少两年者皆有资格参加选举。
雪隆精武体育会的组织共有七个部门：武术部、游艺部、智育部、体育部、游泳部、调查部及设施部。
雪隆精武体育会是世界精武体育会联谊机构发起人之一，与世界各地精武友会密切交往。每两年均派团参与世界精武武术文化交流大会；在国内也是马来西亚精武体育会总会发起人之一，前称为马星精武体育会总会于1953年成立。通过精武总会主催的常年(2003年起改为2年一届)全国精武嘉年华会武术、球类、艺术多项比赛及演出的举办，与全马各地15个精武友会，进行密切的联系和交流。