隋大業(yè)三年（607年）徙治方山鎮(zhèn)，改名方山縣，因城在方山之下而得名。

方山縣戰(zhàn)國時(shí)為趙國皋狼邑。西漢置皋狼縣，東漢廢。西晉置左國城，屬西河國。北齊文宣帝時(shí)置良泉縣。北周靜帝大象年間設(shè)窟胡縣，屬石州。隋煬帝大業(yè)三年改名方山縣。唐高祖武德二年(619年)置方州。武德三年(620年)改屬石州。貞觀十一年(637年)仍屬石州。金宣宗貞佑四年(1216年)。元世祖至元三年(1266年)方山縣并入離石縣，屬石州。

民國七年(1918年)復(fù)置方山縣，屬冀寧道。民國二十六年(1937年)，屬第四行政公署。民國二十八年(1939年)，屬第二行政公署。民國二十九年(1940年)，方山縣屬四專區(qū)。民國三十二年(1943年)，方山縣屬晉綏邊區(qū)三分區(qū)管轄。1949年2月15日晉綏邊區(qū)與陜甘寧邊區(qū)合并后設(shè)晉西北行署，方山縣屬離石分區(qū)。1952年7月1日，方山縣歸榆次專區(qū)。1958年改名離石縣，1971年5月1日恢復(fù)方山縣。屬呂梁地區(qū)。2004年5月，呂梁撤地建市，方山縣歸離石市管轄至今。

 方山縣境內(nèi)的北武當(dāng)山，又名真武山，其主峰1983米，是山西省新開發(fā)的旅游資源。