石樓因縣東有通天山石疊如樓而得名。

漢高祖十一年(公元前196年)，漢高祖封武侯宣義為上軍候，繼而漢武帝封代共 王子郢客為上軍侯，后于境內(nèi)置上軍縣，縣治設(shè)團(tuán)城(遺址在團(tuán)圓山 東側(cè)左家塌村)。北魏太平真君九年(448年)，置嶺西縣(縣 治仍在團(tuán)城)，兼為吐京郡治。隋開皇十八年(598年)，始改名石樓(縣治在全縣城)，沿用至今。唐武德二年(619)，縣境置西德州，領(lǐng)石樓、長(zhǎng)壽、臨河三縣。后西 德州廢，長(zhǎng)壽、臨河并入石樓縣。明朝萬歷四十年(1612年)由平陽府隰州劃歸汾州府。民國元年(1912年)，縣屬山西省府。抗日戰(zhàn)爭(zhēng)期間，縣先屬第六政治區(qū)，后屬第四行政督察專員公署，是第二戰(zhàn)區(qū)少數(shù)幾個(gè)后方基地縣之一。民國三十四年(1945 年)9 月28 日，石樓縣人民政府在李家寨成立，先后屬晉綏邊區(qū)呂梁四專署、晉綏九專署、晉南行政公署。1949年10月1日改屬汾陽專署。1951年3月改屬臨汾專署。1971年三月劃歸呂梁地區(qū)。

石樓縣出土文物之多之珍貴，為史學(xué)界所公認(rèn)。在縣境中部和西部發(fā)掘的新石器遺址3處，商代墓葬7處、周代墓葬和漢代遺址、宋代"漏澤園"各1處，還有零星出土文物，有陶器、陶棺、石器、國器、金器、表銅器、貝幣、布幣等近300件，這些文物大批調(diào)往國家和省、地博物館，留縣收藏的尚有67種，130件。最珍貴的文物為現(xiàn)存于國家博物館的商代青銅酒器龍紋觸一件，為全國孤品。石樓縣古建筑遺存不多，但頗具特色。