橫山縣，原名懷遠(yuǎn)縣，取“懷柔邊遠(yuǎn)”之忌。因與安徽省懷遠(yuǎn)縣重名，民國(guó)3年(1914)由內(nèi)務(wù)部令改懷遠(yuǎn)縣為橫山縣，以境內(nèi)橫山山脈命名。北魏置巖綠縣，唐為朔方縣，明置懷遠(yuǎn)堡，清雍正九年(1731)置懷遠(yuǎn)縣，民國(guó)改橫山縣。橫山縣舊縣城原址在柴興梁山頂，昔稱(chēng)懷遠(yuǎn)堡，解放前系橫山縣城所在地，縣衙建在城內(nèi)西北處。據(jù)民國(guó)18年《橫山縣志》(為日本法政大學(xué)畢業(yè)生曹穎僧繼其父子正編就、靖國(guó)軍總司令于右任題名、榆林東順齋出版)記載：“懷遠(yuǎn)堡，明天順二年(1458)置，舊為白家梁，屬漢白土縣地。城踞山頂，周二里許，系極沖上地。隆慶六年(1572)加高，萬(wàn)歷六年(1578)磚砌牌墻垛口。北帶固水，街市在堡西關(guān)，為東西交通大道。”橫山舊城呈長(zhǎng)方形，總占地14819平方米。城垣外用方石砌筑，內(nèi)用粘土夯實(shí)，高10米有余，城墻寬為13米，設(shè)有四個(gè)城門(mén)(其中西門(mén)不開(kāi))及四個(gè)墩臺(tái)，臺(tái)高出城墻3米多。城內(nèi)建有中心樓1個(gè)，各類(lèi)廟宇9座，有一條南北通向坎坷不平的土街道，因歷代戰(zhàn)亂破壞或人為拆毀，已成殘?jiān)珨啾�，城�?nèi)原有建筑都已傾圮殆盡。