從大峽谷進(jìn)入藏兵洞，出了洞口，就來(lái)到了紅山堡。據(jù)說(shuō)藏兵洞有三條通道可以進(jìn)入紅山堡，這只是其中的一個(gè)洞口，其余的兩口洞口還沒(méi)有找到，可見(jiàn)當(dāng)年在這個(gè)立體防御體系中，上下連通，來(lái)往是多么的便捷。

紅山堡是因位于紅山地區(qū)而得名。據(jù)史書記載，古時(shí)在夕陽(yáng)的照射下，這里山巒一片鮮紅，因命為“紅山”后訛傳為“橫山”，“紅山堡”舊時(shí)也就一名“橫山堡”。它是明代長(zhǎng)城防御體系中的一個(gè)城障，始建于明弘治十六年（1503年），由總制陜西軍務(wù)戶部尚書秦纮秦筑，距今已有500多年�！凹t山堡”本屬靈州千戶所轄，其為正方形，邊長(zhǎng)均為300米，設(shè)東門一道，有甕城，門向南開(kāi)。墻高8米，底寬7米，頂厚4米，是按照明代長(zhǎng)城沿線70里一城，30里一堡的防御體制設(shè)置的。它東至清水營(yíng)50里，西至橫城20里。

初時(shí)，駐堡將士?jī)H為“一百二員”，就是說(shuō)戍守將士只有102人。到明英宗天順年間（1457—1464年），瓦剌毛里孩、阿羅書、學(xué)羅忽三部漸強(qiáng)，入居河套。自成化元年（1465年）瓦剌三部不斷寇掠陜西、寧夏。成化九年（1473年），王越于時(shí)屬靈州的紅鹽池大敗孛忽羅等部，迫使他們“渡河北去”。但韃靼部漸強(qiáng)，小王子部又率眾入居河套，經(jīng)常侵?jǐn)_邊塞“殺傷以萬(wàn)計(jì)”使生產(chǎn)遭受嚴(yán)重破壞。這時(shí)，紅山堡等長(zhǎng)城沿線防守任務(wù)更重。明正德十六年（1521年）戶部尚書兼右副都御史，總制三邊（陜西、寧夏、固原）的秦纮，委派寧夏都指使史鏞擴(kuò)建紅山堡，南北長(zhǎng)約380米，東西長(zhǎng)約320米；甕城長(zhǎng)30米，寬20米。堡內(nèi)住軍251名，設(shè)守堡官員一名，操守官一名。城堡中，還可以看到原有的房屋基址。如按明代兵制，每5人分住一間營(yíng)房，紅山堡應(yīng)有50多間房屋。在城堡西北臺(tái)地處，能見(jiàn)到大量殘破磚瓦和建筑構(gòu)件殘片堆積。這里可能是守堡官員的住所，在沒(méi)遭到破壞前，可能是一座檔次較高的恢宏建筑。

最初設(shè)置紅山堡等城障時(shí)，主要有兩個(gè)目的；一是加強(qiáng)長(zhǎng)城線上的防守（這在介紹藏兵洞時(shí)已談過(guò)）；二是“防秋”。所謂“防秋”古已有之，到了明代，韃靼、瓦剌貴族仍然遵循突厥等游牧民族貴族的古例，就是往往于秋天馬肥草盛之際，大舉興兵南侵，這時(shí)農(nóng)耕還正值秋收季節(jié)。為此，從隋唐至明，每到這時(shí)就要調(diào)集大軍戍邊，以保護(hù)百姓秋收，因稱之為“防秋”。但在客觀上，其作用并不僅如此。如自嘉靖十年（1531年），王瓊筑“頭道邊”，實(shí)施“深溝高壘”后，使長(zhǎng)城內(nèi)的“寧鹽大道”和陜北有屏障保護(hù)的交通大道相銜接，從而成為商運(yùn)往來(lái)的“黃金商道”。另一方面，又在橫山至清水營(yíng)各城障設(shè)立驛站，其中紅山驛設(shè)驛馬18匹，原有驛站3名，新添至7名，往靈州南下關(guān)中的驛道，比過(guò)去延長(zhǎng)了120里，是寧夏鎮(zhèn)軍事供應(yīng)及軍機(jī)文書傳遞、官員往來(lái)的必經(jīng)之道，這就和“寧鹽大道”共同構(gòu)成了在軍事保護(hù)下的兩大主要交通線。另一重要作用，就是長(zhǎng)城內(nèi)外各族人民出入清水營(yíng)“馬市”及“牛羊小市”進(jìn)行商品交易和商貿(mào)往來(lái)，紅山堡是重要通道之一。

據(jù)志書記載，明代長(zhǎng)城沿線自橫城起至延綏的今定邊界，共有城障21座（城堡之間又根據(jù)需要修筑的小城堡稱為“障”）。橫城分邊守備17里，清水營(yíng)守備36里，兩城營(yíng)之間的18里統(tǒng)歸紅山堡分邊守備。這樣紅山堡一頭挑著橫城營(yíng)，一頭挑著清水營(yíng)，其軍事上的重要性顯而易見(jiàn)，正應(yīng)它在地理上的特殊性，藏兵洞的修建就更容易理解了，大約建于實(shí)施深溝高壘的嘉靖十年（1531年）。

紅山堡及其他城障之北的長(zhǎng)城基部，一般都設(shè)有“暗門”（即類似城門的拱形小券門）可使長(zhǎng)城內(nèi)外相通，由戍軍把手，按照規(guī)定開(kāi)啟。除此之外，明代在修筑長(zhǎng)城時(shí)，還于長(zhǎng)城內(nèi)側(cè)每5里筑有一座烽火臺(tái)，紅山堡屬下有4座，即安邊墩、大鶯墩（此墩處的長(zhǎng)城上有“暗門”），鎮(zhèn)羅邊墩、窯兒邊墩。烽火臺(tái)為黃土夯筑，也稱煙墩、烽臺(tái)、烽燧、烽堠、狼煙臺(tái)，俗稱“煙火墩”。這種墩臺(tái)，長(zhǎng)城上也有設(shè)置，專用以軍事報(bào)警，白天燃煙，夜間舉火，依次遞相燃放，軍情很快就可傳報(bào)到鎮(zhèn)或州所。這種古老的報(bào)警方式，被譽(yù)為“世界上最早的無(wú)線電”。

明成化二年（1466年）的法令中規(guī)定：“合設(shè)煙墩，并看守堠夫，務(wù)必時(shí)加提調(diào)整點(diǎn)，須要廣積桿草，晝夜輪流看望，遇有警急，晝則舉煙，夜則舉火，接遞通報(bào)，毋致?lián)p壞，有誤軍情聲息……傳報(bào)得宜寇敵者，準(zhǔn)其功，違者處以軍法”。每座墩臺(tái)一般設(shè)三個(gè)戍卒看守，日夜輪流值班。至于傳遞軍情，其法令又規(guī)定“令邊堠舉放烽炮，若見(jiàn)敵一、二人至百余人，舉放一烽一炮；五百人二烽二炮、千人以上三烽三炮；五千人以上四烽四炮；萬(wàn)人以上五烽五炮”。每座烽火臺(tái)，通常都配備有旗幟、鼓、弩、軟梯、炮石、火藥、火箭、狼糞、牛糞、柴草等。