Król czeski Przemysł Ottokar II podarował benedyktynom z Břevnova w 1213 roku cypel broumovski. Po roku 1322 założono w Broumovie probostwo, a w miejscu ufortyfikowanego zamku gotyckiego zaczęto budowę klasztoru benedyktyńskiego. Pierwotny kościół klasztorny w stylu gotyckim był poświęcony, podobnie jak dzisiaj, św. Wojciechowi. W okresie wojen husyckich klasztor był kilkakrotnie oblegany, nie zdobyto go jednak nigdy dzięki mocnym murom obronnym. Obecny stan jest wynikiem przebudowy w szczytowej fazie baroku, w latach 1728 – 1733, przeprowadzonej według planu Kiliana Ignacego Dientzenhofera. Zaprojektował on również pomieszczenia wewnętrzne – prelaturę, refektarz i bibliotekę, które wykonane zostały przez wyśmienitych artystów praskiego baroku. Kościół opacki św. Wojciecha ozdobiony jest freskami Jana Jakuba Steinfelsa, obrazami umieszczonymi na ołtarzu, przedstawiającymi żywot patrona, autorstwa Wacława Wawrzyńca Reinera i rzeźbami Wacława Macieja Jäckla. Znajdujące się tam gimnazjum odegrało ważną rolę już w okresie poprzedzającym wojny husyckie. Uczył się tu pierwszy arcybiskup praski Ernest z Pardubic, z innych wybitnych osobistości wymienić należy również czeskiego księdza i patriotę Bogusława Balbina lub pisarza Alojzego Jiráska. Po drugiej wojnie światowej niemieccy mnisi zostali w przeważającej większości wysiedleni i osadzeni w Rohru bawarskim. Pozostali zakonnicy również musieli opuścić klasztor. Od 1950 roku budynek pełnił funkcję obozu koncentracyjnego dla księży i zakonników różnych zakonów. Był jednym z wielu więzień, które reżim komunistyczny przeznaczył w Czechosłowacji do tych właśnie celów. Mimo iż klasztor zwrócono benedyktynom w 1990 roku, żaden z nich nie mieszka tutaj, ponieważ w Republice Czeskiej jest ich około trzydziestu, a główną siedzibę mają w Pradze - Břevnovie. W przyszłości zamieszkać miałyby tutaj siostry benedyktynki.
Obecnie klasztor udostępniony jest zwiedzającym. Można tam zobaczyć unikatową replikę Całunu Turyńskiego z 1651 roku, mumię vamberecką, szczątki mumifikowanych księży vambereckich, organistów, mieszczan i innych ważnych osób, które spoczywają w podziemiach klasztoru. Obejrzeć można także kościół klasztorny, zakrystię z cennymi, inkrustowanymi meblami i refektarzem, w którym znajduje się wystawa szat liturgicznych. Wystawiona jest na przykład szata wykładana prawdziwymi granatami czeskimi. W klasztorze utworzono ogromną bibliotekę, w której umieszczono około siedemdziesiąt tysięcy ksiąg. Godna uwagi jest także ekspozycja starych druków, głównie biblii oraz galeria opacka z obrazami Piotra Brandla i Molitora.
