Osídlení nejvýchodnější části Hanušovické vrchoviny a počátky jeho pronikání do Nízkého Jeseníku bylo spjato s hradem Úsovem (nejstarším hradem na Šumpersku) a zformováním úsovského panství. Úsov byl založen jako centrum loveckého revíru některým z moravských markrabat, synů krále Václava I (Vladislav nebo Přemysl, pozdější král Přemysl II.). Kolonizaci pro krále prováděli páni ze Švábenic, majitelé hradu a osidlování až do okolí dnešního Rýmařova bývá spojováno s Hrabišem ze Švábenic. Vzhledem k odlišným přírodním podmínkám a zaměření na hornickou kolonizaci se tento region zformoval jako samostatné panství, jehož centry se stal hrad Rabštejn a město Rýmařov. Hrad Rabštejn byl vybudován ve skalách na návrší (805 m n.m.) nad Bedřichovem a je nejvýše položeným moravským hradem. Skalnatý terén předurčil podobu hradu. Poprvé se hrad připomíná v r. 1318. Hrad byl zeměpanským majetkem, ale v neklidných dobách se jej zmocňovali různí šlechtici.
Město Rýmařov bylo zakládáno nejen jako ekonomické centrum panství, ale také jako centrum hornického podnikání a tudíž vyžadovalo zabezpečení. Proto současně s budováním města byla v jeho jihovýchodní části budována tvrz (dnešní Hrádek ), později byla vybudována nová tvrz v blízkosti hutí 700 m východně od centra města nad Podolským potokem, doložená poprvé v r. 1482, později byla vystřídána dvorem, který byl zbořen v 70. letech 20. století.
Hrady, zámky, zříceniny
Neobyčejně půvabný hrad založili na skalním útesu mezi lety 1329-1332 páni z Huzové, biskupští manové, a od uvedených dat suverenní páni ze Sovince. V husitských válkách bojovali na obou stranách, ale vlastníci hradu, husitští hejtmané, zůstali oddaně na straně kalicha. Byli trvalou hrozbou mocné katolické Olomouci a 
našli bychom je v řade významných bitev. Zdá se, že na Sovinci roku 1428 jednal Prokop Holý s pretendentem českého trůnu polským princem Zikmundem Korybutovičem. Páni ze Sovince zachovali věrnost Jiřímu z Poděbrad a jeho nástupci Vladislavu Jagellonskému, a tak v srpnu 1474 panství zpustošil jejich rival a usurpátor koruny Matyáš Korvín.
Původní pozdně gotickou tvrz postavil v letech 1520-30 zástavní pán Petr ze Žerotína. Královské panství zakoupil roku 1583 do dědičného držení vzdělaný štýrský šlechtic Ferdinand Hoffmann z Grünbüchlu, president dvorské komory, dvořan, osobní přítel Rudolfa II. a bratranec posledních Rožmberků Viléma a Petra Voka. Počínaje rokem 1586 začaly stavební práce a tvrz se změnila na příjemný renesanční zámek. Když Ferdinand opustil pražský císařský dvůr pro luteránskou víru, staly se mu Janovice asylem. Vynikající finančník a znalec dolování vybudoval na panství hutě podle štýrské předlohy, a dal tak impuls k modernizaci celého železářství v našich zemích. 1656-8 přibyla k zámku kaple v podobě rondelu a roku 1663, krátce před smrtí Vofganga Bedřicha, přestavěl zámek stavitel Alessandro Canneval v raně barokním duchu.
Málo znatelné ruiny nejvýše položeného
středověkého hradu Moravy z devadesátých let 13. století a správního centra rabštejnského (později janovického) panství, severozápadní části Rýmařovska, se opírají o tři skalní suky na vrcholu kopce zarostlého krásným smíšeným lesem a poskytují úžasný rozhled po okolních údolích i rovině severního Pomoraví. Zakladatelem hradu byl asi velký kolonizátor Hrabiše ze Švábenic.
Velkou záhadu přestavuje ruina hradu neznámého jména i původu, která leží vysoko nad soutokem Huntavy a Tvrdkovského potoka naproti ostrým skaliskům Sovích skal. Zřícenina leží na území rabštejnského panství, ale bohužel nejsme schopni stanovit jejich vztahy. Je patrně jakýmsi souběžcem hradu Strálek, který v 80. letech 13. století postavil Kravař Beneš ze Štítiny. Z dešního hlediska lze stěží hovořit o fiktivní obraně moravského prostoru před útokem ze severu, stejně nelze uvažovat o ochraně dolů, byť se nacházejí nedaleko, či o ostraze stezky která měla probíhat podél Huntavy.
O existenci obce Malá Štáhle jsou doklady až z 16. století, historikové však předpokládají, že tato oblast byla osídlena již dříve, pravděpodobně už ve 13. století, kdy nedaleko odtud stála malá tvrz označovaná jako Wallhübel. Hrádek stál v lokalitě vzdálené asi půl kilometru od dnešní Malé Štáhle na levém břehu řeky Moravice, v místě, kde se do ní vlévá malý bezejmenný potůček.
Ruiny hradu Strálek (jinde též Štrálek, Stralek, Straleck, Stralecke, Strahlegg, Strolek, Stránek či mylně Pustý zámek leží cca 2,5 km jižně od náměstí v Rýmařově nad hluboce zaříznutým údolím Stráleckého potoka a mělčí úžlabinou bezejmenného přítoku potoka Oslavy. Obranný systém středověké pevnosti leží v nadmořské výšce 580 - 590 m, v blízkosti staré komunikace Královské stezky, která zvolna stoupá hlubokým Stráleckým údolím odbočujícím z údolí Oslavy od Valšovského žlebu směrem k Rýmařovu. Stezka je paralelní, pohodlnější větví „Rešovské cesty" z Olomouce či Uničova přes Šternberk a Dlouhou Loučku do Rýmařova a dál. V okolí hradu je velké množství dosud patrných důlních děl, sledujících v 13. až 19. století bohaté zásoby železných, olověných a stříbrných rud.
Na sprašovém pahorku poblíž pravého břehu Podolského potoka vzniklo v době 
předkolonizačního osídlování dosavadní pustiny (1. půle 13. stol.) dřevěné správní přemyslovské centrum opevněné valem a mohutným příkopem. Mezi lety 1269-78, v době německé kolonizace po válečném zániku staršího osídlení, vzniklo pod ochranou pevnůstky nevelké město Rýmařov, tvořené rynkem a jedinou okružní ulicí. Ve stejném období přebudovali sídlo na zčásti kamenný městský hrad. K jeho významnému rozvoji došlo se značným rozšířením paláce a dalšími vnitřními stavbami v průběhu první půle 14. stol. Po zbudování městských hradeb se stal nejvýznamnějším strategickým místem obrany města.
Zámek v centru města Bruntálu je vzdálen od Rýmařova 19 km, po silnici č. 11. (Obrázek převzat z www.bruntal-zamek.cz)
O vzniku bruntálského hradu, předchůdce dnešního zámku, se ví jen málo, kdysi královské město Bruntál vzniklo již před rokem 1223. Středověký stavební komplex byl obehnán hradební zdí, sledující půdorys 
dnešního zámku. První zmínku o hradu v Bruntále nacházíme až roku 1506. Poté do Bruntálu přesídlili páni z Vrbna. Potřeba reprezentace vzmáhajícího se šlechtického rodu vyvolala přestavbu hradu, která je datována do roku 1556. Za Hynka staršího z Vrbna byl postaven nový palác a mnoha dalšími úpravami se hrad postupně měnil v renesanční zámek.
Jde o původně renesanční zámecký objekt, jeden z pěti renesančních zámků na Šumpersku, jejichž vznik a osudy byly po staletí spojeny se jménem starobylého moravského rodu pánů ze Žerotína. Nachází se 37 km od Rýmařova. (Obrázek převzat z www.hrady.cz)
Se stavbou loučenského zámku začali bratři Žerotínové, synové Jana st. ze Žerotína někdy kolem roku 1608. Zámek se stal centrem vízmberského panství (Vízmberk - Loučná).
Pozdně renezanční zámek v Bludově, situovaný 43 km od Rýmařova, byl postaven na místě původní tvrze v roce 1624 Kryštofem Pavlem z Liechtenštejnu - Kastelkornu, který získal bludovské panství. jako konfiskát po bitvě na Bílé hoře. V roce 1710 se zámek dostal zpět do rukou Žerotínů, potomků zakladatele Bludova. Poslední mužský potomek rodu Karel Emanuel zde zemřel v roce 1934. Zámek je považován za architektonický skvost. (Obrázek převzat z www.hrady.cz)
Renesanční zámek Velké Losiny stojí v údolí řeky Desné na úpatí Jeseníků na severní Moravě nedaleko od Šumperku, 33 km od Rýmařova.
Původně tvrz z počátku 15. století, kterou dal Jan mladší ze Žerotína přestavět na velký renesanční zámek. Dominantou stavby z 2. poloviny 16. století se stala šestipodlažní věž. Na přelomu 17. a 18. století proběhla barokní dostavba. (Obrázek převzat z www.zamky-hrady.cz)
Sobotín, vzdálený od Rýmařova 27 km po silnici č. 11, byl založen v rámci velké kolonizace druhé poloviny 13. století, jak dosvědčuje i poosobní jméno (Sobota), původně nejspíš jako hornická osada.
Sobotínský zámek vznikl ve čtyřicátých letech 19. století přestavbou někdejší Eisenbachovy zbrojovky v romantizujícím historickém pojetí. Přestavbu provedli železniční podnikatelé bratři Kleinové, kteří v roce 1842 koupili sobotínské panství s proslavenými sobotínskými železárnami, tehdy druhými největšími na Moravě. Zámek se stal trvalým sídlem sobotínské větve kleinovského rodu. (Obrázek převzat z www.hrady.cz)
Zámek Úsov se nachází 30 km od Rýmařova. (Obrázek převzat z www.jeseniky.net)
První historicky doložená zpráva o hradu Úsově pochází z roku 1260. Během staletí byl hrad a zámek Úsov majetkem několika rodů. Od roku 1597 až do roku 1945 byl hrad a zámek Úsov majetkem Lichtenštejnů, od roku 1945 do roku 1995 byl spravován státem. Roku 1995 byl areál hradu a zámku jako historický majetek předán městu Úsovu.