Na sprašovém pahorku poblíž pravého břehu Podolského potoka vzniklo v době 
předkolonizačního osídlování dosavadní pustiny (1. půle 13. stol.) dřevěné správní přemyslovské centrum opevněné valem a mohutným příkopem. Mezi lety 1269-78, v době německé kolonizace po válečném zániku staršího osídlení, vzniklo pod ochranou pevnůstky nevelké město Rýmařov, tvořené rynkem a jedinou okružní ulicí. Ve stejném období přebudovali sídlo na zčásti kamenný městský hrad. K jeho významnému rozvoji došlo se značným rozšířením paláce a dalšími vnitřními stavbami v průběhu první půle 14. stol. Po zbudování městských hradeb se stal nejvýznamnějším strategickým místem obrany města.
Ke konci 13. století se na 
hradě jižně od paláce získávalo zlato z okolních dolů velmi moderním tavením na speciálních destičkách. V druhé polovině 14. století bylo temeno pahorku Hrádku značně zvýšeno násypem a zřejmě
pod tlakem událostí vybudovaná ne stejném místě opět dřevěná pevnost hrazená polským plotem a palisádou. Od roku 1398 moravská markrabata rabštejnské panství zastavovala svým věřitelům počínaje obdobím občanských válek. První zástavník Proček z Vildberka zneužíval v situace, což mu vyneslo zásah zemské hotovosti po uzavření míru. Spolu s Rabštejněm byl s celým městem dobyt a vypálen i rýmařovský Hrádek v srpnu roku 1405. Nikdy již nebyl obnoven. Po zániku hradu se v jeho prostoru zprvu usadily masné krámy a později výrobce velmi originální renesanční keramiky.
V letech 1969-88 zde probíhal systematický výzkum, a dnes je proto místo chráněnou archeologickou lokalitou. Její plochu využívá městské muzeum jako součást geologické expozice jesenických hornin a nad původními základy je umístěná replika základů hradního paláce s vyhřívací pecí z konce 13. století.
Mgr. Jiří Karel, Městské muzeum Rýmařov
Zájemce o podrobnější informace odkazujeme na Panská sídla - Hrádek