Historia zamku sięga 1398 roku, kiedy to na wyspie utworzonej przez Węgorapę rozpoczęto budowę warowni. Zamek miał kształt nieregularnego pięcioboku. Zabudowa składała się z dwóch lub trzech murowanych skrzydeł, flankowanych na narożach trzema cylindrycznymi wieżami. Czwarta wieżyczka znajdowała się w obrębie dziedzińca i miała charakter łącznika komunikacyjnego. Od strony wschodniej znajdowało się niewielkie przedzamcze. Warownia przechodziła z rąk do rąk aż do 1525 roku, kiedy po sekularyzacji Zakonu Krzyżackeigo ponownie przeszła na własność państwową i stała się siedzibą książęcego starosty. Z inwentarzy z XV i XVI wieku wynika, że w tym czasie na zamku mieściła się kaplica św. Katarzyny oraz browar, spiżarnia, piekarnia, kuchnia i zbrojownia. Przy zamku znajdował się także młyn.

W 1656 r. zamek został zniszczony przez Tatarów. Odbudowa odmieniła kształt obiektu na rezydencję barokową. W pierwszej połowie XVIII wieku generał Hams Herman Katt zburzył młyn na przedzamczu i wybudował nowy przekopując nowy kanał. Wybito też szereg nowych okien.

W latach 1734 i 1736 na zamku przebywał król Stanisław Leszczyński, skąd udał się na wygnanie do Francji.
W 1752 roku władze przeznaczyły zamek na biura sądu miejskiego i ziemskiego. Przejściowo umieszczono też w zamku więzienie.

W 1807 r. podczas kampanii napoleońskiej na zamku mieścił się szpital dla żołnierzy. W czerwcu 1807 r. Węgorzewo i zamek zajęły wojska polskie generałów Jana Henryka Dąbrowskiego i Józefa Zajączka.

W 1835 r. zamek spłonął, dziesięć lat później przebudowano go na sąd. Przebudowa całkowicie zatarła jego historyczną formę.

24 stycznia 1945 r. wnętrze zamku zostało spalone przez Armię Czerwoną, jednak XIV-wieczne mury ocalały. W początkach lat 80. XX wieku zamek odbudowano z przeznaczeniem na bibliotekę miejską, siedzibę Rady Miejskiej i Urząd Stanu Cywilnego.

Węgorzewski zamek od 2000 roku jest własnością prywatną. Obecnie jest niedostępny dla turystów. Działka stanowi plac budowy. Remont i rozbudowa obiektu trwają

Na ogrodzeniu działki, z inicjatywy Młodzieżowej Rady Miejskiej w Węgorzewie, obejrzeć można plenerową wystawę archiwalnych zdjęć Węgorzewa z lat 1900-1914