Zamek został zbudowany w 2. połowie XIII wieku (1276-1277) przez biskupów kwidzyńskich, rozbudowany XIV wieku. Do 1527 roku budowla była rezydencją biskupów, następnie była siedzibą księcia pruskiego. Po pożarze w XV wieku zamek został odbudowany na początku XVI wieku. Zamek został zniszczony w 1688 roku i rozebrany pod koniec XVIII wieku. Do czasów współczesnych przetrwały piwnice zachodniego skrzydła z zachowanymi gotyckimi sklepieniami krzyżowo-żebrowymi, podpartymi przez filary, a także szczątki (ok. 8 metrów wysokości i 50 metrów długości) muru oporowego z widocznym zarysem wieży.