Zbudowany przez biskupów warmińskich w 1 połowie XIV wieku w stylu gotyckim, na planie zbliżonym do trapezu. Składał się ze skrzydła mieszkalnego i gospodarczego oraz dziedzińca, obwiedzionych murem.