Dawniej mieściła się tam siedziba klasztoru franciszkańskiego, łacińskiej szkoły zwanej partykularzem, gimnazjum akademickiego, biblioteki rady miasta i szpitala.
W 1872 r. założono tam Muzeum Miejskie, a w 1945 r. Muzeum Pomorskie.
Jest to jedne z najstarszych muzeów w Polsce. Jego najcenniejszym zabytkiem jest Sąd Ostateczny Hansa Memlinga.
