Entre 1260 e 1262, quando foi construído, o Palazzo foi a sede do poder da cidade. Depois, tornou-se a estância aduaneira; habitação a poderosa St. George's Bank por cerca de quatro séculos, antes de passar a apresentar o seu site no Autorità Portuale. Há dois elementos distintos: o elemento medieval foi restaurado pelo arquiteto d'Andrade no século 19, e um século 16 ala animado com afrescos, que têm sido recentemente restaurado e limpo para os desenhos originais. Marco Polo era um prisioneiro aqui da República de Gênova e é neste ponto que ele ditou o seu famoso "Milione".