Entre 1260 et 1262, quand il fut construit, le palais a été le siège de la ville de pouvoir. Puis, il est devenu le bureau de douane, le logement puissant St. George's Bank pour environ quatre siècles, avant de s'installer à son emplacement actuel, à l'Autorità Portuale. Il ya deux éléments distincts, l'élément médiévale fut restauré par l'architecte d'Andrade dans le 19ème siècle, et une aile du 16ème siècle, avec des fresques vivantes, qui ont été récemment restaurés et nettoyés à l'original designs. Marco Polo était un prisonnier ici de la République de Gênes et c'est là où il a dicté sa fameuse 'Milione'.