Zwischen 1260 und 1262, als es gebaut wurde, war der Palazzo Sitz der städtischen Macht. Dann wurde es der Zollstelle, die die mächtige St. George's Bank für etwa vier Jahrhunderte, bevor sie ihren jetzigen Standort in der Autorità Portuale. Es gibt zwei verschiedene Elemente, die mittelalterliche Element wurde von dem Architekten d'Andrade in der 19. Jahrhundert, 16. Jahrhundert und ein Flügel mit lebhaften Fresken, die erst kürzlich restauriert und gereinigt worden, um den ursprünglichen Designs. Marco Polo wurde hier ein Gefangener der Republik Genua und das ist diktiert, wo er seine berühmte "Milione".