Die Kaiserburg ist das einzige Zeugnis in Nord- und Mittelitalien für hohenstaufische Architektur und ist zwischen 1237 und 1248 unter dem Staufenkaiser Friedrich II. gebaut worden, der dazu den sizilianischen Architekten Riccardo da Lentini beauftragte.
Die Burg sowie die vier verstärkenden Ecktürme haben einen viereckigen Grundriss. Die Struktur aus Alberese-Gestein wird von „schwalbenschwanzförmigen" gibellinischen Zinnen gekrönt, die 1933 wiederhergestellt wurden. Friedrich II. kam nie nach Prato, jedoch wurde die Festung von seinem Landvogt in der Toskana bewohnt, der den Auftrag hatte, die Straße zu schützen, die das Heilige Römische Reich über den apenninischen Pass von Montepiano und dem Bisenziotal mit Süditalien und Sizilien verband. Kaiserliche Symbole sind die hohenstaufischen Löwen, die an den Seiten des Eingangsportals aus grünem Serpentin und Alberese-Gestein, eingehauen sind, sowie das typische Giebelfeld, das an die kaiserliche Macht des Roms der Cäsaren erinnert. Erst im 14. Jahrhundert wurde die Burg den verschiedenen Anforderungen angepasst und genutzt (Kaserne und Militärgefängnis), wobei sie durch einen bedeckten Gang mit den Mauern aus dem vierzehnten Jahrhundert verbunden wurde: den „Cassero".
Von innen hat man Zutritt zu dem großen Burghof und den Turmsälen. Über eine Innentreppe des in der östlichen Ecke gelegenen Wachturms kann der obere Gang erreicht werden, der an den drei Seiten der Begrenzungslinie entlangläuft. Von hier aus hat man eine wunderbare Aussicht über die städtischen Monumente sowie über die umliegenden Hügel und die Ebene. In den Türmen befinden sich interessante Werke des zeitgenössischen Künstlers Salvatore Cipolla, die aufgrund ihrer Symbole an die Zeitepoche Friedrich II. erinnern. Im Sommer wird die Burg zu einem Ort für Veranstaltungen, Konzerte und Filmvorführungen unter freiem Himmel.