Unique exemple d'architecture souabe en Italie du centre-nord, le château fut édifié par l'architecte sicilien Riccardo da Lentini entre 1237 et 1248 sur la volonté de l'empereur Frédéric II de Souabe.
Son plan carré est renforcé aux coins par de grosses tours, elles aussi carrées. La structure en pierres alberese est couronnée d'une crénelure de style gibelin "à queue d'aronde" rétablie en 1993. Frédéric II n'arriva jamais à Prato, mais la forteresse fut habitée par son vicaire en Toscane, chargé d'occuper la route qui reliait Le Saint-Empire Romain à l'Italie méridionale et à la Sicile, en passant par le col des Apennins de Montepiano et la vallée du Bisenzio. Symboles impériaux, les lions de Souabes sculptés sur les côtés du portail d'accès sont en serpentine verte et en alberese, tandis que le tympan classique rappelle le pouvoir impérial de la Rome des Césars. Au cours du XIVème siècle, le gouvernement florentin transforma l'édifice en garnison et en prison, le reliant aux murs d'enceinte datant du XIVème siècle par le biais d'un passage couvert: le Cassero.
De l'intérieur on accède à la vaste cour et aux salles des tours. Un escalier à l'intérieur de la grosse tour du coin est, permet de rejoindre le passage supérieur qui longe trois côtés du périmètre. D'ici, on jouit d'un magnifique panorama sur les monuments de la ville, sur les collines et sur la plaine avoisinante. L'intérieur des tours abritent d'intéressantes œuvres de l'artiste contemporain Salvatore Cipolla, qui rappellent, par des symboles, l'époque de Frédéric II. Pendant l'été, l'espace du château est aménagé pour accueillir des manifestations, des concerts et des projections cinématographiques en plein air.