Unico esempio di architettura sveva nell'Italia centro-settentrionale, fu edificato dall'architetto siciliano Riccardo da Lentini fra il 1237 e 1248 per volere dell'imperatore Federico II di Svevia.
Il castello ha pianta quadrata potenziata agli angoli da torrioni, anch'essi a pianta quadrata. La struttura in alberese, è coronata da una merlatura ghibellina "a coda di rondine" ripristinata nel 1933. Federico II non giunse mai a Prato, ma la fortezza fu abitata dal suo vicario in Toscana, incaricato di presidiare la strada che collegava il Sacro Romano Impero con l'Italia meridionale e la Sicilia attraverso il passo appenninico di Montepiano e la valle del Bisenzio. Simboli imperiali sono i leoni di Svevia scolpiti ai lati del portale d'accesso, in serpentino verde e alberese, così come il timpano classico ricorda il potere imperiale della Roma dei Cesari. Nel corso del XIV secolo il governo fiorentino trasformò l'edificio in presidio militare e prigione, collegandolo alle mura trecentesche attraverso un camminamento coperto: il Cassero.
Dall'interno si accede all'ampio cortile e alle sale delle torri. Una scala all'interno del torrione sull'angolo orientale permette di raggiungere il camminamento superiore che corre lungo tre lati del perimetro. Da qui si gode un magnifico panorama sui monumenti cittadini e sulle colline e la piana circostante. All'interno delle torri sono ospitate interessanti opere dell'artista contemporaneo Salvatore Cipolla che richiamano, per simboli, all'epoca di Federico II. Nel periodo estivo il castello diviene spazio adibito a manifestazioni, concerti e proiezioni cinematografiche all'aperto.