Narra la leggenda che ... 

"Tre fratelli Aldobrandeschi andando girando per questi monti per vedere il molto bestiame che possedevano ed essendo arrivati nel luogo dove è ora il castello ....... molto si compiacquero di quella veduta e dell'aria salubre .... determinarono fabbricarvi un castello; ma perchè ognun di loro voleva la gloria di essere il fondatore, nè potendo venire ad un giusto accordo, determinarono giocare a dadi, e quello che faceva più punti avesse l'onore di essere l'Edificatore." (P.A. Battisti)

Correva l'anno 1212, quando Ildebrandino, Bonifacio e Guglielmo Aldobrandeschi, durante una visita ai loro possedimenti, giunsero alle pendici del Monte Penna. Da lassù l'occhio spaziava su tutta la valle del Fiora, sull'immensa bassura del Paglia; erano lì, a due passi, i numerosi castelli che formavano quasi una cintura protettiva intorno intorno al vasto comitato aldobrandesco della zona montana.......  ( G.B. Vicarelli, Castell'Azzara e il suo territorio. Memorie storiche.)

La bellezza di queste terre, ma soprattutto la posizione invidiabile come luogo strategico per la difesa del territorio, convinse i tre fratelli a costruirvi un castello turrito e forte che avrebbe dovuto celebrare la potenza della Famiglia ed inibire le pericolose mire espansionistiche della vicina Orvieto. Dopo essersi disputati ai dadi l'edificazione del fortilizio, i tre fratelli decisero insieme il nome della nuova fortezza: Castell'Azzara. Possesso dei Conti Aldobrandeschi, al momento della divisione della famiglia nei due rami di Sovana e Santa Fiora (1274-76), fu inclusa nella Contea Santafiorese. Per tutto il 1300 fu contesa tra potenti famiglie orvietane, Filippeschi e Monaldeschi, i senesi, gli Orsini e i Baschi. Nel 1430 alla morte dell'ultimo esponente della casata, il Conte Guido, la Contea di Santa Fiora passò per via matrimoniale alla Famiglia Sforza. Nel 1600 fu ceduta ai Medici per confluire poi nel Gran Ducato di Toscana. Gli avvenimenti successivi si fanno via via più anonimi, fino alla rinascita economica generata dalle miniere che porteranno il Comune di Castell'Azzara all'autonomia da Santa Fiora dal 1915.