Galvenā pils ēka Karaliskās akadēmijas bellas artes de San Fernando un atrodas uz vienas no centrālajām ielām Madrides. Šī ēka tika būvēta baroka 1689 projekta slavenā spāņu arhitekta Jose de Benito Чурригера. 1774. gadā arhitekts Diego de Вийянуэва ieviesa nelielas izmaiņas ēkas fasādē, aizvācot dažus dekoratīvus elementus baroka stilā.

12. aprīlī 1752 gada saskaņā ar dekrētu, karaļa Ferdinanda VI šajā ēkā tika dibināta Mākslas akadēmija, kas sākotnēji saucās "Karaliskā akadēmija trīs noble mākslas vārdā, svētā Ferdinanda". Ilgu laiku šeit преподавались arhitektūra, glezniecība un skulptūra. No 1873. gada akadēmijas sāka mācīt mūziku, un tā tika pārdēvēta par Karalisko akadēmiju bellas artes de San Fernando. Kopš 1987. gada Akadēmijas atvērās nodaļas fotogrāfijas, kinematogrāfijas, televīzijas. Šeit atrodas arī galvenā pārvalde Madrides mākslas akadēmijā.

Ja Akadēmijā ir atvērts mākslas muzejs, kurā izstādīti ir liels skaits izcilu mākslas darbu. Šeit var redzēt darba Frančesko Гойи, Rubensa, Huana de Сурбарана, Vicente Lopez Портана, Серано, Арчимбольдо, Pikaso, Dalī. Tāpat šeit ir ekspozīcija, skulptūras, lielākā daļa, kas attiecas uz 18 gadsimtu.

Par pastāvēšanas laikā Karaliskā akadēmija pabija vadībā, dažādās mākslas darbiniekus, kuru skaitā ir F. Goya, starp absolventiem ir arī daudz pazīstamu vārdu – Pablo Pikaso, Antonio Lopez Garcia, Salvadora Dalī un citi.