Mazā pils tika uzcelta 1317 gadā. Tā atrodas ziemeļu daļā laukumā, pretī Pāvesta rezidences, un tā ir nosaukta tieši tā, jo no saviem pieticīgajiem izmēriem un vērtības, salīdzinot ar pils popes.

Vēsture, tās rašanās туманна: pēc vienas no versijām – tā tika uzcelta, lai viņa brāļadēls pāvesta Jāņa XXII, Arno de Via, pēc otras - tā tika uzcelta pārākumu Беренжером F. Vecākais. Pēc viņa nāves pils un pieguļošā teritorija tika izpirktas pārākumu Arno de Via. Pēc 1335 gadā De Via nomira un pils nevienam nav piederēja līdz pat draudzes pāvests Benedikts XII, kas atkal atpirkt un to pārvērta par oficiālo rezidenci авиньонского arhibīskapu.

Ēka ir stipri bojāts laika periodā no 1396 pēc 1411 gadam, jo tika uzskatīts nostiprinātas цитаделью авиньонских tēti. Pēc karadarbības pils pamazām nonāca samazināšanās. Otrajā pusē XV gadsimtā bīskaps Alan de Котиви un viņa sekotājs Giuliano della Ровере (kas vēlāk kļūs par Tēti Юлием II) nolēma atjaunot ēkas un 1503 gadā deva viņam gandrīz sākotnējo izskatu. Della Ровере ieradās Avignon, 1474 gadam, tā kā viņš tika iecelts par savu tēvoci, Tēti Сикстом IV, bīskapu авиньонским. Viņš достроил dienvidu un rietumu fasādes, itāļu renesanses stilā un 1487 gadā pacēla torni (vēlāk, 1767 tā tika sagrauta).

Franču revolūcijas laikā pils kļuva par valsts īpašumu, XIX gadsimtā tajā atradās katoļu skola, bet vēlāk profesionālā vidusskola. Tikai beigās XX gadsimta pils teritorijā tika atvērts muzejs.

Kopš 1958. gada te atrodas Viduslaiku Muzejs. 1976. gadā šeit tika atvērta mākslas galerija, darbu meistaru, Renesanses. 19 muzeja zālēs izstādīti, it īpaši darba Sandro Botičelli, Таддео Гадди, Таддео di Бартоло, Lorenco Monako, tai skaitā te atrodas arī slavenā "Madonna", Botičelli.