Aquesta casa és coneix com Casa Gran o Palau dels Comtes d’Azara. Els Azara eren una família de petita noblesa aragonesa. Un dels seus membres més destacats va ser José Nicolás de Azara, marquès de Nibbiano. Visqué durant el segle XVII, fou polític, diplomàtic a Roma i mecenes, que fins i tot va regalar obres a Napoleó. La connexió amb Falset es produeix a través del casament d’un dels membres de la nisssaga (Alberto de Azara) amb la filla d’una honorable família falsetana: Esperança Anguera.
El palau dels comtes d’Azara o Casa Gran és avui dia la seu del Consell Comarcal del Priorat. Rehabilitat a tal efecte, encara s’hi conserva la cúpula sobre petxines que cobreix el pati, construïda per mandat d’Alberto de Azara.