Дворец Лирия принадлежит древнему испанскому роду Альба. Герцогство Альба образовано королевским указом в 1472 году в знак признания заслуг капитан-генерала войск Кастилии Гарсиа Альварес де Толедо, графа Альба де Тормеса. В этом роду есть потомки Колумба, наваррские короли, английский король Яков II и многие другие знатные лица.
Начало строительства дворца относится к 1773 году. В его создании принимали участие известные испанские архитекторы Сабатини и Вентура Родригес. Элементы здания напоминают Королевский дворец, который мы уже видели на площади Ориенте. В гражданскую войну здание дворца сильно пострадало от бомбежек и было восстановлено лишь через 20 лет. Сейчас он является собственностью дома Альба.
Владелица дворца — восемнадцатая герцогиня Альба, является одной из пяти богатейших женщин мира. Она владеет 25 тысячами гектаров земли, дворцами и замками, разбросанными по всей территории Испании, а также огромной коллекцией драгоценностей, которые она принципиально никогда не носит.
Полное имя герцогини — Мария дель Росарио Кайэтана Фитц Джеймс Стюарт-и-Севилья. Однако в обиходе ее зовут Кайэтана Альба. Она имеет более 60 разных громких титулов, в Том числе: 18 титулов грандов Испании, 7 герцогских титулов, 19 титулов графинь и 14 титулов маркиз.
Во дворце сосредоточены огромные художественные ценности: картины, гобелены, древние рукописи, изделия из золота, серебра, фарфора, старинная мебель, оружие. Кроме того, там хранятся 400 ящиков исторических документов, 4000 связок бумаг по истории рода Альба, коллекции живописи Рембрандта, Рубенса, Брейгеля, Тициана, Сурбарана, Риверы, Эль Греко, Мурильо, Гойи, Ренуара и многих других мастеров. Коллекция живописи во дворце Лирия является одним из самых богатых частных художественных собраний мира.