Здание построено в конце 80-х годов 17 века. Дом стоял на территории Рубленого города, посередине обширной усадьбы и служил резиденцией ростовских митрополитов во время их пребывания в Ярославле. С течением времени внешний облик усадьбы значительно изменился: уничтожена домовая церковь, два флигеля, службы и ограда. В 1830 году на дом был надстроен третий этаж, крыльца разобраны, все фасадное убранство сбито и заштукатурено. Сегодня Митрополичие палаты восстановлены в прежнем виде. Интерьер палат сохранился без коренных изменений: остались сводчатые покрытия в первом этаже, лестница в толще стен, маленькие низкие двери.

В настоящее время - Ярославский Художественный Музей, отдел древнерусского искусства (иконы)