В XV веке значительная часть сооружения обрушилась. В 1471 году по приказу великого князя московского Ивана III собор был восстановлен, в результате чего изменились его первоначальные пропорции, храм стал значительно более приземистым. При этом зодчий, понимая историческое значение этого сооружения, не стал восполнять обрушившиеся части собора кирпичной кладкой, а по-настоящему отреставрировал храм, собрав разрушенные белокаменные блоки и украшавшие их рельефы. Но не имея ни зарисовок храма, ни его точного плана, архитектор расставил большинство камней хаотично, полностью перепутав все сюжеты фасада. Таким образом, получился своеобразный «ребус» из белокаменных рельефов.