robots.txt
В решении уже лежит готовый robots.txt. В нём закрыто от индексации то, что поисковику видеть не нужно: корзина, избранное, сравнение, вход и выход, оформление заказа, личный кабинет и служебные адреса вроде /api/ и /bitrix/. Отдельно перечислены параметры ссылок (Clean-param), по которым не нужно плодить дубли страниц. Менять файл без причины не стоит.
Правки нужны, когда вы добавили свои разделы, подключили сервис, который требует своей директивы, или хотите закрыть часть каталога.
Как отредактировать
Откройте ASTDESIGN → МаркетПро → Настройки, вкладка Интеграции, блок SEO настройки, строка robots.txt — нажмите изменить.
Откроется редактор файла прямо в админке. Внесите изменения и нажмите Сохранить.
Директивы **Sitemap:** в файле по умолчанию нет. Если хотите указать карту сайта прямо в robots.txt, добавьте строку Sitemap: https://ваш-домен/sitemap.xml — карта формируется решением и доступна по этому адресу.
Проверка
Откройте https://ваш-домен/robots.txt в браузере — вы должны увидеть тот же текст, что в редакторе. Затем проверьте файл в Яндекс.Вебмастере: Инструменты → Анализ robots.txt — сервис покажет ошибки в директивах и разрешена ли конкретная страница к обходу. Про подключение Вебмастера есть отдельная статья: Яндекс.Вебмастер.
Поддомены городов
Если включена региональность на поддоменах, у каждого города свой robots.txt — они формируются отдельно. Об этом написано в статье sitemap.xml и robots.txt для поддоменов.