Яндекс видит одну главную
robots.txt говорит поисковикам и нейросетям, куда можно заходить, а карта сайта - какие страницы есть. Без них новые страницы попадают в поиск неделями. Соберем оба файла по твоему сайту.
Починил это? Вот что еще чаще всего ломается
Частые вопросы
Зачем robots.txt, если сайт и так открыт?
Без него поисковик не знает, где карта сайта, и обходит служебные адреса вроде /api/ и корзины. А если robots.txt остался от шаблона с Disallow: /, сайт закрыт от поиска целиком: так бывает чаще, чем кажется.
Нужно ли разрешать GPTBot и ClaudeBot?
Если хочешь, чтобы тебя советовали ChatGPT, Claude и Perplexity, - да. Их поисковые боты (OAI-SearchBot, Claude-SearchBot, PerplexityBot) приводят людей. Боты обучения (GPTBot, ClaudeBot) можно закрыть, на ответы о тебе это почти не влияет.
Карта сайта должна обновляться сама?
Лучше да: в Next.js, Astro и Nuxt ее собирает сам фреймворк из списка страниц. Наш файл - стартовая версия со всеми найденными адресами, промпт просит агента сделать ее автоматической.
Остальное проверка найдет за 15 секунд: открытые ключи, формы без согласия, чужие счетчики.
Проверить свой сайт