На очередном выпуске SEO Pulse обсуждались разъяснения Google по трём практическим вопросам, которые часто вызывают путаницу у оптимизаторов: коды ответа 503, ограничения robots.txt и обработка URL-адресов, содержащих скобки. Мэтт Саузерн из Search Engine Journal собрал ключевые тезисы представителей Google, и эти ответы помогают точнее настроить техническую оптимизацию сайта.
Код 503: временная недоступность или сигнал для удаления
Google рассматривает ответ 503 как заявление сервера о временной недоступности ресурса. Это штатный инструмент для плановых работ и перегрузок, но у него есть границы применения.
- Googlebot воспринимает 503 как приглашение вернуться позже, поэтому страница не удаляется из индекса мгновенно.
- Если сервер отдаёт 503 слишком долго, Google может начать считать страницу постоянно недоступной и постепенно исключать её из выдачи.
- Возвращать 503 вместо 404 или 410 ради «сохранения» нерелевантных страниц — плохая практика: это искажает сигналы о состоянии сайта.
- Длительная недоступность снижает частоту обхода, и после восстановления сайта индексация может замедлиться.
- Код должен применяться осознанно: краткие окна обслуживания безопасны, многодневные «заглушки» — рискованны.
Отдельно подчёркивается, что 503 не является заменой корректной настройки сервера: если проблема вызвана ошибкой конфигурации, Google увидит нестабильность, а не плановые работы.
Ограничения robots.txt: чего директива Disallow не делает
Второй блок разъяснений касается распространённого заблуждения, будто запрет в robots.txt гарантирует исключение страницы из поиска. На практике механика сложнее.
- Disallow блокирует обход, но не индексацию: страница может попасть в индекс по внешним ссылкам, если Google узнает о ней из других источников.
- Заблокированный URL способен отображаться в результатах без описания или с устаревшим сниппетом.
- Чтобы гарантировать исключение из индекса, нужен noindex, но он работает только при условии, что Googlebot может обойти страницу и увидеть метатег.
- Блокировка CSS и JavaScript в robots.txt мешает рендерингу и оценке содержимого — это ухудшает понимание страницы.
- Нестандартные директивы вроде crawl-delay Google не поддерживает: они игнорируются.
Отсюда практическое правило: robots.txt — инструмент управления обходом, а не индексацией. Комбинация Disallow и noindex одновременно приводит к тому, что Google не увидит запрет на индексацию.
URL-адреса в скобках: как их читает поисковик
Третий вопрос связан с адресами, содержащими круглые скобки. Такие URL допустимы, но требуют аккуратности при публикации и разметке ссылок.
- Скобки относятся к разрешённым символам, однако в HTML и разметке их следует корректно экранировать или кодировать.
- При автоматическом распознавании ссылок в тексте закрывающая скобка часто «съедается» парсером, из-за чего URL обрезается.
- Google рекомендует использовать понятные канонические адреса и избегать вариаций одного и того же URL с разным кодированием.
- Если скобки не несут смысловой нагрузки, их лучше убрать: это снижает риск битых ссылок и дублей.
Представители Google отмечают, что проблемы со скобками чаще возникают не в самом поиске, а на этапе публикации контента и построения внутренних ссылок.
Что делать SEO-специалисту
- Проверьте, не отдаёт ли сервер 503 на постоянной основе для страниц, которые планируется удалить.
- Убедитесь, что robots.txt не блокирует ресурсы, нужные для рендеринга, и не используется как замена noindex.
- Протестируйте ссылки с круглыми скобками в инструменте проверки URL и в отчётах Search Console.
- Задокументируйте регламент плановых работ: сроки, коды ответа и порядок уведомления поисковиков.
Разъяснения Google в очередной раз напоминают: технические сигналы работают только в связке и при корректном применении. Ошибки возникают не из-за отсутствия инструментов, а из-за неверных ожиданий от них.
🔗 Читать оригинал →
Обсудим вашу задачу
Оставьте телефон — перезвоним в рабочее время, назовём стоимость и срок.
Или позвоните сами: 8 903 572 1011, Пн–Пт с 10:00 до 18:00 по Москве.