
Авиакомпания United Airlines обновила файл robots.txt на своём сайте, выстроив двухуровневую политику доступа: классические поисковые системы по-прежнему могут индексировать контент, а вот ИИ-агенты и краулеры, собирающие данные для обучения моделей или автономных действий, обязаны сначала запросить разрешение. Об этом сообщил @MattGSouthern в материале для @sejournal — и этот кейс быстро стал одним из самых обсуждаемых примеров того, как крупный бизнес переходит от пассивной обороны к управляемой модели доступа к своим данным.
Технически изменения выглядят как набор точечных правил, а не как полная блокировка. Компания сохранила открытость для традиционных поисковых ботов, поскольку органический трафик остаётся критически важным каналом для продажи авиабилетов, работы программы лояльности и сервисных страниц. Однако для ИИ-краулеров введены отдельные директивы, фактически требующие предварительного согласования.
Такой подход отличается от простого «закрыть всё»: United не отказывается от присутствия в ИИ-продуктах, а пытается превратить доступ в управляемый процесс с понятными правилами.
Причины лежат сразу в нескольких плоскостях — от коммерческой до репутационной. Авиаперевозчик работает с динамическими ценами, наличием мест и персональными данными пассажиров, поэтому неконтролируемый сбор информации создаёт реальные риски.
Ключевая идея кейса в том, что вебмастера всё чаще разделяют два принципиально разных сценария. Поисковая индексация приводит пользователя на сайт и создаёт ценность для обеих сторон. Использование контента для обучения моделей или для ответов ИИ-ассистентов часто лишает издателя трафика, оставляя контент в качестве сырья.
Именно поэтому формулировка «индексируйте, но спрашивайте разрешение на ИИ-доступ» становится своеобразным стандартом для крупных брендов.
Кейс United показывает, что robots.txt перестаёт быть технической формальностью и превращается в инструмент переговоров. По материалам @sejournal и наблюдениям @MattGSouthern, рынку нужны новые практики.
Пока неясно, станет ли модель United отраслевым стандартом, но сам сигнал однозначен: крупные игроки больше не согласны на безусловный доступ и переходят к разрешительной схеме для ИИ-агентов.
Оставьте телефон — перезвоним в рабочее время, назовём стоимость и срок.
Или позвоните сами: 8 903 572 1011, Пн–Пт с 10:00 до 18:00 по Москве.