Cloudflare оголосила про плани автоматично блокувати змішані веб-сканери, які одночасно індексують сайти для пошукових систем і працюють як агенти та тренери для систем штучного інтелекту. Раніше компанія пропонувала клієнтам опціональне налаштування для заборони сканування їхніх сайтів ІІ-чатботами, але тепер позиція Cloudflare стає більш захисною «за замовчуванням».
«Тепер, коли більшість трафіку в інтернеті є нелюдським, ми маємо діяти далі й швидше, щоб сформувалася стійка екосистема», — заявив співзасновник і CEO Cloudflare Меттью Прінс. «Нові інструменти й партнерства Cloudflare дають власникам вебсайтів більше прозорості та комерційних можливостей, а також вигоду для ІІ-компаній, чиї боти мають чіткі й прозорі наміри. Ми сподіваємося, що наші запропоновані типові зміни стимулюють змішані сканери розділити пошук і використання для агентів та тренування моделей».
Раніше вебтрафік був ознакою того, що люди переглядають рекламу чи оплачують підписку на сайті. Популярність ІІ-моделей, які можуть самостійно відвідувати сторінки від імені користувача, щоб отримувати актуальну інформацію, зламала цю модель. Новий підхід Cloudflare — спроба збалансувати взаємовідносини так, щоб це було чесно як для ІІ-компаній, так і для власників сайтів.
Починаючи з 15 вересня 2026 року, для нових клієнтів і нових сайтів існуючих підписників Cloudflare типовим стане режим, коли «дозволяється пошук, але блокується тренування та використання агентів на сторінках з рекламою». Змішані веб-сканери, які не дають власникам сайтів можливості обирати, чи може їхній контент використовуватися для ІІ, також за замовчуванням блокуватимуться на сторінках з рекламою. Користувачі з безкоштовними акаунтами теж будуть переведені на ці налаштування, якщо не відмовляться від них до дедлайну 15 вересня, зазначають у компанії.
У межах цих змін Cloudflare також випускає нову версію функції Pay Per Crawl, представленої у 2025 році. Вона дозволяла сайтам блокувати ІІ-сканери за замовчуванням, якщо компанії не платили за доступ до їхнього контенту. Тепер функція називається Pay Per Use, і замість оплати за сам факт сканування сторінки Cloudflare обіцяє винагороджувати власників сайтів тоді, коли їхній контент з’являється у відповідях ІІ-чатботів. В анонсі згадуються партнерства лише з Ceramic.AI та You.com, але Cloudflare, ймовірно, розраховує, що до програми приєднаються й інші ІІ-компанії, коли її клієнти почнуть підключатися до нової моделі.