Cloudflare оголосила AI-індустрії новий дедлайн щодо розділення вебкраулерів, які використовуються для традиційного пошуку (на кшталт Google Search), і тих, що збирають дані для AI-агентів та навчання моделей. Починаючи з 15 вересня 2026 року стандартні налаштування Cloudflare блокуватимуть «змішані» краулери на всіх сторінках із рекламою, повідомила компанія в середу.
Це означає, що краулери, які поєднують класичний пошук, роботу агентів і тренування моделей, за замовчуванням не зможуть сканувати такі сайти, якщо власник ресурсу не змінить налаштування. Зміни стандартів торкнуться нових клієнтів Cloudflare, нових сайтів, які створюють чинні клієнти, а також усіх користувачів безплатного тарифу, зазначають у компанії.
Цей крок може вплинути на те, як провайдери AI-моделей отримують доступ до вебконтенту для навчання та для роботи своїх агентських сервісів.
У Cloudflare підкреслюють, що більшість власників сайтів хочуть, аби їхній контент був доступним у пошуку і часто — у сервісах штучного інтелекту, але при цьому прагнуть захиститися від безоплатного роздавання своєї інтелектуальної власності.
Cloudflare окремо згадує «найбільшу у світі пошукову систему» (очевидне посилання на Google), яка, за оцінкою компанії, має «приблизно вдвічі більше інформації», ніж інші AI-компанії, оскільки пошуковий гігант ускладнює клієнтам можливість залишатися видимими в пошуку, не надаючи дані для AI.
Google раніше заперечував таке узагальнення, наголошуючи, що надає бот Google Extended, який дозволяє власникам сайтів заблокувати використання їхнього контенту для навчання та AI-продуктів і сервісів на кшталт Gemini Apps та Vertex API. Використання цього бота не впливає на індексацію сайту в Google Search. Водночас основний Googlebot сканує сторінки для пошуку, включно з AI-функціями на кшталт AI Overviews і AI Mode.
«Тепер, коли більшість трафіку в інтернеті формують не люди, ми маємо діяти рішучіше й швидше, щоб сформувався сталий екосистемний баланс», — заявив співзасновник і CEO Cloudflare Меттью Прінс, оголошуючи нову політику. Він послався на нещодавню віху, коли частка ботів уперше перевищила людський трафік онлайн. Раніше вважалося, що це станеться лише наступного року.
«Нові інструменти та партнерства Cloudflare дають власникам сайтів більше прозорості й комерційних можливостей і водночас вигідні AI-компаніям, чиї боти мають чітко задекларовану мету. Ми сподіваємося, що запропоновані стандартні налаштування стимулюватимуть змішані краулери розділяти пошук, агентське використання та тренування моделей», — додав Прінс.
Попри те, що Cloudflare пропонує низку продуктів для запуску власних AI-систем, компанія також випускає інструменти, які дають видавцям більше контролю над контентом у добу ШІ. Останніми роками Cloudflare представила засоби боротьби з AI-ботами, серед них — маркетплейс Pay Per Crawl, який дозволяє сайтам брати оплату з AI-ботів за сканування.
Тепер цей продукт еволюціонує в модель «Pay Per Use», зазначають у Cloudflare. Вона дасть змогу видавцям брати плату з AI-компаній не лише за факт отримання сторінки, а й за випадки, коли контент реально створює цінність.
Зміни також можуть допомогти зберегти трафік і обчислювальні ресурси видавців, які нині споживають AI-моделі: за даними Cloudflare, понад 50% трафіку від AI-краулерів припадає на повторне отримання сторінок, які не змінювалися.
Щоб утілити цю модель, Cloudflare спершу співпрацює з двома партнерами — Ceramic.ai та You.com. Коли видавець погоджується на участь, він отримує оплату, якщо його контент з’являється у результатах AI-пошуку Ceramic або коли You.com звертається до певного елемента його преміум-контенту.
Інші AI-компанії можуть адаптувати цю модель до власних сценаріїв роботи, зазначають у Cloudflare.