У новому відео підприємець і розробник AI‑інструментів Остін Марчезе показує, як перетворити Claude від Anthropic з просто «розумного співрозмовника» на системний робочий інструмент. Перший і, за його логікою, базовий крок — навчити модель по‑справжньому працювати з інтернетом. Для цього він збирає окремий скіл веб‑скрейпінгу, який обходить вбудовані обмеження Claude, використовуючи два зовнішні сервіси: Firecrawl і Exa.

Цей матеріал розбирає саме цю частину підходу — як і навіщо будувати власний веб‑скрейпер для Claude, що вміє читати сучасні JavaScript‑сайти та шукати не за ключовими словами, а за змістом запиту.
Чому стандартний інтернет‑пошук Claude гальмує якість відповідей
Claude, як і інші великі мовні моделі, вражає здатністю структурувати думки, писати код і пояснювати складні теми простою мовою. Але всі ці можливості впираються в одну банальну річ: якість вхідних даних. Якщо модель бачить лише урізаний, зашумлений або застарілий шматок інформації, жоден «розумний» ланцюжок міркувань не врятує результат.
У випадку з Claude Марчезе виділяє дві фундаментальні проблеми вбудованого інтернет‑пошуку.
По‑перше, модель погано працює з сучасною мережею, де більшість сайтів рендеряться JavaScript‑фреймворками. Багато сторінок сьогодні не містять повноцінного HTML‑контенту «з коробки» — текст і структура з’являються вже після виконання скриптів у браузері. Для людини це непомітно, але для моделі, яка очікує статичний HTML, це означає: замість статті — порожня оболонка, фрагменти коду, обривки тексту. У результаті Claude просто «не бачить» значну частину сучасних ресурсів.
По‑друге, Claude покладається на базовий ключовий пошук. Це означає, що релевантність результатів сильно залежить від того, наскільки точно користувач вгадав формулювання. Такий підхід ігнорує суть запиту, контекст, синоніми, близькі за змістом формулювання. Для людини, яка мислить категоріями «намір», «проблема», «сценарій використання», це створює відчутний розрив: ви питаєте про одне, а отримуєте тексти, де просто збігаються окремі слова.
У світі, де AI‑системи все частіше використовують як «другий мозок» для досліджень, аналітики й прийняття рішень, ці два обмеження стають критичними. Вони не просто знижують комфорт роботи — вони обмежують стелю якості, до якої взагалі може дотягнутися Claude.
Дані як точка максимального важеля: чому варто починати саме з пошуку
У традиційній розробці AI‑систем часто фокусуються на «верхньому шарі»: кращі промпти, складніші ланцюжки інструкцій, багатокрокові воркфлоу. Але Марчезе пропонує дивитися на проблему інакше: найефективніший важіль покращення — не в тому, як ми просимо модель думати, а в тому, що ми їй даємо думати.
Якщо уявити Claude як аналітика, то вбудований інтернет‑пошук — це його асистент, який приносить йому документи. Можна нескінченно тренувати аналітика краще структурувати звіти, але якщо асистент приносить йому випадкові, поверхневі або неповні матеріали, результат завжди буде посереднім.
Звідси логіка: щоб «розблокувати» потенціал Claude, потрібно прокачати саме шар виявлення та добування даних. Це означає:
- Дотягнутися до тих джерел, які модель раніше фізично не могла прочитати (JavaScript‑важкі сайти, сучасні веб‑додатки, динамічні сторінки).
- Замінити примітивний ключовий пошук на семантичний, який розуміє намір користувача, а не лише збіг слів.
Як тільки цей «вхідний» шар стає якіснішим, усі наступні кроки — аналіз, узагальнення, планування, генерація контенту — автоматично піднімаються на інший рівень. Саме тому веб‑скрейпер у системі Марчезе — не просто одна з опцій, а базовий «утилітарний» скіл, який має право викликатися в будь‑якому проєкті й підсилювати всі інші навички Claude.
Firecrawl: як навчити Claude бачити сучасні JavaScript‑сайти
Перша половина рішення — Firecrawl. Це зовнішній сервіс, який бере на себе роль «браузера для AI»: він відкриває веб‑сторінку, виконує JavaScript, чекає, поки контент з’явиться, і лише потім віддає Claude вже «розгорнутий» текст і структуру.
У стандартному режимі Claude стикається з типовою проблемою: заходить на сайт, де контент підтягується через React, Vue чи інший фреймворк, бачить мінімальний HTML і купу скриптів, і на цьому все. Будь‑які спроби аналізу такої сторінки перетворюються на вгадування. Firecrawl закриває цю прогалину, фактично емулюючи поведінку реального користувача в браузері, але з виходом у форматі, зручному для LLM.
У веб‑скрейпер‑скілі Firecrawl використовується як плагін, до якого Claude може звернутися, коли потрібно:
- отримати повний текст статті з сучасного медіа‑сайту;
- витягнути контент із дашборду чи веб‑додатку, де все «малюється» на льоту;
- працювати з ресурсами, які без виконання JavaScript виглядають порожніми.
Ключовий момент у підході Марчезе — зробити цей інструмент не разовою «фішкою», а частиною постійної інфраструктури. Веб‑скрейпер визначається як утилітарний скіл: він може автоматично підключатися в будь‑якому діалозі чи проєкті, коли Claude розуміє, що йому потрібні свіжі дані з мережі. Це не окремий сценарій «піди поскрейпи», а базова можливість: якщо потрібна інформація — модель знає, як її дістати навіть із найсучасніших сайтів.
Результат — Claude перестає бути заручником статичних сторінок і починає працювати з тією ж мережею, яку бачить користувач у браузері. Для будь‑яких задач, де важлива актуальність і глибина джерел, це радикально змінює картину.
Exa: від ключових слів до семантичного пошуку за наміром
Друга половина конструкції — Exa, сервіс семантичного пошуку, який замінює для Claude традиційний keyword‑підхід. Якщо Firecrawl відповідає за «бачити більше», то Exa — за «знаходити краще».
Ключова відмінність семантичного пошуку в тому, що він працює не з буквальними збігами слів, а з близькістю значень у векторному просторі. Для користувача це означає: можна формулювати запит природною мовою, з контекстом, уточненнями, навіть із побутовими формулюваннями — система намагатиметься зрозуміти, що саме ви маєте на увазі, а не які слова ви використали.
У випадку Claude це критично з двох причин.
По‑перше, користувачі часто описують задачі, а не терміни. Наприклад: «Я 36‑річний, повертаюся до кардіо, хочу додати м’язи, не втрачаючи витривалість». Ключовий пошук може розсипати це на «36 років», «кардіо», «м’язи», «витривалість» і видати щось випадкове. Семантичний пошук на кшталт Exa намагається зрозуміти загальний намір: програма тренувань для людини середнього віку, яка повертається до навантажень і хоче збалансувати силові та кардіо.
По‑друге, Claude сам по собі добре працює з сенсом і контекстом. Але якщо на вході він отримує набір статей, підібраних за грубими ключовими словами, то змушений витрачати частину «інтелектуального бюджету» на відсіювання шуму. Коли ж пошук одразу віддає релевантні, змістовно близькі матеріали, модель може зосередитися на аналізі, порівнянні, синтезі.
У веб‑скрейпер‑скілі Exa інтегрується як другий плагін поруч із Firecrawl. Схема роботи виглядає так:
Claude отримує запит користувача, формує семантичний пошуковий запит до Exa, отримує список релевантних сторінок, а далі за потреби «проходить» по них через Firecrawl, щоб витягнути повний контент навіть із JavaScript‑важких сайтів. Усе це відбувається в одному воркфлоу, прозоро для користувача.
Таким чином, Claude перестає бути прив’язаним до буквальної форми запиту й починає працювати з наміром — так, як це робить людина‑експерт, яка спочатку намагається зрозуміти, «про що насправді питання», а вже потім шукає джерела.
Як працює кастомний веб‑скрейпер: один скіл, два плагіни, новий рівень даних
Конструкція, яку пропонує Марчезе, на перший погляд проста: взяти два зовнішні сервіси й «підшити» їх до Claude як плагіни. Але важливий не лише набір інструментів, а й те, як вони з’єднані в єдиний скіл.
Веб‑скрейпер у цій моделі — це не просто набір окремих команд «запусти Firecrawl» чи «запусти Exa». Це цілісний утилітарний скіл, який Claude може викликати щоразу, коли йому потрібні зовнішні дані. Усередині нього:
Firecrawl відповідає за доступність: він гарантує, що модель зможе прочитати контент навіть там, де стандартний механізм Claude безсилий через JavaScript‑рендеринг.
Exa відповідає за релевантність: він підбирає ті джерела, які найбільш близькі до наміру користувача, а не просто містять потрібні слова.
У поєднанні це створює новий «шар відкриття даних» для Claude. Замість того, щоб покладатися на вбудований, обмежений пошук, модель отримує:
- ширший горизонт джерел (завдяки Firecrawl);
- глибшу відповідність запиту (завдяки Exa);
- автоматизований воркфлоу, де обидва інструменти працюють як єдиний скіл.
Марчезе називає такі скіли утилітарними не випадково. Вони не прив’язані до конкретної предметної області — фітнес, бізнес, освіта — і не залежать від конкретного проєкту. Один раз налаштований веб‑скрейпер може підсилювати будь‑яку задачу: від дослідження ринку до підготовки навчальних матеріалів.
Показовий приклад — його демонстрація з персональним фітнес‑тренером. Користувач може попросити Claude:
спочатку знайти найкращі дослідження з фітнесу за останні три роки, використовуючи веб‑скрейпер, а потім зберегти знайдену інформацію в проєкт за допомогою іншого скіла — /ingest‑source. У результаті Claude не лише працює з актуальними науковими даними, а й має власну, зібрану базу знань, до якої може звертатися в майбутньому без повторного пошуку.
Але фундамент усього цього — саме веб‑скрейпер, який забезпечує якісний, широкий і релевантний вхідний потік даних.
Від разових запитів до системи: чому веб‑скрейпер має бути «завжди ввімкнений»
Ключова ідея підходу Марчезе — перестати сприймати інтернет‑пошук як разову дію «піди в Google», і почати думати про нього як про постійний сервіс у вашій AI‑інфраструктурі.
У традиційному сценарії користувач сам вирішує, коли «піти в інтернет», формулює запит, переглядає результати, відбирає посилання, копіює фрагменти тексту й приносить їх у діалог із моделлю. Це повільно, фрагментарно й сильно залежить від навичок самого користувача.
Коли ж веб‑скрейпер оформлено як утилітарний скіл, Claude отримує можливість самостійно:
- визначати, коли йому бракує даних для якісної відповіді;
- запускати семантичний пошук через Exa;
- витягувати повний контент із потрібних сторінок через Firecrawl;
- інтегрувати отримані дані у власні міркування в рамках того ж діалогу.
Для користувача це виглядає як «просто кращі відповіді», але насправді за цим стоїть зміна архітектури: модель перестає бути ізольованою від живого інтернету й отримує власний, розумний шар доступу до даних.
У поєднанні з іншими скілами, які Марчезе будує навколо Claude — такими як /ingest‑source для створення довгострокової бази знань чи /improve‑system для поступового вдосконалення самої системи — веб‑скрейпер стає фундаментом. Без нього вся надбудова працює на обмеженому, випадковому наборі джерел. З ним — система може рости, оновлюватися й адаптуватися разом із зовнішнім світом.
Висновок: майбутнє LLM — у розумному доступі до даних, а не лише в «розумних промптах»
Історія з веб‑скрейпером для Claude добре ілюструє ширший тренд у розвитку AI‑інструментів. Перші хвилі захоплення великими мовними моделями були зосереджені на тому, «що вони вміють»: писати тексти, генерувати код, відповідати на питання. Сьогодні стає очевидно: справжня цінність з’являється тоді, коли ці можливості поєднуються з якісним, актуальним і релевантним доступом до даних.
Комбінація Firecrawl і Exa у вигляді єдиного веб‑скрейпер‑скіла для Claude — це приклад того, як можна обійти вбудовані обмеження моделі, не змінюючи її ядро. Замість того, щоб чекати на «ідеальну LLM із ідеальним пошуком», користувачі вже сьогодні можуть будувати власні шари доступу до інформації, які:
- розширюють видимий для моделі інтернет за рахунок JavaScript‑важких сайтів;
- підвищують релевантність результатів завдяки семантичному пошуку;
- інтегруються в робочі процеси як утилітарні, завжди доступні навички.
У підсумку Claude перестає бути просто «розумним чат‑ботом» і перетворюється на частину більшої системи, де якість вихідного результату визначається не лише потужністю моделі, а й тим, наскільки грамотно побудовано шар виявлення та добування даних. І саме тут сьогодні проходить одна з головних ліній розмежування між «іграшковим» використанням AI і справжніми продуктивними системами.
Джерело
YouTube: The ONLY 6 Skills You Need to 10x Your Claude Projects