Попри гучні обіцянки про автономні системи, сучасний ШІ залишається далеким від режиму «поставив і забув». У розмові на подкасті Lenny’s Podcast пролунала проста, але неприємна для хайпу теза: автоматизація — це частково обман, бо кожна автоматизована система все одно вимагає людського контролю й підтримки.
Автоматизація як «напівправда»
Фраза «automation is a lie» тут не про те, що автоматизації не існує, а про те, що її часто подають як щось повністю самодостатнє. Насправді ж:
- будь-який автоматизований процес потребує людини «над ним» — щоб стежити, чи він працює коректно;
- очікування повної автономності завищені, зокрема через те, як ми вимірюємо успіх моделей;
- у реальному житті автоматизація часто не зменшує обсяг роботи, а змінює її характер — і люди працюють більше, а не менше.
Це створює відчутний парадокс: навколо все більше ШІ‑інструментів, а навантаження на фахівців не падає, а зростає.
Як бенчмарки створюють ілюзію «розумного» ШІ
Одна з причин, чому здається, що моделі вже майже автономні, — це бенчмарки. На тестах ШІ демонструє вражаючі результати, але:
- бенчмарки показують «знімок» поведінки в контрольованих умовах;
- вони не відображають довготривалу роботу системи під навантаженням;
- вони не враховують каскадні помилки, коли виправлення однієї проблеми породжує кілька нових.
У підсумку складається враження, що моделі здатні працювати самі по собі, тоді як у продакшені без людини, яка розуміє контекст і архітектуру системи, усе швидко виходить з-під контролю.
Коли «вибраний» код падає кожні 10 хвилин
Показовий кейс — невеликий застосунок, який було «завібкоджено» на стороні: швидко зібраний продукт із масовим використанням генеративного коду. Після запуску:
- сервери падали приблизно кожні 10 хвилин;
- розробниця не могла зрозуміти, що саме ламається;
- спроби «дати це виправити моделі» лише погіршували ситуацію.
Коли до налагодження залучили Codex, модель упевнено пропонувала виправлення, але:
- «фікси» усували одну помилку й створювали чотири нові;
- цикл «зламалося — ШІ виправив — зламалося ще більше» повторювався;
- проблема не зникала, а технічний борг зростав.
У результаті довелося залучати двох окремих сеньйор‑інженерів, які незалежно один від одного розгрібали наслідки швидкого, напівінтуїтивного («vibe») кодування з опорою на ШІ.
Цей кейс оголює кілька важливих моментів:
- генеративний кодер не розуміє системи цілісно, він працює локально — за запитом;
- без чіткої архітектури й дисципліни розробки ШІ лише прискорює хаос;
- людський досвід і системне мислення залишаються критичними.
Більше ШІ — не завжди менше роботи
Парадокс сучасної автоматизації добре відчувають ті, хто працює з ШІ щодня: інструментів стає більше, але робочий день не скорочується. Навпаки:
- з’являється додатковий шар роботи — моніторинг, валідація, налагодження;
- помилки стають менш очевидними, бо їх генерує «уверений» ШІ;
- зростає стрес: системи падають, а відповідальність усе одно на людині.
У згаданій історії це дійшло до фізичного виснаження: безсонні ночі, постійні падіння сервера, нескінченні цикли виправлень — аж до того, що від безперервної роботи за комп’ютером розробниця отримала бурсит ліктя.
Це яскраве нагадування: автоматизація може зменшити рутину, але не скасовує потреби в людському контролі, плануванні й відповідальності за результат.