У новому епізоді подкасту OpenAI дослідниця Теджал Патвардхан, яка очолює команду frontier‑evals, розповідає про один із найяскравіших експериментів компанії на межі штучного інтелекту та біології. Йдеться про спільну роботу з Ginkgo Bioworks, де модель не просто відповідала на тестові запитання, а безпосередньо керувала протоколами синтезу білків у автоматизованому wet‑lab.
Це вже не абстрактні бенчмарки й не іспити у стилі «олімпіади з біології». Це сценарій, де кожна рекомендація моделі відразу втілюється роботами, а результат вимірюється масою реально синтезованого білка. І саме тут, під тиском складного людського baseline, з’ясувалося, наскільки небезпечно «недооцінювати моделі».
Як ШІ отримав доступ до роботизованої лабораторії
Кейс із Ginkgo Bioworks став кульмінацією кількарівневої програми оцінювання наукових можливостей моделей. Спочатку OpenAI тестувала їх на олімпіадних задачах із біології, хімії та фізики, потім — на «незавершених» наукових роботах, де модель мала дописувати фрагменти реальних тез і статей. Наступним логічним кроком стало перенесення цих здібностей у фізичний світ.
Ginkgo Bioworks надала для цього унікальну інфраструктуру — «купу дуже крутих автоматизованих роботів для wet‑lab», які можуть виконувати повні цикли експериментів без втручання людини. Модель отримала завдання оптимізувати протокол синтезу білка.
Схема взаємодії була максимально прямою. Модель генерує протокол, вказує реагенти, їхні концентрації, послідовність дій. Далі лабораторна автоматизація бере це як інструкцію: «вони автоматично тестують його в лабораторії… кладуть реагенти, які запропонувала модель, і дивляться, який вихід білка вийшов». Дані про yield повертаються в систему, і модель на їх основі покращує наступний протокол.
Фактично це був замкнутий цикл оптимізації: ШІ пропонує — роботи виконують — експеримент повертає числовий результат — ШІ вчиться на помилках і пробує знову.
Прототип реальної онкології, але без клінічного ризику
Щоб одночасно працювати з реалістичним кейсом і не заходити в етичну сіру зону, експеримент побудували як «ігрову версію» потенційно клінічно важливого сценарію. Об’єктом дослідження був білок, пов’язаний із препаратом проти раку яєчників.
Патвардхан описує це як «така собі ігрова версія цього сценарію»: модель не проєктувала новий лікарський засіб і не впливала на пацієнтів, але працювала з білком, який має пряме відношення до реальної терапії. Це дозволяло перевірити, наскільки системи здатні оптимізувати ключові параметри процесу, який у справжній фармі визначає вартість і доступність ліків.
Тут критичним показником став cost‑per‑yield — скільки ресурсів потрібно витратити, щоб отримати задану кількість білка. У промисловому біосинтезі це один із головних важелів економіки.
Людський baseline, нерви й «ніколи не недооцінюйте моделі»
Для цього експерименту команда заздалегідь підготувала людський baseline. Його описують як «досить складний» — тобто не йшлося про умовного студента-початківця, а про серйозний рівень, який уже забезпечує пристойну ефективність синтезу.
«Ми дуже нервували спочатку, бо людський базовий рівень досить складний. Ми не знали, чи модель його поб’є. Але ми ніколи не повинні недооцінювати моделі», — згадує Патвардхан.
Саме у динаміці стало видно, наскільки швидко ШІ «вчиться» в такому циклі. За її словами, «крива була дуже чіткою: кожен цикл ставав кращим і кращим, побив людський baseline і встановив state of the art за cost‑per‑yield для синтезу білка». Тобто модель не просто наздогнала людей, а підняла планку ефективності на новий рівень.
Це важливий нюанс: мова не про те, що системи можуть наслідувати стандартну практику, а про здатність знаходити протоколи, які раніше не були нормою навіть для досвідчених фахівців.
Eval, під’єднаний до фізичного світу
Усі попередні покоління eval‑ів OpenAI існували переважно в цифровому просторі: тексти, коди, задачі, де результат отримуєш миттєво, просто запустивши програму. Співпраця з Ginkgo Bioworks стала, за словами Патвардхан, «одним із наших перших випадків зняття ризиків для eval‑у, реально під’єднаного до фізичного світу».
Замість очікування завершення скрипта команді довелося чекати, «поки робот завершить експеримент, щоб записати, скільки білка синтезовано». Це створило зовсім іншу логістику: часові затримки, лабораторні операції, фізичні обмеження робототехніки, потенційні збої обладнання.
Для команди frontier‑evals це було не лише технічним, а й організаційним викликом. В інтервалі між запуском протоколу й отриманням результату неможливо було «прокрутити» тисячі варіантів за хвилини, як це робиться в суто цифрових симуляціях. Кожен цикл мав реальну вартість і тривав стільки, скільки триває біохімічна реакція.
Саме тому Патвардхан говорить, що все більше роботи в цій сфері зміщується від «теорії чи математики» до планування, операцій та фізичних процесів. У випадку з білковим синтезом якість eval‑у визначається не тільки самим ШІ, а й тим, наскільки злагоджено працює інфраструктура вимірювання.
Від ігрових протоколів до наукових проривів
Хоча експеримент із Ginkgo Bioworks подано як демонстраційний, Патвардхан дивиться на нього як на ранній шаблон для майбутніх наукових програм. У її формулюванні: «Я думаю, моделі зроблять для нас стільки науки… тепер у нас є всі ці агенти, які можуть витрачати compute на розв’язання задач і які ми можемо націлювати на корисні речі».
Фундаментальна зміна в тому, що ШІ перестає бути лише інструментом аналізу даних або генератором гіпотез. У поєднанні з автоматизованими лабораторіями він перетворюється на активного учасника експериментального циклу: сам формулює протокол, запускає його через роботів, зчитує результати й коригує наступну спробу.
Ця парадигма особливо приваблива для задач, які традиційно вважаються «ресурсно важкими»: оптимізація виробництва вакцин, розробка біологічних компонентів для нових препаратів, тонке налаштування процесів біосинтезу. Там, де людським командам бракує часу або бюджету для тисяч лабораторних ітерацій, «агенти, які можуть витрачати compute», здатні працювати безупинно.
Показово, що кейс із білком для «ігрової версії» препарату проти раку яєчників навіть не використовував найпотужнішу на той момент модель. Патвардхан підкреслює: це був «просто ранній reasoning‑модель». З урахуванням того, що наступні покоління мають кращий pre‑training, RL і пост‑training, потенціал такого підходу, за її словами, тільки зростатиме.
Чому «біль» у фізичному світі стає новим moat
OpenAI всередині описує нову реальність frontier‑evals формулою «pain is the moat» — «біль є ровом». У випадку з оцінкою наукових можливостей це означає, що головна конкурентна перевага вже не лише в алгоритмах, а в здатності витримати складність та «біль» реальних операцій.
Щоб організувати eval на кшталт білкового синтезу, потрібно не тільки побудувати модель, а й узгодити інфраструктуру wet‑lab, робототехніку, логістику реактивів, протоколи безпеки, процеси збору й валідації даних. Усе це — фрагменти важкого, дорогого й повільного світу фізики, у який цифровий ШІ лише починає заходити.
У такій системі кожна помилка вимірювання, кожен затриманий цикл і кожна неправильно зчитана крива yield безпосередньо впливають на те, наскільки чесно ми оцінюємо можливості моделі. І саме тут проявляється головна мета frontier‑evals: не створити «гарний» бенчмарк, а побачити, як далеко ШІ реально може зайти в задачах, де ставки виходять за межі екрана.
Що означає цей кейс для майбутнього науки
Експеримент із Ginkgo Bioworks — це ще не про заміну вчених, а про радикальне розширення їхніх можливостей. Він показує, що моделі вже зараз здатні:
- конкурувати з людськими експертами в оптимізації складних лабораторних протоколів;
- покращувати cost‑per‑yield до state‑of‑the‑art рівня в реальному wet‑lab‑середовищі;
- працювати в довгих замкнутих циклах «протокол → експеримент → вимірювання → новий протокол», де кожен крок фізично перевіряється роботизованою установкою.
Якщо перенести цю логіку на інші області — від медичних досліджень до матеріалознавства — вимальовується світ, у якому ключовим обмеженням стають уже не можливості моделі, а кількість доступних роботизованих лабораторій і наше вміння правильно «націлювати» ці агенти на задачі, які справді важливі.
Патвардхан формулює це вкрай прямо: «тепер у нас є всі ці агенти, які можуть витрачати compute на розв’язання задач і які ми можемо націлювати на корисні речі». Кейс із білковим синтезом показує, що, принаймні в одній з таких задач, ці агенти вже навчилися обганяти людей.
Джерело
OpenAI Podcast — Why Tejal Patwardhan stopped underestimating the models – Episode 21