Оновлення інструмента Codex від OpenAI, про яке розповідає канал Tech With Tim, показує помітний зсув у тому, як може виглядати AI‑асистована розробка. Мова вже не лише про генерацію коду: модель отримала змогу самостійно працювати з інтерфейсами, тестувати створені застосунки й навіть взаємодіяти з ними в реальному часі.
Від генерації коду до взаємодії з інтерфейсом
Ключова зміна — Codex тепер може не тільки писати код, а й оперувати користувацькими інтерфейсами.
На практиці це виглядає так:
- інструмент отримує завдання створити невелику кооперативну puzzle‑гру;
- генерує код і піднімає локальний сервер;
- відкриває гру у вбудованому браузері всередині застосунку;
- далі — найцікавіше — починає грати разом із людиною.
Codex керує персонажем, натискаючи віртуальні кнопки D‑pad у браузерному UI, який щойно сам і зібрав. Він зчитує стан сторінки, рухає персонажа, вводить текст у внутрішній ігровий чат. Тобто інструмент не просто створює продукт, а й взаємодіє з ним як кінцевий користувач.
Фактично цикл «збірка — тест — гра — ітерація» стискається в один інструмент. Якщо раніше AI‑асистент повертав код і зупинявся, то тепер він може самостійно перевірити, як працює створений інтерфейс, і брати участь у його використанні.
Computer Use: вихід за межі браузера
Аналогічні можливості винесено й за межі браузера — функція отримала назву Computer Use. У цьому режимі Codex:
- «бачить» екран користувача;
- рухає власний курсор;
- клікає в будь‑яких застосунках на macOS.
У демонстрації інструмент грає в «хрестики‑нулики» в нативному застосунку, відкриває Spotify та вмикає музику. Але показові приклади — лише верхівка айсберга. Заявлені основні сценарії використання:
- тестування нативних застосунків;
- відтворення багів, які проявляються лише в графічному інтерфейсі;
- робота з будь‑якими програмами, від яких залежить код розробника.
Важлива деталь: Codex керує своїм курсором, тож користувач може продовжувати працювати паралельно, поки AI виконує власні дії на екрані.
Закриття головного «вузького місця» AI‑розробки
У сучасних AI‑інструментів написання коду вже давно перестало бути головною проблемою. Справжній «вузький прохід» — перевірка результату: чи працює все як задумано, чи немає прихованих помилок, чи коректно поводиться інтерфейс.
Оновлений Codex намагається закрити саме цю ділянку:
- отримує завдання;
- генерує код;
- запускає застосунок;
- взаємодіє з ним як користувач;
- перевіряє, що все працює.
Тобто в межах одного інструмента з’являється можливість не лише створювати рішення, а й завершувати завдання до кінця, включно з етапом верифікації. Для розробників це означає потенційне скорочення рутинних перевірок і швидший цикл ітерацій — особливо там, де критичну роль відіграє поведінка UI.
Джерело
Codex Built a Game and Then Played It With Me — Tech With Tim