ШІ-асистенти вже давно вміють відповідати на запитання й писати код, але новий крок — це повноцінне керування комп’ютером. Канал Tech With Tim продемонстрував можливість Codex із режимом computer use, коли модель буквально бере під контроль мишу та клавіатуру й виконує дії замість користувача.
Що таке режим computer use в Codex
Режим computer use активується через розділ плагінів: достатньо зайти в Plugins → Codex і ввімкнути відповідну опцію. Після цього ШІ отримує змогу:
- «бачити» екран у межах свого інтерфейсу
- рухати курсор миші
- клікати по елементах інтерфейсу
- виконувати будь-які дії, які зазвичай робить користувач
Фактично, Codex перетворюється на віртуального оператора вашого ПК, здатного повторити майже будь-який сценарій взаємодії з програмами.
Практичний тест: від текстової команди до музики в Spotify
Щоб продемонструвати можливості, було використано простий, але показовий сценарій: запустити музику в Spotify.
- У чаті до запиту додається тег
@computer— це вказує моделі, що потрібно використати режим керування комп’ютером. - Формулюється інструкція: відкрити Spotify і відтворити найпопулярнішу пісню Drake.
- Далі Codex починає послідовно виконувати дії:
- відкриває застосунок Spotify
- орієнтується в інтерфейсі
- знаходить трек (у демонстрації це була «One Dance»)
- наводить курсор на кнопку відтворення
- натискає Play
Усе це відбувається у фоновому режимі: користувач бачить, як курсор рухається й натискає елементи інтерфейсу без його участі. У результаті музика починає грати на комп’ютері так, ніби це зробила людина.
Наскільки це швидко та зручно
У демонстрації підкреслюється, що режим computer use працює помітно повільніше, ніж якби ті самі дії виконував користувач вручну. Проте ключовий момент не в швидкості, а в самому факті:
- ШІ здатен автономно виконувати послідовність дій у графічному інтерфейсі
- Можна «відпустити» асистента й дозволити йому працювати на машині стільки, скільки потрібно
- Поведінка моделі максимально наближена до дій реальної людини за комп’ютером
Це відкриває потенціал для автоматизації рутинних завдань, які раніше вимагали обов’язкової присутності користувача: від відкриття програм до складніших сценаріїв роботи з десктопними застосунками.
Крок до повноцінних «цифрових співробітників»
Демонстрація зі Spotify — лише базовий приклад, але вона показує принцип: ШІ може не просто генерувати текст чи код, а й безпосередньо взаємодіяти з операційною системою. Такий підхід наближає концепцію «цифрових співробітників», які:
- працюють у звичайних програмах, а не лише в API
- виконують дії, що візуально й технічно не відрізняються від людських
- можуть брати на себе цілі робочі процеси на комп’ютері
Поки що це радше технологічний експеримент із помітними затримками, але вже зараз зрозуміло: межа між «чат-ботом» і повноцінним оператором ПК стає дедалі розмитішою.