Штучний інтелект стрімко зростає разом із обсягами обчислень, які витрачаються на тренування моделей. Дослідницька організація METR (Model Evaluation and Threat Research), що спеціалізується на вимірюванні можливостей сучасних систем, пропонує просту, але радикальну ідею: зростання «часового горизонту» AI — тобто тривалості завдань, які моделі здатні успішно виконувати — прямо пов’язане зі зростанням тренувального комп’ют-ресурсу. У розмові на каналі AI Engineer дослідник METR Джоел Бекер пояснює, чому фізичні обмеження на потужність дата-центрів, ймовірно, не стануть головним гальмом до 2030 року, і чому в найближчі роки саме фінанси можуть виявитися реальнішим бар’єром для масштабування AI.
Ця дискусія виходить далеко за межі технічних деталей. Вона напряму стосується того, як швидко можуть з’явитися системи, здатні автоматизувати значну частину дослідницької та інженерної роботи, і що саме може сповільнити або відкласти цей сценарій.
Проста модель: більше обчислень — довший «часовий горизонт» AI
У центрі підходу METR — так звана «аргументація про горизонт обчислень-часу». Ідея виглядає майже тривіальною: якщо на тренування моделей витрачається дедалі більше комп’ют-ресурсу, а вимірюваний «часовий горизонт» їхніх можливостей також зростає, то можна припустити, що між цими двома величинами існує причинна пропорційність.
METR розглядає різні типи обчислень — від експериментального тренувального комп’ют-ресурсу до R&D-витрат великих лабораторій — і накладає їх на логарифмічну шкалу «часового горизонту» моделей. На цій шкалі фігурують завдання, які вимагають від системи послідовної роботи протягом годин, днів чи навіть місяців людського часу, щоб досягти успіху.
Якщо припустити, що:
– зростання тренувального комп’ют-ресурсу сповільнюється (наприклад, удвічі),
– а зв’язок між комп’ютом і часовим горизонтом є не просто кореляцією, а причинною пропорційністю,
то логічно очікувати, що й зростання часових горизонтів також сповільниться приблизно вдвічі. На графіку це виглядає як «злам» колишньої прямої лінії на лог-лінійному масштабі: замість стрімкого підйому — більш пологий тренд.
Наслідок такого зламу може бути драматичним. Якщо певний «рубіж можливостей» — наприклад, завдання, що потребують місяця безперервної роботи — досягається за однієї швидкості зростання, то при уповільненні тренду цей самий рубіж може відсунутися на роки. Модель METR прямо каже: якщо ми «ламаємо» криву обчислень, ми одночасно ламаємо й криву зростання можливостей.
Цей підхід спирається на «стандартне, хоч і дискусійне» припущення з економіки: доки ми живемо в режимі «business as usual» і не досягли стану, де можлива так звана «програмна сингулярність», зростання обчислень і зростання часових горизонтів залишаються причинно пропорційними.
Фізичні межі: електрика не зупинить AI до 2030 року
Коли говорять про межі масштабування AI, часто згадують фізичні обмеження: скільки електроенергії може спожити дата-центр, наскільки щільно можна розмістити чипи, як далеко можна зайти в охолодженні та інфраструктурі. У публічних дискусіях дедалі частіше лунає теза, що «ми скоро впремося в стелю по енергоспоживанню».
Бекер посилається на аналітичні роботи, які розглядають саме такі сценарії, зокрема звіти, що оцінюють різні види фізичних обмежень: від доступності електроенергії до інженерних лімітів дата-центрів. Висновок цих досліджень, який METR приймає як робочу гіпотезу, доволі обнадійливий для прихильників швидкого прогресу: більшість таких обмежень «не кусаються» до приблизно 2030 року.
Інакше кажучи, за нинішніми оцінками, світова енергетична та інфраструктурна база ще має запас, щоб підтримувати подальше зростання обчислень для AI принаймні протягом найближчих кількох років. Після 2030-го ситуація може змінитися: масштабування дата-центрів, підведення потужностей, будівництво нових об’єктів — усе це може почати ставати системним вузьким місцем.
Але в короткостроковій перспективі METR не вважає фізику головним гальмом. Навпаки, модель припускає, що до кінця десятиліття основні тренди можуть продовжуватися приблизно в тому ж лог-лінійному режимі, якщо не станеться чогось радикально нового в інфраструктурі чи політиці.
Гроші як реальний гальмо: бюджетні стелі корпорацій і держав
Набагато реалістичнішим обмеженням у найближчі роки Бекер вважає фінанси. Масштабування тренувальних запусків сучасних моделей — це не просто питання технічної можливості, а питання того, скільки готові витратити великі технологічні компанії та держави.
Логіка проста: навіть якщо фізично можливо побудувати ще один гігантський дата-центр, це вимагає мільярдних інвестицій. Компанії мають обмежені бюджети, акціонерів, які очікують прибутковості, і регуляторів, які можуть ставити питання щодо концентрації потужностей. Держави, навіть найбагатші, також не можуть нескінченно нарощувати витрати на AI, не жертвуючи іншими пріоритетами.
Бекер формулює це без зайвого драматизму: «великі техкомпанії можуть витратити лише певну суму в якийсь момент; великі держави теж можуть витратити лише певну суму». Є, звісно, сценарії, де витрати продовжують зростати, але вони природним чином ведуть до уповільнення — саме того «зламу» на графіку, який у моделі METR означає затримку в досягненні нових рівнів AI-можливостей.
Це важливий зсув у фокусі. Замість того, щоб шукати межі в законах фізики, METR пропонує дивитися на баланси компаній і бюджети держав як на перші реальні «стелі» для масштабування обчислень. Якщо тренд витрат на тренування моделей почне відхилятися від нинішньої експоненти, модель METR передбачає відповідне відхилення й у зростанні часових горизонтів.
Лог-лінійні тренди як недооцінений інструмент прогнозування
Попри всю невизначеність, METR не відмовляється від кількісних прогнозів. Навпаки, Бекер наголошує, що «прямі лінії на лог-лінійних графіках» виявилися напрочуд надійним інструментом прогнозування прогресу AI протягом багатьох порядків величини.
Історично, якщо нанести на логарифмічну шкалу ключові показники — від розміру моделей до їхніх результатів на бенчмарках — і порівняти з часом, виходять майже прямі лінії. Це означає приблизно експоненційне зростання в лінійному масштабі. METR використовує цю емпіричну закономірність як «дефолтне очікування»: доки немає чітких підстав вважати, що вхідні параметри (наприклад, обчислення чи витрати) змінять свій тренд, варто припускати продовження лог-лінійної динаміки.
Цей підхід має дві важливі сторони.
По-перше, він дисциплінує дискусію. Замість того, щоб спиратися на інтуїтивні відчуття «прогрес сповільнюється» чи «ми на порозі стрибка», METR пропонує дивитися на дані й тренди, які вже показали свою стійкість.
По-друге, він залишає місце для «зламів» — як у бік уповільнення, так і в бік прискорення. Бекер прямо визнає, що на горизонті можуть бути «драматичні» події, які змінять картину: від «програмної сингулярності» до ще одного «моменту трансформера», коли нова архітектура чи парадигма дає стрибок у можливостях без пропорційного зростання обчислень.
Саме тому METR говорить про лог-лінійні тренди як про «дефолт», а не як про догму. Якщо з’являються ознаки «значного зламу у вхідних параметрах» — наприклад, різке обмеження витрат на тренування або, навпаки, прорив у апаратному забезпеченні, — тоді й очікування щодо часових горизонтів мають бути переглянуті.
Коли метрика перестає працювати: обмеження «часового горизонту»
У моделі METR «часовий горизонт» — ключова метрика, яка показує, наскільки довгі за тривалістю завдання може успішно виконувати AI. Але навіть ця метрика має свої межі застосовності.
Якщо часові горизонти моделей продовжать подвоюватися, рано чи пізно виникне парадоксальна ситуація: більшість реалістичних завдань просто не можуть тривати настільки довго, щоб «виміряти» повну потужність системи. Людські розклади, дедлайни, бізнес-процеси — усе це накладає верхню межу на тривалість завдань, які має сенс ставити.
Бекер визнає, що це створює методологічну проблему: якщо моделі здатні працювати ефективно на часових горизонтах, які перевищують максимальну тривалість завдань у тестових наборах, метрика перестає відображати реальні можливості. METR уже працює над альтернативними підходами, але сам дослідник підкреслює, що ці ідеї ще «на ранній стадії».
Ще одна важлива деталь — розрізнення двох типів часу: людського календарного часу й часу, протягом якого «працює» сама модель. У реальних робочих процесах, де люди взаємодіють з AI, METR пропонує вважати «час роботи моделі» приблизно нульовим порівняно з людським часом. Моделі зазвичай виконують основну частину своєї успішної роботи дуже швидко; левова частка затримок виникає в «людино-машинному ітераційному циклі».
Це має два наслідки для майбутнього прогресу:
- Подальше зменшення часу обчислень на завдання дає дедалі менше виграшу. Якщо модель і так відповідає за секунди, скорочення до часток секунди мало що змінює в загальному календарному часі проєкту.
- Натомість зростає цінність надійності. Бекер очікує, що майбутні покращення AI будуть більше пов’язані з тим, наскільки стабільно й передбачувано моделі дають правильні результати, а не з тим, наскільки швидко вони це роблять.
Інакше кажучи, якщо дивитися з перспективи розробника чи дослідника, головне вузьке місце — не в «швидкості інференсу», а в тому, скільки разів доводиться перезапускати ітерацію через помилки чи непорозуміння з боку моделі.
Від лабораторних графіків до реальних бюджетів
Модель METR із її лог-лінійними графіками, часовими горизонтами й припущеннями про причинну пропорційність між обчисленнями та можливостями — це спроба поєднати два світи: абстрактні криві на діаграмах і реальні рішення компаній та урядів.
З одного боку, історичні дані справді показують вражаючу стабільність трендів: збільшення обчислень веде до зростання можливостей моделей, і це зростання добре описується прямими лініями на логарифмічних шкалах. З іншого боку, ці лінії не існують у вакуумі. Вони залежать від того, чи готові інвестори фінансувати нові гігантські тренувальні запуски, чи зможуть енергетичні системи витримати навантаження дата-центрів, чи дозволять регулятори подальшу концентрацію потужностей.
Бекер пропонує дивитися на найближче десятиліття так:
- до приблизно 2030 року фізичні обмеження навряд чи стануть головним фактором, що визначає темп зростання обчислень для AI;
- у цей період набагато важливішими будуть фінансові та політичні рішення великих гравців — корпорацій і держав;
- якщо витрати на обчислення продовжать зростати за нинішніми лог-лінійними трендами, можна очікувати й подальшого зростання часових горизонтів моделей у тому ж режимі;
- якщо ж бюджети почнуть «ламати» ці тренди, варто очікувати відповідного «зламу» й у зростанні можливостей AI.
При цьому модель METR залишається відкритою до можливості радикальних змін — як у бік прискорення (через нові архітектури чи «програмну сингулярність»), так і в бік уповільнення (через політичні чи економічні шоки).
Майбутнє AI вирішується не лише в кремнії, а й у бухгалтерії
Дискусія навколо «фізичних меж» AI часто зводиться до технічних деталей: мегавати, нанометри, щільність транзисторів. Підхід METR нагадує, що не менш важливими є «м’які» обмеження — бюджети, пріоритети, готовність ризикувати капіталом заради ще одного порядку величини в обчисленнях.
Якщо модель причинної пропорційності між комп’ютом і часовим горизонтом вірна хоча б приблизно, то будь-яке суттєве уповільнення зростання обчислень неминуче означатиме й уповільнення зростання можливостей AI. І навпаки, доки лог-лінійні тренди витрат і обчислень тримаються, варто очікувати й подальшого розширення завдань, які моделі здатні виконувати.
Парадоксально, але в найближчі роки майбутнє AI може визначатися не стільки тим, скільки електроенергії ми здатні подати в дата-центри, скільки тим, скільки нулів у рядку «CapEx на AI» готові поставити ради директорів і міністерства фінансів. Фізика, ймовірно, скаже своє слово після 2030-го. До того часу головний арбітр темпу прогресу — гроші.