Кожен ваш запит до ChatGPT запускає справжню естафету даних. Інформація виходить із пам’яті, проходить через CPU для попередньої обробки, потім вирушає на GPU для важких обчислень і повертається назад — і ця подорож повторюється для кожного окремого слова, яке генерує ШІ.
Уповільнення закладене в самій архітектурі: для кожного запиту доводиться ганяти дані через одні з найдорожчих і найенергоємніших чипів індустрії. Саме цю неефективність намагається розв’язати XCENA — стартап з офісами в Південній Кореї та США. Чотирирічна компанія розробила чип, який розміщує обчислювальні можливості набагато ближче до DRAM — швидкої оперативної пам’яті, де зберігаються дані, з якими процесор працює в поточний момент. Це дозволяє виконувати рутинні операції з даними «біля пам’яті», без дорогих «поїздок» між CPU, GPU та пам’яттю.
Якщо підхід запрацює у великому масштабі, це може суттєво знизити вартість інфраструктури для ШІ, що й пояснює інтерес інвесторів до компанії. Нещодавно XCENA залучила $135 млн у раунді Series B при оцінці $570 млн, довівши загальний обсяг інвестицій до $185 млн.
CEO XCENA Джін Кім заснував стартап у 2022 році разом із CTO До Хун Кімом та CPO Гаррі Джухьоном Кімом. Усі троє — ветерани Samsung і SK Hynix, гігантів ринку пам’яті, чиї чипи стоять у основі GPU Nvidia. «CPU та GPU ставали розумнішими десятиліттями. Пам’ять — ні. XCENA хоче це змінити», — сказав Джін Кім в інтерв’ю TechCrunch. «Останнє зростання цін на пам’ять і котирувань виробників говорить про ширший зсув інфраструктури ШІ до пам’яті-центричних архітектур», — додав він. (Цього місяця три компанії, які домінують на світовому ринку чипів пам’яті — Samsung, SK Hynix і Micron — вперше перетнули оцінку в трильйон доларів кожна.)
XCENA будує бізнес на тезі, що «інференс — це не лише проблема обчислень, це дедалі більше проблема масштабування пам’яті», каже Кім.
Чип XCENA MX1 під’єднується до CPU через CXL (Compute Express Link) — по суті, виділену «швидкісну смугу» між процесором та пам’яттю — і обробляє дані ще до того, як їм знадобиться залишати модуль пам’яті. Він підводить обчислення до даних, а не навпаки. Компанія стверджує, що те, для чого раніше було потрібно 10 серверів, потенційно може працювати на одному.
«GPUs чудово справляються з матричним множенням — важкою математикою, яка лежить в основі навчання моделей ШІ, — але більша частина навколишньої організації даних, включаючи попередню обробку, керування KV cache (система, що зберігає контекст попередніх розмов, щоб модель не перераховувала його щоразу) та кешування даних, усе ще виконується на CPU. Наш чип бере ці завдання на себе безпосередньо в модулі пам’яті», — пояснює Кім.
Попит на рішення в галузі пам’яті різко зріс із другої половини минулого року, і в компанії вважають, що час грає їм на руку.
Переговори з кількома глобальними виробниками пам’яті перебувають на ранній стадії, але Кім відмовляється називати імена. Ідеальні клієнти XCENA — гіпермасштабні хмарні провайдери, які щороку витрачають десятки мільярдів доларів на інфраструктуру ШІ. Для них навіть невеликий приріст ефективності пам’яті може означати економію в сотні мільйонів.
MX1 поки що залишається прототипом. Масове виробництво має стартувати на фабриках Samsung наприкінці 2026 року, а отримувати виручку компанія розраховує з 2027-го.
Поки виробники NPU (neural processing unit) змагаються за те, щоб кинути виклик Nvidia в задачах навчання, XCENA націлюється на «нижній» шар стеку — пам’ять, яка живить усі ці обчислення.
Найближчими конкурентами XCENA є Astera Labs та Marvell — обидві публічні компанії на Nasdaq, які працюють над рішеннями наступного покоління для підключення пам’яті. Marvell — великий гравець із усталеною позицією на цьому ринку, каже Кім, додаючи, що ключова відмінність — в інтелектуальній власності. «У нас тисячі ядер», — говорить він. Судячи з публічних специфікацій, підхід Marvell покладається лише на кілька універсальних ядер.
Ядра MX1 побудовані на RISC-V — відкритій архітектурі процесорів — і спеціально оптимізовані під обробку даних. Кожне ядро навмисно залишають невеликим і енергоефективним. Окрім самих ядер, XCENA самостійно проєктує внутрішню ієрархію пам’яті, шину інтерконекту та контролер DRAM — рівень вертикальної інтеграції, який більшість чип-компаній, включно з більшими конкурентами, зазвичай віддають на аутсорс.
РРаунд Series B очолили сеульські венчурні фонди Atinum та IMM Investment, до них приєдналися Corstone Asia, а також наявні інвестори SBI Investment і Mirae Asset Capital. Компанія, яка налічує понад 90 співробітників в офісах у Пангйо (технопарк неподалік Сеула) та Санівейлі, також веде переговори з міжнародними інвесторами щодо додаткового фінансування.