В 1997 году суперкомпьютер IBM Deep Blue победил чемпиона мира по шахматам Гарри Каспарова. Это была прорывная демонстрация технологии суперкомпьютеров и первый нарез о том, как высокопроизводительное вычисление может однажды превзойти интеллект на уровне человека. В течение 10 последующих лет мы начали использовать искусственный интеллект для многих практических задач, таких как распознавание лиц, перевод языка и рекомендации фильмов и товаров.
Перемотайте еще одно десятилетие и полтора десятка, и искусственный интеллект (ИИ) усовершенствовался до того уровня, когда он может «синтезировать знания». Генеративный ШИ, такой как ChatGPT и Stable Diffusion, может сочинять стихи, создавать искусство, диагностировать болезни, писать отчетные отчеты и компьютерный код, а также проектировать интегрированные микросхемы, не уступающие созданным людьми.
Перед нами стоят огромные возможности, чтобы искусственный интеллект стал цифровым помощником для всех человеческих усилий. ChatGPT является хорошим примером того, как ИИ демократизировал использование высокопроизводительных вычислений, обеспечивая пользу каждому человеку в обществе.
Все эти удивительные применения ИИ стали возможны благодаря трем факторам: инновациям в эффективных алгоритмах машинного обучения, наличию огромных объемов данных для тренировки нейронных сетей и прогрессу в энергоэффективных вычислениях благодаря развитию полупроводниковой технологии. Этот последний вклад в революцию генеративного ИИ получил меньшее признание, чем заслуживает, несмотря на свою всеобременительность.
В последние три десятилетия все основные достижения в ИИ были возможны благодаря передовой полупроводниковой технологии своего времени и были бы невозможны без нее. Deep Blue был реализован с помощью технологии производства микросхем с узлами 0,6 и 0,35 микрометра. Глубокая нейронная сеть, победившая на конкурсе ImageNet, начав текущую эру машинного обучения, была реализована с помощью технологии 40 нанометров. AlphaGo покорил игру в Го, используя технологию 28 нм, а первую версию ChatGPT обучали на компьютерах, построенных по технологии 5 нм. Новейшая инкарнация ChatGPT работает на серверах, использующих еще более передовую технологию 4 нм. Каждый уровень компьютерных систем, от программного обеспечения и алгоритмов до архитектуры, проектирования схем и технологии устройств, действует как множитель производительности ИИ. Однако следует сказать, что фундаментальная технология транзисторных устройств как раз и позволила развитию уровней выше.
Если революция ИИ должна продолжаться с текущей скоростью, ей понадобится еще больше полупроводниковой промышленности. В течение десятилетия ей понадобится GPU с 1 триллионом транзисторов — то есть GPU с 10 раз большим количеством устройств, чем это типично сегодня.
Непрерывный рост размеров моделей ИИ
Вычислительная мощность и доступ к памяти, необходимые для тренировки искусственного интеллекта, выросли на порядки за последние пять лет. Например, тренировка GPT-3 требует эквивалента более 5 миллиардов миллиардов операций в секунду вычислений в течение целого дня (это 5 000 петафлопс-дней) и 3 триллиона байт (3 терабайта) объема памяти.
Как вычислительная мощность, так и доступ к памяти, необходимые для новых применений генеративного ИИ, продолжают стремительно расти. Теперь нам нужно ответить на вопрос: как полупроводниковая технология может держать шаг?
От Интегрированных устройств до Интегрированных Чиплетов
Начиная с изобретения интегральной цепи, полупроводниковая технология преследовала цель масштабироваться в размере функциональных элементов, чтобы мы могли вместить больше транзисторов на чипе размером с обычный паз. Сегодня интеграция поднимается еще на один уровень; мы переходим от 2D-масштабирования к 3D-системной интеграции. Теперь мы объединяем много чипов в плотно встроенную, массово взаимосвязанную систему. Это парадигмальное смещение в интеграции полупроводниковой технологии.
В эпоху ИИ, способность системы пропорциональна количеству транзисторов, интегрируемых в эту систему. Одним из основных ограничений является то, что литографические орудия для изготовления микросхем были разработаны для производства ИС не более примерно 800 квадратных миллиметров, так называемый лимит ретикула. Однако мы можем расширить размер интегрированной системы вне ретикульного лимита литографии. Прикрепляя несколько чипов на больший интерпозитор – кусок кремния, в котором построены межсоединения – мы можем интегрировать систему, содержащую гораздо большее количество устройств, чем это возможно на одном чипе. Например, технология чипа на чешуе на подложке (CoWoS) от TSMC может вместить до шести поля ретикула вычислительных чипов, вместе с десятками чипов высокой пропускной способности памяти (HBM).
HBM – это пример другой ключевой полупроводниковой технологии, которая становится все более важной для искусственного интеллекта: способность интегрировать системы, ставя один чип на другой, что мы в TSMC называем системой на интегрированных чипах (SoIC). HBM состоит из стека вертикально соединенных чипов DRAM над ИС управления. Он использует вертикальные межсоединения, называемые «противо-кремниевыми каналами» (TSV), для передачи сигналов через каждый чип и припоев для формирования соединений между чипами памяти. Сегодня высокопроизводительные GPU широко используют HBM.
В будущем технология 3D SoIC может предоставить «альтернативу без выступлений» к сегодняшней традиционной технологии HBM, обеспечивая гораздо более плотное вертикальное соединение между стеклянными чипами. Недавние достижения показали структуры тестирования HBM с 12 слоями чипов, стекающимися с помощью гибридной связи, соединение меди с медью с большей плотностью, чем могут обеспечить припои. Соединенная при низкой температуре поверх базового логического чипа большего размера, эта система памяти имеет общую толщину всего 600 микрометров.
С высокопроизводительной вычислительной системой, состоящей из большого количества пластов, на которых работают большие модели искусственного интеллекта, высокоскоростная проводная связь может быстро ограничить скорость вычислений. Сегодня оптические соединения уже используются для соединения серверных стоик в центрах обработки данных. В скором времени нам понадобятся оптические интерфейсы на основе кремневой фотоники, которые будут упакованы вместе с GPU и ЦП. Это позволит масштабировать энергоэффективные и эффективные по площади пропускные способности для прямой оптической связи GPU к GPU, так что сотни серверов могут работать как один гигантский GPU с объединенной памятью. Из-за спроса от применений ИИ, фотоника на основе кремния станет одной из важнейших технологий, обеспечивающих развитие полупроводниковой промышленности.
Путь к GPU с 1 триллионом транзисторов
Как уже было отмечено, типовые чипы GPU, используемые для тренировки искусственного интеллекта, уже достигли предела ретикуля. Их количество транзисторов составляет около 100 миллиардов устройств. Продолжение тенденции увеличения количества транзисторов потребует нескольких чипов, соединенных с помощью 2,5D или 3D интеграции, для выполнения вычислений. Интеграция нескольких чипов, выполняемых с помощью технологий, таких как CoWoS или SoIC и соответствующие передовые технологии упаковки, позволяет получить значительно большее количество транзисторов в систему, чем может быть помещено на одном чипе. Мы предполагаем, что в течение следующего десятилетия мультичиплетный GPU будет иметь более 1 триллиона транзисторов.
Нам нужно будет соединить все эти чиплеты вместе в 3D стек, но, к счастью, промышленность смогла быстро снизить шаг вертикальных соединений, увеличив плотность соединений. И места для дальнейшего роста достаточно. Мы не видим причины, почему плотность соединений не может возрасти на порядок и даже больше.
Так как все эти инновационные аппаратные технологии способствуют производительности системы?
Мы уже можем наблюдать эту тенденцию в серверных GPU, если мы рассмотрим устойчивое улучшение показателя, называемого энергоэффективной производительностью (EEP). EEP – это комбинированная мера энергоэффективности и скорости системы. За последние 15 лет полупроводниковая промышленность увеличила энергоэффективную производительность примерно в три раза каждые два года. Мы думаем, что эта тенденция будет продолжаться с историческими темпами. Это будет вызвано инновациями многих источников, включая новые материалы, технологию устройств и интеграции, литографию с экстремальным ультрафиолетом (EUV), проектирование схем, проектирование архитектуры системы и совместную оптимизацию всех этих технологических элементов, среди прочего.
Прежде всего, увеличение EEP будет обеспечено передовыми технологиями передовой упаковки, о которых мы говорили здесь. Дополнительно, концепции, такие как совместная оптимизация системной технологии (STCO), где разные функциональные части GPU разделены на собственные чиплеты и построены с использованием наиболее производительных и экономичных технологий для каждой, станут все более критическими.
Момент Мида-Конвея для 3D интегрированных микросхем
В 1978 году Карвер Мид, профессор Калифорнийского технологического института и Линн Конвей в Xerox PARC изобрели метод компьютерного проектирования для интегральных микросхем. Они использовали набор правил проектирования для описания масштабирования чипов, чтобы инженеры могли легко проектировать микросхемы очень большой интеграции (VLSI) без больших знаний технологии процесса.
Такая же возможность необходима для проектирования трехмерных чипов. Сегодня дизайнерам необходимо знать проектирование чипов, проектирование системной архитектуры и оптимизацию аппаратного и программного обеспечения. Производители должны знать технологию чипов, технологию 3D IC и передовые технологии упаковки. Как и в 1978 году, нам снова нужен общий язык для описания этих технологий так, чтобы электронные средства проектирования понимали. Такой язык описания аппаратного обеспечения дает дизайнерам свободную руку для проектирования системы 3D IC, независимо от основной технологии. Это уже по пути: открытый стандарт, называемый 3Dblox, уже был принят большинством современных технологических компаний и компаний электронного проектирования автоматизации (EDA).
Будущее вне тоннеля
В эпоху искусственного интеллекта полупроводниковая технология является ключевым активатором новых возможностей и применений ИИ. Новый GPU уже не ограничен стандартными размерами и форм-факторами прошлого. Новая полупроводниковая разработка уже не ограничена масштабированием транзисторов следующего поколения на двухмерной плоскости. Интегрированная система ИИ может состоять из такого количества энергоэффективных транзисторов, как это практически, эффективной архитектуры системы для специализированных вычислительных нагрузок и оптимизированной взаимосвязи между программным и аппаратным обеспечением.
В течение последних 50 лет развитие полупроводниковой технологии ощущалось как прогулка внутри туннеля. Путь вперед был четким, поскольку был четко определен путь. И все знали, что нужно делать: убавлять транзистор.
Теперь мы дошли до конца тоннеля. Отсюда развитие полупроводниковой технологии станет сложнее. Однако вне туннеля лежит еще много возможностей. Мы уже не ограничены рамками прошлого.
По материалам: IEEE Spectrum
