Майже кожен сьогодні намагається приєднатися до світу штучного інтелекту. Однією з останніх свій штучний інтелект випустив виробник процесорів AMD. Мовна модель AMD-135M із спекулятивним декодуванням покликана поширити впровадження штучного інтелекту.
AMD-135M — це перша маленька мовна модель для сімейства Llama, яка була навчена з нуля на прискорювачах AMD Instinct MI250 із використанням 670 млрд токенів і розділена на дві моделі: AMD-Llama-135M і AMD-Llama-135M-код.
Попереднє навчання : модель AMD-Llama-135M було навчено з нуля з використанням 670 мільярдів токенів загальних даних протягом шести днів за допомогою чотирьох вузлів MI250.
Точне налаштування коду : Варіант коду AMD-Llama-135M було налаштовано за допомогою додаткових 20 мільярдів токенів даних коду, що зайняло чотири дні на тому самому обладнанні.
Навчальний код, набір даних і ваги для цієї моделі є відкритими, щоб розробники могли відтворити модель і допомогти в навчанні інших штучних інтелектів.
Великі мовні моделі зазвичай використовують авторегресійний підхід для висновку. Однак основним обмеженням цього підходу є те, що кожен прохід вперед може генерувати лише один маркер, що призводить до низької ефективності доступу до пам’яті та впливає на загальну швидкість висновку.
Поява спекулятивного декодування вирішила цю проблему. Основний принцип передбачає використання невеликої чорнової моделі для створення набору токенів-кандидатів, які потім перевіряються більшою цільовою моделлю. Цей підхід дозволяє кожному прямому проходу генерувати кілька токенів без шкоди для продуктивності, тим самим значно зменшуючи споживання доступу до пам’яті та забезпечуючи покращення швидкості на кілька порядків.
Забезпечуючи еталонну реалізацію з відкритим вихідним кодом, AMD не лише розширює свої можливості штучного інтелекту, але й сприяє інноваціям у спільноті штучного інтелекту.
