Microsoft тільки що представила свою нову мовну модель «Му» (Mu), і вона вже підтримує деякі функції Windows 11. Зокрема, цей штучний інтелект розуміє ваше словесне прохання та редагує налаштування ОС. Му-каючий штучний інтелект уже тестується в тестовій редакції Windows.
Microsoft вже використовує у Windows 11 невелику мовну модель під назвою Phi Silica, що дозволяє функціям штучного інтелекту Copilot швидко працювати на таких процесорах, як Snapdragon X Plus. Однак для надання дійсно корисних відповідей великі мовні моделі, такі як ChatGPT, Copilot і Gemini, використовують величезні обчислювальні потужності, які Snapdragon X Plus не здатний забезпечити.
Mu – це мовна мікроскопічна мовна модель, орієнтована на конкретну задачу – агента в налаштуваннях. Mu повністю завантажується в блок нейронного процесора (NPU) і відповідає зі швидкістю більше 100 токенів (половинок слів) в секунду, задовольняючи жорстким вимогам швидкості користувальницького інтерфейсу.
Корпорація Майкрософт використала набір різних методів оптимізації для досягнення високої продуктивності при обмеженому енергоспоживанні, включаючи архітектуру перетворювача кодер–декодер, поділ ваги визначених компонентів для зменшення загальної кількості параметрів і використання тільки операцій з апаратним прискоренням.
Модель MU думає майже миттєво – час відповіді менше 500 мілісекунд. Microsoft заявляє, що Mu може працювати зі швидкістю більше 200 токенів в секунду на ноутбуці Surface Laptop 7, що є більш швидкою відповіддю, ніж ви зазвичай отримуєте від безкоштовних версій ChatGPT або Gemini в веб-браузері.
