Із зростанням можливостей великих мовних моделей (LLM) проблема «галюцинацій» залишається вперто невирішеною. Помилки з’являються навіть у найрозумніших моделях, і хоча існують способи їх виявляти, індустрія все ще шукає найкращий підхід.
Стартап Probably, який щойно залучив $9 млн посівних інвестицій від Andreessen Horowitz, прагне створити більш сувору систему виявлення таких помилок.
Як пояснює засновник компанії Пітер Еліас, мета Probably — не допустити, щоб до користувача доходили галюцинації та прості фактичні помилки, і досягти рівня точності 99,99%, звичного для детермінованих систем, але значно складнішого для ШІ. Як з’ясувалося, вивести LLM на такий рівень точності означає переосмислити багато базових припущень інженерії штучного інтелекту.
Перший продукт Probably — це інструмент для роботи з даними, створений для швидких відповідей на основі складних наборів даних. Кожен результат супроводжується посиланням на джерело та «аудиторським слідом» того, як він був отриманий — це дедалі поширеніша практика серед інструментів ШІ.
Однак, щоб не допустити проникнення помилок у такі підсумки, компанії довелося створити складну захисну «обв’язку», яку Еліас описує як «мехсют для дата-сайєнсу». Перші відповіді LLM перевіряє детермінована система-валідатор, яка відхиляє будь-які результати, що не відповідають вихідному набору даних. Важливо, що LLM попередньо навчена з урахуванням цього валідатора, а вся система оптимізована під швидкі й точні відповіді, кажуть у компанії.
«Ми зрозуміли, що чим кращою є ваша інженерія обв’язки, тим слабкішою може бути модель», — каже Еліас. — «Якщо ви достатньо добре очистите й звузите контекст, моделі не потрібно дуже напружуватися, щоб зробити правильну річ. По суті, це вправа зі зменшення неоднозначності».
Це дозволяє інструменту Probably для роботи з даними працювати на суттєво менших моделях ШІ. За словами Еліаса, поточна версія працює на моделі, яка «на чотири класи слабкіша за найпотужніші моделі». Завдяки цьому її можна запускати на локальному «залізі» (тобто на звичайному настільному комп’ютері, а не в дата-центрі), що значно зменшує витрати на токени при використанні ШІ.
Ця ідея виглядає особливо привабливою в час, коли вартість токенів зростає, а багато клієнтів переглядають свої бюджети на ШІ. Ідеї Еліаса не обмежуються лише аналітикою даних: той самий рушій можна розширити на сценарії на кшталт бухгалтерії чи медичних сервісів — як каже засновник, «будь-який кейс, чутливий до точності».
«На мій погляд, дуже цікаво, що великі AI-лабораторії навіть не намагалися робити щось подібне, — каже Еліас. — Їхня мотивація інша: вони заробляють тим більше, чим частіше вам доводиться виправляти модель».