У жовтні минулого року KPMG опублікувала звіт під назвою Total Experience: Redefining Excellence in the Age of Agentic AI про те, як компанії використовують штучний інтелект для задоволення потреб клієнтів. KPMG входить до «великої четвірки» консалтингових та аудиторських компаній світу разом із Deloitte, PricewaterhouseCoopers та Ernst & Young. Виявилося, що цей звіт був переповнений «галюцинаціями» ШІ й містив приклади агентних систем штучного інтелекту, які або взагалі не існують, або не мають тих можливостей, які їм приписала KPMG. Розслідувачі GPTZero, розробника інструменту для виявлення контенту, створеного ШІ, знайшли в документі численні неточності та фейкові посилання. Це також підтвердило видання Financial Times.
У своєму звіті GPTZero заявила, що лише п’ять посилань із 45 у документі коректно вказували на реальні джерела. Загалом 28 посилань перефразовували назви або додавали вигадані елементи до реальних джерел, а 12 були сформульовані настільки розпливчасто, що неможливо встановити, чи взагалі такі джерела існують. У GPTZero назвали створення вигаданих посилань мовними моделями «vibe citing».
Окрім підроблених або неточних посилань, розслідувачі з’ясували, що приблизно половина тверджень у документі були фейковими або неправильно атрибутованими. На думку GPTZero, це «ймовірно результат того, що якийсь інструмент ШІ надмірно сумлінно виконав запит на пошук прикладів “agentic AI” у реальному світі».
В одному з прикладів KPMG стверджувала, що авіакомпанія Emirates запустила мобільний чат-бот Sara, який може розмовляти з пасажирами й змінювати для них рейси. Насправді Sara — це мобільний асистент, представлений у 2023 році, а не чат-бот на базі ШІ, і він не мав повноважень змінювати бронювання пасажирів.
KPMG також заявила, що швейцарський транснаціональний інвестиційний банк UBS інтегрував агентний ШІ у свої «інвестиційні консультації, управління ризиками та моніторинг дотримання вимог». У банку повідомили Financial Times, що ця інформація є «фактично неправильною». В іншому прикладі KPMG написала, що Швейцарські федеральні залізниці (SBB) використовують агентів ШІ, які допомагають пасажирам планувати, бронювати й оптимізувати поїздки з урахуванням уподобань, умов у реальному часі та вуглецевого сліду. Представник SBB заявив, що це «не відповідає дійсності».
Звіти таких компаній, як KPMG, зазвичай широко цитують в інших дослідженнях та публікаціях, оскільки їх вважають дуже надійними джерелами. Генеральний директор GPTZero Едвард Тян пояснив, що документи з великою кількістю помилок, опубліковані «великою четвіркою», можуть «отруювати джерело інформації» і призводити до вторинних галюцинацій ШІ, коли інші системи покладаються на ці матеріали.
Представник KPMG у коментарі для Financial Times заявив, що компанія «серйозно ставиться до точності та цілісності опублікованого контенту». Після скандалу KPMG вилучила звіт і зараз «переглядає обставини, пов’язані з його публікацією».