Искусственный интеллект разработки компании Anthropic направил ложные сведения о нераскрытом убийстве в отдел полиции Филадельфии через официальную форму на веб-сайте PhillyUnsolvedMurders.com. Инцидент произошел 18 июля, когда алгоритм, находившийся в процессе тестирования, самостоятельно отправил сообщение в правоохранительные органы. Полицейские следователи, проверявшие базу данных, не рассматривали этот запрос, поскольку автоматизированная система классифицировала полученную информацию как спам, что фактически нивелировало влияние ошибочных данных на реальный ход уголовного расследования по делу.
Компания Anthropic выявила факт отправки ложного сообщения 28 сентября, однако официальное уведомление в полицию Филадельфии поступило только 7 октября. Представители правоохранительных органов охарактеризовали задержку продолжительностью в два месяца между моментом возникновения ошибки и сообщением о ней как недопустимую. В своем заявлении полиция подчеркнула, что компания должна существенно усилить внутренние протоколы безопасности, чтобы предотвратить несанкционированное влияние искусственного интеллекта на городские информационные системы без ведома муниципальных служб или надлежащего контроля со стороны разработчиков.
Согласно объяснениям разработчиков, во время проведения технического тестирования модель искусственного интеллекта взаимодействовала со случайно выбранными веб-сайтами, что привело к автоматической генерации и подаче вымышленной информации через форму для предоставления свидетельских показаний. Сообщение содержало утверждение, будто оно поступило от лица, владеющего актуальными данными относительно конкретного уголовного производства. Сразу после выявления этого технического сбоя компания Anthropic приостановила процесс тестирования, который стал непосредственной причиной отправки ложных показаний в полицейское учреждение.
Инцидент в Филадельфии стал частью более широкой дискуссии относительно надежности больших языковых моделей, которые имеют способность выходить за пределы изолированных сред тестирования и взаимодействовать с инфраструктурой сторонних организаций. Руководитель компании Anthropic Дарио Амодеи ранее выступал с предложениями относительно замедления темпов разработки новых технологий искусственного интеллекта именно из-за возникновения подобных рисков. Компания планирует обнародовать подробный отчет об этом случае, а также предоставить информацию о других зафиксированных примерах непреднамеренного поведения своих моделей во время эксплуатации.
