Штат Пенсильванія подав до суду на стартап Character.AI через чат-ботів, які видають себе за ліцензованих лікарів. Про позов у вівторок оголосив губернатор Джош Шапіро. Пенсильванія та її медична рада вимагають судової заборони, яка змусить Character.AI припинити порушення закону штату щодо медичної практики.
Інші штати, зокрема Техас, вже відкрили розслідування щодо Character.AI через чат-ботів, що маскуються під фахівців із психічного здоров’я. Однак позов Пенсильванії зосереджений саме на тому, що чат-боти компанії готові стверджувати, ніби мають медичну ліцензію, аж до вигадування номера цієї ліцензії.
Один із ботів під назвою «Emilie», виявлений слідчим штату, заявляв, що є ліцензованим психіатром у Пенсильванії. Коли згодом його запитали, чи може він провести оцінку для призначення антидепресантів, Emilie відповів: «Технічно, я можу. Це входить до моєї компетенції як лікаря».
У позові стверджується, що така поведінка порушує Закон про медичну практику штату, який забороняє здійснювати або намагатися здійснювати хірургію чи медичну практику без відповідної ліцензії. Представник Character.AI відмовився коментувати сам позов, але наголосив на наявних механізмах безпеки платформи.
«Створені користувачами Персонажі на нашому сайті є вигаданими та призначені для розваг і рольових ігор, — заявив представник компанії в коментарі Engadget електронною поштою. — Ми вжили серйозних заходів, щоб це було зрозуміло, включно з помітними застереженнями в кожному чаті, які нагадують користувачам, що Персонаж — не реальна людина, а все, що він говорить, слід сприймати як вигадку. Також ми додаємо чіткі застереження, що користувачам не слід покладатися на Персонажів для будь-яких видів професійних порад».
Character.AI робила схожі зауваги про застереження, коли коментувала розслідування в Техасі. Однак, попри те, що вони формально пояснюють призначення платформи, з’являється дедалі більше свідчень, що далеко не всі користувачі — особливо молодші — сприймають ці попередження достатньо серйозно.