Apple нещодавно сколихнула планету, оголосивши про нову функцію захисту дітей за допомогою аналізу контенту. Хоча подібне вже давно виконується на серверах і, можливо, смартфонах, однак вперше про це було заявлено офіційно.
Що було оголошено
В публікації “Розширений захист для дітей” Apple пояснює свій фокус на запобігання дитячої експлуатації. В статті вказується, що поширення дитячої порнографії (Child Sexual Abuse Material, CSAM) є проблемою.
Пристрої Apple надають фотографіям ім’я за досить характерним шаблоном, і аналіз контенту деяких сайтів показує, що багато матеріалів CSAM завантажується з гаджетів Apple.
Смартфони iPhone у більшості випадків синхронізують свої дані з серверами Apple iCloud. Контент зашифрований, хоча компанія має ключі шифрування. Однак з юридичної точки зору вона не може вільно скористатися доступом до контенту.
Єдиний легальний шлях для Apple у боротьбі із CSAM є сканування контенту безпосередньо на гаджетах. Така поведінка юридично дозволена. Починаючи з iOS 15 на пристроях Apple розгорнуть сканер матеріалів CSAM. Коли той знайде заборонені фото – він відправить файл до Apple, а та – у відповідні інстанції, якщо фото виявиться забороненим. Apple повідомила, що кожен знімок перевіряється вручну.
Однією з таких інстанцій є Національний центр зниклих та експлуатованих дітей (National Center for Missing and Exploited Children, NCMEC). Ця організація веде реєстри заборонених знімків з контентом CSAM та розсилає їх постачальникам послуг.
Проблеми імплементації
Матеріали CSAM можна виявляти за допомогою криптографічного хешу або контрольної суми. З таким способом не потрібно аналізувати безпосередньо зображення, рахується лише контрольна сума для його вмісту.
Це досить простий спосіб, але з однією проблемою: він придатний лише для файлів, що однакові у кожному своєму байті. Зміна одного біта в байті призводить до різної контрольної суми, тобто для сканера однакові візуально файли будуть різними.
Існує також технологія перцептивного хешу. З нею зображення вважаються однаковими, якщо певні ділянки на них однакові. У Microsoft таку технологію ще називають PhotoDNA, однак не пояснюються точні деталі її роботи.
У Microsoft кажуть, що хеш PhotoDNA не дозволяє відбудувати зображення. Однак хеші PhotoDNA можна розбудувати у вигляді сітки 26×26. Це небагато, але на такому зображенні можна розпізнати людей та об’єкти.
Якщо хтось отримає наявні у NCMEC хеші PhotoDNA, він зможе дізнатися, які саме фотографії заборонені та стати їхнім власником.
Більш прогресивним способом порівняння зображень може бути перцептивний хеш на базі штучного інтелекту. Якщо у попередньому способі порівнюються фіксовані атрибути зображення, зі штучним інтелектом ці атрибути можуть змінюватися. Одним з таких атрибутів може бути поза людей в кадрі. Однак штучний інтелект часто може помилково сприймати атрибути.
У Apple кажуть, що їхній сканер CSAM використовує перцептивний хеш на базі штучного інтелекту під назвою NeuralHash. Деякі експерти сумніваються в надійній роботі цієї системи. За їхніми словами, опублікована Apple стаття надто технічна, і при цьому не дає достатньо інформації для відтворення результатів. У Apple заявляють, що шанс помилкового спрацьовування один на трильйон.
Але це може бути маркетинговим ходом, адже для підтвердження компанія повинна була отримати 1 трлн зображень, однак офіційно доступу до iCloud компанія не має, тому постає питання, де ще вона могла отримати 1 трлн зображень? NCMEC, яка була заснована в 1984 році, отримала в 2020 році 65,4 млн файлів. Навіть якщо організація щороку отримувала таку кількість файлів з моменту свого заснування, вона б сьогодні мала усього 2,5 млрд файлів – майже в тисячу разів менше 1 трлн.
Особливість алгоритмів штучного інтелекту, включаючи Apple NeuralHash, в тому, що не можна розрахувати їхню ефективність. Єдиним реальним рішенням є пропускання через них великої кількості зображень. Але у Apple офіційно немає доступу до 1 трлн фото і її оцінка в 1 випадок на трильйон може бути нічим не обґрунтована.
Юридичні проблеми
З моменту оголошення Apple про запуск сканування у пошуку контенту CSAM, багато хто фокусується на доступі до даних. Однак уже сьогодні антивірусні програми сканують пам’ять пристроїв, пошук файлів також сканує вміст накопичувача.
Скануванням пам’яті пристроїв сьогодні займається багато типів додатків, але до цього користувачі не мали жодних наслідків. Сканер Apple CSAM змушуватиме Apple повідомляти у NCMEC та блокувати обліковий акаунт користувача. При цьому юзери не отримують зворотного зв’язку, тому не можуть знати, чи були їхні фото визнані забороненими.
Фото, які CSAM вважає забороненими, відправляються на сервери Apple. Однак це може бути таємна корпоративна інформація, і ніхто не знає, що буде з цими відомостями після відправлення до Apple.
Цікаво, що ініціатива Apple може викликати проблеми у самої Apple. Адже закон США чітко говорить, що надсилати контент CSAM заборонено, за виключенням надсилання до NCMEC. Провайдери не можуть надсилати такий контент навіть у поліцію чи ФБР, можна надсилати лише до NCMEC.
Однак Apple спершу копіює контент собі. Це може бути класифіковане як умисне розповсюдження, збір та доступ до контенту CSAM, що нелегально.
Світ сколихнувся
Оголошення Apple одразу викликало бурхливу реакцію і вона, здебільшого, була негативною. У NCMEC надіслали Apple листа з поздоровленнями щодо запуску ініціативи сканування наявності контенту CSAM.
Чим саме завершиться історія нового інструменту поки невідомо, так само я невідомо, які глобальні наслідки матиме його запуск. Залишається лише спостерігати.
За матеріалами: Hackerfactor
