Apple недавно всколыхнула планету, объявив о новой функции защиты детей с помощью анализа контента. Хотя подобное уже давно выполняется на серверах и, возможно, смартфонах, однако впервые об этом было заявлено официально.
Что было объявлено
В публикации «Расширенная защита для детей» Apple объясняет свой фокус на предотвращение детской эксплуатации. В статье указывается, что распространение детской порнографии (Child Sexual Abuse Material, CSAM) является проблемой.
Устройства Apple предоставляют фотографиям имя по весьма характерным шаблону, и анализ контента некоторых сайтов показывает, что многие материалы CSAM загружается из гаджетов Apple.
Смартфоны iPhone в большинстве случаев синхронизируют свои данные с серверами Apple iCloud. Контент зашифрован, хотя компания ключи шифрования. Однако с юридической точки зрения она не может свободно воспользоваться доступом к контенту.
Единственный легальный путь для Apple в борьбе с CSAM является сканирование контента непосредственно на гаджетах. Такое поведение юридически разрешена. Начиная с iOS 15 на устройствах Apple развернут сканер материалов CSAM. Когда тот найдет запрещены фото — он отправит файл в Apple, а та — в соответствующие инстанции, если фото окажется запрещенным. Apple сообщила, что каждый снимок проверяется вручную.
Одной из таких инстанций Национальный центр пропавших и эксплуатируемых детей (National Center for Missing and Exploited Children, NCMEC). Эта организация ведет реестры запрещенных снимков с контентом CSAM и рассылает их поставщикам услуг.
Проблемы имплементации
Материалы CSAM можно выявлять с помощью криптографической хэш или контрольной суммы. С таким способом не нужно анализировать непосредственно изображения, считается только контрольная сумма для его содержания.
Это довольно простой способ, но с одной проблемой: он пригоден только для файлов, одинаковые в каждом своем байте. Изменение одного бита в байте приводит к различной контрольной суммы, то есть для сканера одинаковые визуально файлы будут разными.
Существует также технология перцептивного хеша. С ней изображения считаются одинаковыми, если определенные участки на них одинаковые. В Microsoft такую ??технологию еще называют PhotoDNA, однако не объясняются точные детали ее работы.
В Microsoft говорят, что хэш PhotoDNA не позволяет восстановить изображение. Однако хэши PhotoDNA можно построить в виде сетки 26×26. Это немного, но на таком изображении можно распознать людей и объекты.
Если кто-то получит имеющиеся в NCMEC хэши PhotoDNA, он сможет узнать, какие именно фотографии запрещены и стать их владельцем.
Более прогрессивным способом сравнения изображений может быть перцептивный хэш на базе искусственного интеллекта. Если в предыдущем способе сравниваются фиксированные атрибуты изображения, с искусственным интеллектом эти атрибуты могут меняться. Одним из таких атрибутов может быть вне людей в кадре. Однако искусственный интеллект часто может ошибочно воспринимать атрибуты.
В Apple говорят, что их сканер CSAM использует перцептивный хэш на базе искусственного интеллекта под названием NeuralHash. Некоторые эксперты сомневаются в надежной работе этой системы. По их словам, опубликованная Apple статья слишком техническая, и при этом не дает достаточно информации для воспроизведения результатов. В Apple заявляют, что шанс ложного срабатывания один на триллион.
Но это может быть маркетинговым ходом, ведь для подтверждения компания должна была получить 1 трлн изображений, однако официально доступа к iCloud компания не имеет, поэтому возникает вопрос, где еще она могла получить 1 трлн изображений? NCMEC, которая была основана в 1984 году, получила в 2020 году 65400000 файлов. Даже если организация ежегодно получала такое количество файлов с момента своего основания, она бы сегодня было всего 2500000000 файлов — почти в тысячу раз меньше 1 трлн.
Особенность алгоритмов искусственного интеллекта, включая Apple NeuralHash, в том, что нельзя рассчитать их эффективность. Единственным реальным решением является пропускания через них большого количества изображений. Но у Apple официально нет доступа к 1 трлн фото и ее оценка в 1 случай на триллион может быть ничем не обоснована.
Юридические проблемы
С момента объявления Apple о запуске сканирования в поиске контента CSAM, многие фокусируется на доступе к данным. Однако уже сегодня антивирусные программы сканируют память устройств, поиск файлов также сканирует содержимое накопителя.
Сканированием памяти устройств сегодня занимается много типов приложений, но к этому пользователи не имели никаких последствий. Сканер Apple CSAM заставлять Apple сообщать в NCMEC и блокировать учетную аккаунт пользователя. При этом пользователи не получают обратной связи, поэтому не могут знать, были ли их фото признаны запрещенными.
Фото, которые CSAM считает запрещенными, отправляются на серверы Apple. Однако это может быть тайная корпоративная информация, и никто не знает, что будет с этими сведениями после отправки в Apple.
Интересно, что инициатива Apple может вызвать проблемы в самой Apple. Ведь закон США четко говорит, что отправлять контент CSAM с апрещено, исключая отправку в NCMEC. Провайдеры не могут отправлять такой контент даже в полицию или ФБР, можно отправлять только в NCMEC.
Однако Apple сначала копирует контент себе. Это может быть классифицировано как умышленное распространение, сбор и доступ к контенту CSAM нелегально.
Мир всколыхнулся
Объявление Apple сразу вызвало бурную реакцию и она, в основном, была отрицательной. В NCMEC прислали Apple письмо с поздравлениями по запуску инициативы сканирования наличии контента CSAM.
Чем именно завершится история нового инструмента пока неизвестно, так же я неизвестно, какие глобальные последствия будет иметь его запуск. Остается только наблюдать.
По материалам: Hackerfactor
