Apple будет сканировать хеш фотографий на наличие сексуального насилия над детьми
Пока только в США.
Компания Apple на своём сайте сообщила о расширении программы по защите детей. Согласно ей, в США на iOS 15, iPadOS 15, watchOS 8 и macOS Monterey появится система, сканирующая контент на наличие CSAM, то есть сексуального насилия над детьми.
Сканирование будет происходить с помощью нейросетей на самом устройстве, а не в iCloud. Apple подчёркивает, что это сделано ради конфиденциальности. Фотографии будут сверяться с хешем изображений, предоставленных Национальным центром пропавших без вести и эксплуатируемых детей (NCMEC), а также другими организациями.
Что такое хеш изображений?
Это изображение, которое было переведено в последовательный набор символов, понятный машинам. Эти символы помогают нейросетям определять, что именно изображено на иллюстрации. То есть, по сути, сравниваются не две фотографии, а закодированная информация этих фотографий.
Выглядит это так: h24Klsa6hpas6y3I91POSj7. Согласитесь, не очень похоже на изображение. Это называется цифровыми отпечатками фото.
Что будет дальше с фотографиями?
Все хеши будут храниться на самом устройстве. У кого будут ключи дешифровки, неизвестно. Но перевести эту информацию обратно в фотографии невозможно.
Фотографии будут загружаться в iCloud вместе с этим хешем, защищённым неназванными криптографическими методами. Тут Apple подчёркивает, что не сможет расшифровать этот ваучер безопасности, если не будет достигнуто пороговое значение известного содержимого CSAM. По словам компании, это свидетельство высокой точности.
Если система обнаруживает превышение этого порогового значения, то Apple вручную будет интерпретировать содержимое ваучеров безопасности. В случае подтверждения учётная запись в iCloud будет заблокирована, а отчёт будет отправлен в NCMEC, которая сотрудничает с правоохранительными органами США.
Если пользователь считает, что система ошиблась, он сможет подать апелляцию. В исходном тексте не уточняется, сколько раз до этого пользователю придётся побеседовать с представителями правоохранительных органов, а также как к этому отнесётся его окружение.
Критика
Вопросы есть к работе самой системы: например, как она определит возраст человека на фотографии? То есть мы можем посмотреть в паспорт человека и сказать, что ему или ей меньше или больше 18 лет. Тем более что есть множество примеров, когда подростки выглядят старше многих совершеннолетних людей.
Если Apple даёт доступ к этой информации таким организациям, как NCMEC, то что будет, если к компании придёт авторитарное правительство и поставит условие: либо вы даёте нам доступ и не лезете, либо уходите с рынка? С помощью системы вполне можно анализировать содержимое на момент оппозиционного контента, если знать, как именно её настроить. Именно об этом говорит Мэттью Грин, профессор криптографии из Университета Джона Хопкинса:
Apple научит ИИ выявлять случаи жестокого обращения с детьми на фотографиях в iPhone
Другой вопрос: на каком основании Apple вообще лезет в смартфоны пользователей, анализируя их контент? Я-то понимаю, что без этого невозможен поиск по галерее айфона, но в этом случае система не уходит из самого смартфона. А тут в облаке будет храниться хеш фотографий, неправильная интерпретация которого вполне может привести к тому, что интимные фотографии сексуальных отношений двух взрослых людей могут просматриваться другими людьми со стороны компании и даже правоохранительных органов.
Если же система будет исключать те случаи, когда непонятно, взрослый это или ребёнок, то что тогда говорить о сексуальном насилии над несовершеннолетними, которых система будет помечать как спорные?
Пока технология, представленная Apple, вызывает очень много вопросов. В первую очередь они касаются конфиденциальности — того, на чём компания делает особый акцент.