Apple рассчитался с невинными: 40 тысяч россиян потеряли доступ к своим аккаунтам из-за ошибки нейросети

Когда ИИ ошибается, расплачивается рядовой пользователь

Представьте: вы просыпаетесь, проверяете телефон, а там сообщение. Apple заблокировал ваш аккаунт. Причина звучит как шутка: ваше имя и фамилия совпали с именем человека из санкционного списка США или ЕС. Жизнь для миллионов россиян эта шутка стала реальностью на прошлой неделе.

Примерно 40 тысяч человек проснулись в один прекрасный день и обнаружили, что не могут ни скачать приложение, ни сделать покупку, ни проверить облачное хранилище. Их аккаунты Apple попали под блокировку. И причина — в том, что нейросеть Apple ошиблась.

Да, те самые миллиарды долларов, потраченные на разработку искусственного интеллекта, привели к появлению системы, которой было доверено охранять санкции США и ЕС. И эта система сломалась так, как может сломаться только очень умная, очень сложная и при этом очень глупая вещь.

Как нейросеть "защищала" от санкций

Логика была простой. В США и ЕС есть санкционные списки — перечни людей, с которыми нельзя иметь дел. Человек из России не должен иметь возможность пользоваться services Apple, если его финансовые операции могут быть связаны с санкционером. Правильно? Правильно.

Но как проверить, что конкретный пользователь из России — это именно тот санкционер, которого нужно ограничить? Тут и включается нейросеть.

Система, по словам источников business-magazine.online, использовала очень простой алгоритм: сопоставляла фамилию и дату рождения пользователя с данными из санкционных списков. Вот и всё. Никаких отпечатков пальцев, никаких сверок по паспортным номерам, никаких проверок статуса. Просто: есть совпадение по фамилии и дате рождения — блокируем.

Звучит как-то... примитивно, правда? Как методика проверки из 1950-х годов, но с добавлением слова "ИИ" в деловом описании. И все бы ничего, но вот беда: в России живет примерно 144 миллиона человек. А в санкционных списках — примерно 9000 человек. Из них — россияне.

Если в России на каждую фамилию приходится в среднем 500-1000 человек (это примерно так и есть), то совпадения по фамилии и дате рождения — это норма, а не исключение. Это как если бы вы пришли в аэропорт, сказали: "Я Иван Иванов", а охрана ответила: "Вы арестованы, потому что в списке разыскиваемых стоит человек по имени Иван Иванов". "Но вы же не проверили, какой это Иван Иванов!" — кричите вы. "А зачем?" — пожимает плечами охрана.

Результат: 40 тысяч невинных людей получили по лбу от умной системы.

Что произошло на практике

Представьте такую сцену. Вы — обычный человек, живете в России, работаете, скачиваете приложения, покупаете подписку на музыку, облако, игры. Ничего криминального. Вчера вы спокойно загружали фото в iCloud, а сегодня утром — бам! — система говорит вам:

"Ваш аккаунт заблокирован. Ваши персональные данные совпадают с данными лица, находящегося под санкциями США или ЕС. Для разблокировки подтвердите свою личность."

Какова ваша первая реакция? Паника. Ваша вторая реакция? Смешанная гнев и недоумение. Потому что вы точно знаете, что вы не санкционер. Вы просто Иван Петров, учитель географии из Воронежа, или Мария Сидорова, программистка из Екатеринбурга.

Но Apple уже не верит вам. Apple теперь доверяет только нейросети. И нейросетью, похоже, занимается очень молодой и очень амбициозный программист, который решил, что фамилия и дата рождения — это достаточно для проверки человека.

Вы начинаете искать способ разблокировки. И тут вас ждет второй удар.

"Пожалуйста, отправьте нам свой паспорт"

Для того чтобы доказать, что вы не террористический спонсор, а просто обычный человек, Apple просит у вас... фотографии паспорта. С обеих сторон. С четким изображением ваших персональных данных.

Понимаете запах парадокса?

news.ru сообщает, что именно этот момент вызвал огромную обеспокоенность у пользователей. Потому что у людей возникает логичный вопрос: если система уже неправильно обработала мои персональные данные и заблокировала мой аккаунт, почему я должен отправлять еще больше персональных данных той же компании?

Где гарантия, что мой паспорт не потеряется в облаке? Где гарантия, что его не украдут? Где гарантия, что когда-нибудь эти данные не всплывут на каком-нибудь форуме хакеров?

Apple на это отвечает молчанием. Потому что гарантий нет. Есть только просьба: пожалуйста, доверьте нам фотографию вашего паспорта. Мы обещаем, что ничего плохого не произойдет. А если произойдет, то, ну... это форс-мажор.

Процедура разблокировки: 5 часов ада

Частью пострадавших уже удалось восстановить доступ к аккаунтам. По данным источников, процедура занимает от нескольких часов до пяти часов. Потому что вся проверка идет в ручном режиме.

Давайте еще раз проанализируем эту фразу: в ручном режиме.

То есть нейросеть ошиблась. Теперь ошибку исправляет человек. Человек читает ваши данные, смотрит на ваш паспорт, думает: "Ну да, это не санкционер, это просто Сергей Смирнов из Краснодара". И разблокирует ваш аккаунт.

Почему это не могло делать автоматически с самого начала? Почему нужна была вообще эта "умная" система, если в конце она все равно требует человеческого вмешательства?

Вот вам и преимущества искусственного интеллекта. Медленнее, чем автоматический процесс. Ошибается чаще, чем человек. Но звучит более научно и впечатляюще в пресс-релизах.

Страх перед "большим братом" Apple

А теперь самое интересное. Представьте, что вы благополучно восстановили доступ к своему аккаунту. Вы отправили фотографию паспорта в Apple, прошли проверку, вот вы снова можете скачивать приложения. Отлично!

Но теперь вы знаете, что:

У Apple есть фотография вашего паспорта. Со всеми вашими персональными данными. С вашей фотографией. Со штампами, датами. Всё.

Apple может допустить новую ошибку. Если нейросеть ошиблась один раз, она может ошибиться и во второй раз. А может, в следующий раз алгоритм будет еще более строгим, чтобы "защитить" от нарушений.

Apple может передать эти данные authorities. Государственным органам, спецслужбам, кому угодно. Потому что это компания, зарегистрированная в США, а США имеют свои законы про сбор данных.

Данные могут быть украдены. Рано или поздно любые базы данных взламываются. И если это произойдет, ваш скан паспорта будет в свободном доступе на каком-нибудь даркнете.

Пользователи чувствуют себя виноватыми. Но виноватыми в чем? В том, что их фамилия совпала с фамилией санкционера? За что их наказывают, если вина не доказана?

Это уже не про технологию. Это про то, как технология может быть использована как инструмент контроля. Даже случайно.

Цена прогресса

hi-tech.mail.ru пишет о том, что ситуация вызвала волну недовольства в интернете. И неудивительно.

Потому что за столько лет развития технологий, облачных хранилищ, нейросетей, мы пришли к тому, что:

Система может заблокировать вас по ошибке

Система требует от вас документы для разблокировки

Система оставляет у себя копии этих документов

Система может повторить ошибку снова

Система не несет ответственности перед пользователями

Это не совсем то, что обещали разработчики. Еще десять лет назад казалось, что будущее — это мир, где технологии служат людям, адаптируются под человека, делают жизнь проще. А получилось, что будущее — это мир, где технология предполагает худшее о человеке и требует от него доказательств невиновности.

Сочувствие к пострадавшим

Если вы читаете это и вы один из 40 тысяч, чьи аккаунты были заблокированы — вам по сочувствию. Потому что вы сделали то, что делают миллиарды людей: купили iPhone, создали аккаунт Apple, доверили компании свои фотографии, контакты, платежные данные. И в ответ получили ошибку нейросети.

Вы не виноваты. Виноват алгоритм, который был написан людьми, которые не продумали очевидные вещи. Виноват процесс проверки, который был настроен без должной заботы о пользователях.

И вам пришлось:

Испугаться (потому что внезапная блокировка всегда пугает)

Разобраться, что произошло

Собрать документы

Отправить фотографию паспорта в неизвестность

Ждать целых 5 часов, пока человек вручную проверит, что вы не террористический спонсор

И теперь жить с мыслью, что ваши персональные данные хранятся неизвестно где

Это много.

Что происходит дальше?

Apple пока не издала официального заявления. По крайней мере, общественное. Возможно, где-то в служебных записках обсуждают, как это произошло и как это предотвратить в будущем.

Но давайте будем реалистами: вероятнее всего, они просто улучшат алгоритм. Может быть, добавят проверку по отчеству (если у вас есть отчество). Может быть, будут сопоставлять по номеру паспорта вместо даты рождения. Может быть, уменьшат порог ошибки.

Но суть останется той же: система будет искать совпадения, и периодически она будет ошибаться. Потому что нейросети ошибаются. Это факт. И чем более амбициозна задача, которую вы даете нейросети, тем больше она ошибается.

Вместо заключения: доверие в эпоху технологии

Есть такая концепция в психологии — "технологическое доверие". Это когда вы доверяете устройству, системе, алгоритму. Вы верите, что они работают правильно. И часто это доверие оправдано — большинство технологий работают как надо.

Но случаи вроде блокировки Apple ID показывают, что доверие — это хрупкая вещь. Достаточно одной крупной ошибки, и люди начинают сомневаться: а может быть, я вообще не должен доверять этому устройству? Может быть, оно неправильно понимает меня? Может быть, оно будет ошибаться и в других аспектах?

А это уже философский вопрос. И Apple на него не успела ответить.

В любом случае, 40 тысячам людей в России сегодня стало немного понятнее, как мир на самом деле работает. И это понимание они получили дорогой ценой — ценой недоверия к технологиям, которыми они пользуются каждый день.