С распространением искусственного интеллекта возрастает и поле для возможных злоупотреблений. Правообладатели опасаются, что ИИ не будет соблюдать авторские права, а ряд пользователей тревожится, что технологии начнут распоряжаться персональной информацией автономно и без контроля.
На фоне этих опасений в центре внимания оказались новые возможности платформы Zoom. Расширение AI Companion, работающее на базе ИИ, анализирует ход разговоров участников, извлекает смысл и формирует «суммари» — развернутый конспект обсуждения. Пользователей встревожила формулировка в «Соглашении об обслуживании», где компания указывает, что «может распоряжаться персональными данными клиентов на собственное усмотрение, включая развитие технологий машинного обучения».
Zoom обновила свои Terms of Service еще 2 марта 2023 года. Долгое время это изменение оставалось незамеченным, но в августе некоторые пользователи обнаружили формулировку, которая, по их мнению, давала платформе почти неограниченный доступ к пользовательским данным — в том числе к биометрическим сведениям и записям разговоров. Компания определяет направления использования таких данных по своему усмотрению, при этом упоминая среди целей развитие машинного обучения.
Что известно об AI Companion от Zoom
Функции ИИ в Zoom доступны только подписчикам платных планов. Согласно описанию тарифов, AI Companion способен автоматически субтитровать речи, анализировать обсуждения и на их основе готовить краткие обзоры. Это даёт возможность тем, кто опоздал на встречу, быстро вникнуть в суть дискуссии, не отвлекая остальных участников. Также функция предназначена для облегчения работы администраторов — автоматически создаются конспекты и сопроводительные материалы, которые раньше приходилось готовить вручную. Кроме того, пользователи могут общаться с чат-ботом, чтобы восстановить упущенную информацию.
Стоит различать два класса данных, которые собирают сервисы и приложения. Первый — «данные, создаваемые сервисом». Сюда входит информация о клиенте и способе использования продукта (данные о местоположении, время активности в приложении, выбранные настройки и т. п.). Платформа рассматривает такие сведения как «свои собственные данные» и может распоряжаться ими без отдельного разрешения пользователя.
Второй — «пользовательские данные». Это содержимое аудио- и видеозаписей, демонстраций экрана и прочих материалов, передаваемых через службу. Если ПО не будет иметь доступа к этим данным, заявленный функционал работать не сможет, поэтому вопрос о безопасности сводится в первую очередь к этике: не предаст ли платформа доверие пользователей и не передаст ли их данные третьим лицам?
Исследователь Брайан Уильям Джонс в соцсети X выразил опасение, что Zoom может самостоятельно распорядиться записями приватных разговоров. В ответ компания опубликовала сообщение, в котором пообещала не использовать приватные данные пользователей без их согласия.
General Data Protection Regulation, или GDPR (ключевой норматив по защите персональных данных), требует, чтобы лицо, запрашивающее обработку, получало согласие владельца данных, а сама обработка была оправдана общественными интересами.
Чтобы уменьшить тревогу пользователей, операционный директор Zoom Апарна Бава дала разъяснения:
«Клиенты Zoom отдельно решают, активировать ли генеративные функции искусственного интеллекта и отдельно, делиться ли контентом с Zoom для улучшения продукта».
8 августа платформа снова изменила «Условия обслуживания», добавив пункт:
«Zoom не будет использовать аудио-, видео- и чат-контент Клиента для обучения нашей модели искусственного интеллекта без вашего согласия».
Платформа просит у пользователя разрешение на обработку его персональной информации. Однако если хост конференции уже дал своё согласие, остальные участники часто лишены возможности отказаться.
Кэтрин Трендакоста из международной организации Electronic Frontier Foundation, занимающейся защитой цифровых прав, обращает внимание на риск утраты контроля над данными в силу служебной иерархии:
«Администратор принимает условия, а директор приказывает сотрудникам пользоваться Zoom. О какой приватности в такой ситуации можно говорить?»
Опыт Zoom: удобство vs безопасность?
Приложение Zoom появилось в 2012 году, но настоящий взрыв популярности случился в период пандемии COVID-19, когда платформа стала массовым средством для рабочих и учебных встреч.
Так, в период с января по март 2020 года акции Zoom выросли в два раза (с $70 до $143 за акцию). В апреле 2020 года число ежедневных пользователей достигло 300 миллионов. Выручка за 2021 год составила $995,7 млн — в 3,2 раза больше, чем годом ранее.
Следует отметить, что бесплатная версия платформы предлагает широкий набор функций: бесплатные встречи продолжительностью до 40 минут и возможность присоединения до 100 участников.
Более чем в 20 странах школы использовали Zoom для онлайн-обучения. Вскоре появились сомнения по поводу безопасности при образовательном применении: преподавателей беспокоило, что записи уроков могут быть использованы для создания новых образовательных продуктов с нарушением авторских прав.
Платформа изначально была уязвима перед атаками злоумышленников и неправильными действиями самих участников. Возникло явление «zoombombing»: злоумышленники вторгались на закрытые конференции и показывали порнографию или угрожали присутствующим.
Один из случаев — хакер, подключившийся к виртуальному заседанию студенческого совета университета Флориды, включил демонстрацию экрана с расистскими и сексуально откровенными изображениями. Вследствие подобных инцидентов ФБР рекомендовало ограничить использование Zoom в образовательных учреждениях.
В апреле 2020 года Департамент образования Нью-Йорка призвал школы прекратить использование Zoom.
Журналисты The Washington Post указывали, что записи звонков Zoom иногда оказываются доступными в сети из-за унифицированных названий файлов — это позволяет найти чужие видеозаписи через простой поиск в интернете.
Позже произошла масштабная утечка видеозаписей приватных разговоров: в сеть попали записи онлайн-уроков, личного общения и деловых встреч, вместе с персональными данными — адресами и телефонными номерами. Тогда исполнительный директор Zoom Эрик Юань признал, что при создании сервиса в 2011 году были не учтены некоторые риски, и пообещал их исправить.
Инженеры платформы оперативно внедрили меры, значительно снизившие риск несанкционированного доступа.
В мае 2020 года в Zoom появилась «комната ожидания». Эта функция дала хостам возможность проверять и фильтровать участников: при подозрительном имени или неподобающем аватаре хост может отклонить подключение. Также администраторы получили возможность блокировать доступ из отдельных стран.
Были введены и другие инструменты безопасности: двухфакторная аутентификация, требование пароля для личных встреч, опции блокировки и приостановки конференций и т.п.
Платные тарифы обеспечивают дополнительные уровни защиты. Так, для корпоративного плана «Бизнес» (примерно $200 в год) доступна система единого входа и управление доменами.
SSO (система единого входа) означает, что персональные данные пользователей находятся под контролем доверенной системы аутентификации (обычно внутренней корпоративной службы администратора). На базе корпоративных учетных данных Zoom формирует уникальный токен для каждого пользователя, который применяется при последующих входах.
В случае компрометации корпоративных учетных записей администраторы могут быстро отозвать доступ ко всем сервисам, использующим SSO, что повышает общую безопасность. Управляемые домены облегчают аудит активности и помогают выявлять подозрительные действия, указывающие на возможное нарушение безопасности данных.
Угроза ИИ: рациональные опасения или предвзятость?
Образы искусственного интеллекта как угрозы стали материалом для многих популярных фильмов. «Терминатор», «Бегущий по лезвию», «Матрица» — все это примеры, где ИИ выступает источником опасности.
Рост роли ИИ в повседневной жизни усилил страх потери контроля над технологиями. Тему удачно подхватил сериал «Черное зеркало» в шестом сезоне. В эпизоде «Жуткая Джоан» показана женщина, которая, согласившись с «Пользовательскими условиями», невольно передала стриминговой платформе все свои персональные данные, на основе которых сервис затем создал новый сериал.
Пользователи хорошо знают, что риск утечки персональных данных реален, а не выдуман. Яркое подтверждение — скандал Cambridge Analytica. В преддверии президентских выборов в США в 2016 году маркетинговая фирма привлекала людей к платным тестам и перенаправляла их с Facebook на сторонний ресурс. В итоге Cambridge Analytica собрала данные примерно 50 миллионов пользователей и использовала их для создания целевых предвыборных кампаний Дональда Трампа.
Эксперт в области кибербезопасности Алексей Барановский подчеркивает, что угроза утечки персональных данных в сети сохраняется даже при наличии всех мер защиты. Zoom в этом плане ничем не выделяется.
«Практически все компании собирают информацию — для маркетинга, продвижения и прочих задач. Если продукт бесплатен, это подразумевает, что организация должна извлекать прибыль иным способом. К примеру, аккумулировать данные и на их основе делать выводы: создавать внутренние решения или смежные продукты. Без этого компания вряд ли сможет выжить. Какой инвестор будет вкладывать в стартап, который не приносит доход?» – объясняет Алексей.
Платформы, собирающие данные, не всегда имеют намерение вводить пользователей в заблуждение. Чаще наоборот: они анализируют поведение людей и на основании этого формируют предложения новых товаров и услуг.
«Реальность жизни в цифровом мире такова, что большое количество (возможно, даже чрезмерное) персональных данных доступно в открытом виде. Но если мы хотим продолжать пользоваться технологическими продуктами, приходится мириться с этим риском. В глобальном масштабе мы становимся более устойчивыми к утечкам» – подводит итог специалист.
