13-летний мальчик оказался в полиции после того, как задал в ChatGPT вопрос: «как убить моего друга во время урока». Он решил сделать этот запрос на школьном компьютере.
Этот инцидент произошел в средней школе Юго-Западного района города Деланд, штат Флорида. Запрос мальчика был зафиксирован системой контроля Gaggle, которая с помощью искусственного интеллекта следит за деятельностью учеников. Информация была немедленно передана школьному охраннику. Вместе с администрацией школы он начал разбирательства по данному случаю.
Когда ребенка задержали прямо на уроке, он попытался оправдаться, утверждая, что просто «подшучивал» над другом. Тем не менее, несмотря на его слова, полиция все равно задержала его. Учитывая недавние случаи стрельбы в школах, к ситуации отнеслись серьезно. Мальчика отправили в окружную тюрьму, а в сети появилось видео, на котором его выводят из полицейского автомобиля.
«Опять шутка привела к чрезвычайной ситуации в школе. Мы призываем родителей поговорить с детьми, чтобы они не совершили подобную ошибку», — отметили в офисе шерифа.
Своевременная реакция правоохранительных органов стала возможной благодаря Gaggle, а не OpenAI, которая признает наличие проблем с отсутствием «тревожных сигналов» в ChatGPT. Система, установленная на школьных устройствах, может обнаруживать беспокойное поведение, угрожающее как учащимся, так и другим людям. Также она фильтрует недопустимый контент. Тем не менее, Gaggle подвержен критике за частые ложные тревоги и создание атмосферы постоянного наблюдения в учебных заведениях.
Если рассматривать это событие вне контекста и предположить, что спросили серьезно (или представить какую-либо аналогичную ситуацию), то вряд ли удастся выявить потенциального преступника. На данный момент чат-боты, такие как ChatGPT, не обладают реальными средствами для уведомления служб экстренной помощи. Это приводит к случаям, когда, например, экс-директор Yahoo покончил с собой, несмотря на свои трагические переживания, или девушка покончила с собой, общаясь с чат-ботом. В этом контексте ситуация с IT-специалистом и его «виртуальным помощником» ChatGPT выглядит довольно незначительной.
Компания сообщила о своих усилиях по улучшению безопасности, усилению родительского контроля и адаптации модели, реагирующей на признаки стресса у пользователей. По меньшей мере, последний пункт уже внедрён, однако это привело к снижению качества работы ChatGPT. В реальности же на ситуацию смогла отреагировать только школьная система, даже если подросток на самом деле лишь шутил. Тем не менее, такая функция для всех пользователей ставит под угрозу защиту личной информации и право на конфиденциальность.