У 2020 році дослідники з Центру тероризму, екстремізму та боротьби з тероризмом Інституту міжнародних досліджень Міддлбері виявили, що GPT-3, технологія, що лежить в основі ChatGPT, має «вражаюче глибокі знання про екстремістські спільноти» і може бути спонуканою до полеміки в стиль масових шутерів, фейкові теми форумів, де обговорюється нацизм, захист QAnon і навіть багатомовні екстремістські тексти.

OpenAI використовує машини та людей для моніторингу вмісту, який надходить у ChatGPT та створюється ним, сказав речник. Компанія покладається як на своїх тренерів зі штучного інтелекту, так і на відгуки користувачів, щоб ідентифікувати та відфільтрувати токсичні навчальні дані, навчаючи ChatGPT створювати більш обґрунтовані відповіді.

Політика OpenAI забороняє використовувати її технологію для сприяння нечесності, обману чи маніпулювання користувачами чи спроби вплинути на політику; компанія пропонує безкоштовний інструмент модерації для обробки вмісту, який пропагує ненависть, самоушкодження, насильство або секс. Але на даний момент інструмент пропонує обмежену підтримку для інших мов, окрім англійської, і не визначає політичні матеріали, спам, обман чи зловмисне програмне забезпечення. ChatGPT попереджає користувачів, що він «іноді може створювати шкідливі інструкції або упереджений вміст».

Минулого тижня OpenAI анонсувала окремий інструмент , який допоможе визначити, коли текст був написаний людиною, а не штучним інтелектом, частково для ідентифікації автоматизованих кампаній дезінформації. Компанія попередила, що її інструмент не є повністю надійним — він точно ідентифікує текст штучного інтелекту лише в 26 відсотках випадків (у той час як неправильно позначає написаний людиною текст у 9 відсотках випадків) — і його можна уникнути. Інструмент також мав проблеми з текстами, які мали менше 1000 символів або були написані не англійською мовою.

Арвінд Нараянан, професор інформатики в Прінстоні, написав у Twitter у грудні, що він поставив ChatGPT кілька базових запитань про інформаційну безпеку, які ставив студентам на іспиті. Чат-бот відповів відповідями, які звучали правдоподібно, але насправді були нісенітницею, написав він.

«Небезпека полягає в тому, що ви не можете сказати, коли це неправильно, якщо ви вже не знаєте відповідь», — написав він . «Це було настільки тривожно, що мені довелося дивитися на свої еталонні рішення, щоб переконатися, що я не втрачаю розуму».

Дослідники стурбовані тим, що цю технологію можуть використати іноземні агенти, які сподіваються поширити дезінформацію англійською мовою. Такі компанії, як Hootsuite, уже використовують багатомовні чат-боти, такі як платформа Heyday, щоб підтримувати клієнтів без перекладачів.