Британське агентство з кібербезпеки попередило, що хакери можуть маніпулювати чат-ботами, щоб спричинити жахливі наслідки в реальному світі.

Національний центр кібербезпеки (NCSC) заявив про наростальні ризики кібербезпеки, пов’язані з тим, що особи маніпулюють підказками за допомогою атак «швидкого впровадження».

Тут користувач створює вхідні дані або підказки, які створені для того, щоб змусити мовну модель – технологію, що лежить в основі чат-ботів – поводитися ненавмисно.

Чат-бот працює на основі штучного інтелекту та може давати відповіді на запитання користувачів. Вони імітують людські розмови, яким їх навчили, збираючи великі обсяги даних. Чат-боти, які зазвичай використовуються в онлайн-банкінгу чи онлайн-магазинах, зазвичай призначені для обробки простих запитів.

Великі мовні моделі (LLM), такі як ChatGPT від OpenAI і чат-бот Google Bard зі штучним інтелектом, навчаються з використанням даних, які генерують людські відповіді на підказки користувача.

Оскільки чат-боти використовуються для передачі даних стороннім додаткам і службам, NCSC заявив, що ризики від зловмисного швидкого впровадження зростатимуть.

Наприклад, якщо користувач вводить твердження чи питання, з якими мовна модель не знайома, або якщо він знаходить комбінацію слів, яка замінює вихідний сценарій моделі або підказки, користувач може змусити модель виконувати ненавмисні дії.

Такі дані можуть призвести до того, що чат-бот створюватиме образливий вміст або розкривати конфіденційну інформацію в системі, яка приймає неперевірені дані.

Цього року Microsoft випустила нову версію пошукової системи Bing і розмовного бота на базі LLM. Студент Стенфордського університету Кевін Лю зміг створити підказку, щоб знайти початкову підказку Bing Chat .

Весь запит Bing Chat від Microsoft, список заяв, написаних Open AI або Microsoft, які визначають, як чат-бот взаємодіє з користувачами, який прихований від користувачів, був розкритий Лю, який вставив запит, який просив Bing Chat «ігнорувати попередні інструкції». ”.

Дослідник безпеки Йоганн Ребергер виявив, що він може змусити ChatGPT відповідати на нові підказки через третю сторону, яку він спочатку не запитував.

Ребергер провів швидку ін’єкцію через стенограми YouTube і виявив, що ChatGPT може отримати доступ до стенограм YouTube, що може спричинити більше непрямих уразливостей швидкої ін’єкції.

За даними NCSC, миттєві ін’єкційні атаки також можуть призвести до реальних наслідків, якщо системи не розроблені з урахуванням безпеки. Вразливість чат-ботів і легкість, з якою можна маніпулювати підказками, можуть спричинити атаки, шахрайство та крадіжку даних.