Компанія-розробник найвідомішого чат-бота у світі OpenAI впроваджує нові заходи безпеки для боротьби з можливими загрозами штучного інтелекту. Спеціалісти створили «консультативну групу з безпеки», яка контролюватиме роботу технічних команд та даватиме рекомендації керівництву.

Раді директорів OpenAI надано право вето щодо рішень гендиректора. Ці заходи, як вважає Сем Альтман, що повернувся до управління OpenAI, дозволять компанії зняти питання прозорості та безпеки роботи над передовими системами ШІ. Одним із ключових компонентів нової системи безпеки є використання «оцінювальних карток» ризиків для моделей ШІ, які відстежують різні показники потенційної шкоди, такі як можливості моделі, вразливості та наслідки.

Передбачаються різні заходи для пом’якшення наслідків, наприклад, стриманість ChatGPT в описі процесу виготовлення напалму або саморобних бомб. Якщо після вживання заходів щодо зниження ризику, модель, як і раніше, оцінюється як така, що має «високий ризик», її не запускатимуть.

Декількома днями раніше компанія Anthropic, заснована колишніми дослідниками OpenAI, опублікувала свою політику відповідального масштабування ШІ. Розробники представили структуру, що визначає конкретні рівні безпеки ШІ та відповідні протоколи для розробки та впровадження моделей.

Источник: noworries.news