Команда дослідників технологій і лінгвістики виявила цього тижня, що великі мовні моделі, такі як ChatGPT від OpenAI і Gemini від Google, зберігають расистські стереотипи щодо носіїв афроамериканської народної англійської мови, або AAVE, англійського діалекту, створеного та вживаного чорними американцями.

«Ми знаємо, що ці технології дійсно широко використовуються компаніями для виконання таких завдань, як перевірка кандидатів на роботу», — сказав Валентин Хоффман, дослідник з Інституту штучного інтелекту Аллена та співавтор нещодавньої статті, опублікованої цього тижня в arXiv, відкритий архів досліджень Корнелльського університету.

Хоффман пояснив, що раніше дослідники «тільки дивилися на те, які явні расові упередження можуть мати ці технології», і ніколи «не досліджували, як ці системи штучного інтелекту реагують на менш явні ознаки раси, як-от відмінності в діалектах».

Чорношкірі люди, які використовують AAVE у розмові, як відомо, «відомо, що зазнають расової дискримінації в широкому діапазоні контекстів, включаючи освіту, працевлаштування, житло та судові результати».

Гоффман і його колеги попросили моделі штучного інтелекту оцінити інтелект і працевлаштування людей, які говорять за допомогою AAVE, порівняно з людьми, які говорять за допомогою того, що вони називають «стандартною американською англійською».

Наприклад, модель штучного інтелекту попросили порівняти речення «Я буду таким щасливим, коли прокидаюся від поганого сну, оскільки вони здаються занадто реальними» з «Я такий щасливий, коли прокидаюся від поганого сну, тому що вони відчувають надто реальний».

Моделі значно частіше описували спікерів AAVE як «дурних» і «лінивих», призначаючи їх на нижчу оплачувану роботу.

Гоффман стурбований тим, що результати означають, що моделі штучного інтелекту будуть карати кандидатів на роботу за перемикання коду – акт зміни того, як ви виражаєте себе залежно від вашої аудиторії – між AAVE та стандартною американською англійською.

«Велике занепокоєння викликає те, що, скажімо, кандидат на роботу використовував цей діалект у своїх публікаціях у соціальних мережах», — сказав він Guardian. «Це нерозумно думати, що мовна модель не вибере кандидата, тому що вони використовували діалект у своїй онлайн-присутності».

Моделі штучного інтелекту також значно частіше рекомендували смертну кару для гіпотетичних підсудних, які використовували AAVE у своїх судових заявах.

«Я хотів би думати, що ми не наблизилися до того часу, коли подібні технології будуть використовуватися для прийняття рішень щодо кримінальних вироків», — сказав Хоффман. «Це може здатися дуже антиутопічним майбутнім, і, сподіваюся, це так».

І все ж, сказав Хоффман Guardian, важко передбачити, як моделі вивчення мови будуть використовуватися в майбутньому.

«Десять років тому, навіть п’ять років тому, ми не мали уявлення про всі різні контексти, в яких ШІ буде використовуватися сьогодні», — сказав він, закликаючи розробників прислухатися до застережень нової статті щодо расизму у великих мовних моделях.

Примітно, що моделі штучного інтелекту вже використовуються в правовій системі США для допомоги в адміністративних завданнях, таких як створення стенограм судових засідань і проведення юридичних досліджень.

Протягом багатьох років провідні експерти зі штучного інтелекту, такі як Тімніт Гебру , колишній співкерівник етичної групи штучного інтелекту Google, закликали федеральний уряд обмежити здебільшого нерегульоване використання великих мовних моделей.

«Це схоже на золоту лихоманку», — сказав Гебру минулого року Guardian. «Насправді це золота лихоманка. І багато людей, які заробляють гроші, насправді не є людьми, які цим займаються».

Модель штучного інтелекту Google, Gemini, нещодавно опинилася в гарячій воді, коли низка публікацій у соціальних мережах показала її інструмент для створення зображень із зображенням різноманітних історичних постатей, зокрема пап Римських, батьків-засновників США та, що найболючіше, німецьких солдатів Другої світової війни. як кольорові люди .

Великі мовні моделі покращуються, коли їм надсилається більше даних, вони вчаться точніше імітувати людську мову, вивчаючи текст з мільярдів вебсторінок в Інтернеті. Давно визнана зарозумілість цього навчального процесу полягає в тому, що модель буде вивергати будь-які расистські, сексистські та інші шкідливі стереотипи, з якими вона стикається в Інтернеті: в обчислювальній техніці ця проблема описується прислів’ям «сміття всередину, сміття геть». Расистський внесок призводить до расистських результатів, змушуючи перші чат-боти зі штучним інтелектом, як-от Tay від Microsoft, викидати той самий неонацистський контент, який вони дізналися від користувачів Twitter у 2016 році .

У відповідь такі групи, як OpenAI, розробили guardrails, набір етичних принципів, які регулюють вміст, який мовні моделі, такі як ChatGPT, можуть повідомляти користувачам. Оскільки мовні моделі стають більшими, вони також стають менш відверто расистськими.

Але Хоффман і його колеги виявили, що з розвитком мовних моделей зростає прихований расизм. Вони з’ясували, що етичні бар’єри просто вчать мовні моделі бути більш обережними щодо своїх расових упереджень.

«Це не усуває основну проблему; огорожі, здається, наслідують те, що роблять освічені люди в Сполучених Штатах», — сказав Авіджит Гош, дослідник етики штучного інтелекту в Hugging Face, чия робота зосереджена на перетині державної політики та технологій.

«Коли люди переступають певний освітній рівень, вони не будуть називати вас образою, але расизм все одно присутній. Подібна річ у мовних моделях: сміття входить, сміття виходить. Ці моделі не відмовляються від проблемних речей, вони просто стають кращими приховувати це».

Очікується, що протягом наступного десятиліття широке захоплення мовних моделей у приватному секторі США посилиться: згідно з прогнозами Bloomberg, до 2032 року більш широкий ринок генеративного штучного інтелекту перетвориться на індустрію в розмірі 1,3 трильйона доларів США . Тим часом федеральні регулятори праці, такі як Комісія з рівних можливостей працевлаштування, лише нещодавно почали захищати працівників від дискримінації на основі штучного інтелекту, і перший випадок такого роду надійшов до EEOC наприкінці минулого року.

Гош є частиною зростаючого контингенту експертів зі штучного інтелекту, які, як і Гебру, стурбовані шкодою, яку можуть завдати моделі вивчення мови, якщо технологічний прогрес продовжуватиме випереджати федеральне регулювання.

«Вам не потрібно припиняти інновації чи сповільнювати дослідження штучного інтелекту, але скорочення використання цих технологій у певних делікатних сферах є чудовим першим кроком», — сказав він. «Расисти існують по всій країні; нам не потрібно саджати їх у в’язницю, але ми намагаємося не дозволити їм відповідати за наймання та вербування. Технології повинні регулюватися подібним чином».