Дослідники з Гарвардського університету виявили момент, коли нейронна мережа змінює свою стратегію читання. Від простого аналізу порядку слів до розуміння їхнього значення. Це явище назвали «фазовим переходом» — різкою зміною в поведінці моделі, що нагадує перетворення води на пару, пише ScienceDaily. Як працює розуміння мови в ШІ?

На ранніх етапах навчання мережа просто запам’ятовує структуру речень — тобто де у реченні зазвичай стоїть підмет, дієслово чи об’єкт. Але щойно вона поглинає достатньо тексту, відбувається стрибок: система починає розуміти контекст і сенс. Автори порівнюють це з навчанням дитини читати: спочатку вона запам’ятовує форму слів та їх позицію в реченні, а потім раптом починає їх розуміти. Дослідники вивчали спрощену модель механізму самоуваги — ключового елементу трансформерів, що лежить в основі сучасних мовних моделей.

«Це не плавний розвиток, а різкий стрибок. Нижче певного порогу даних модель повністю покладається на позицію слів. Після — різко переходить на розуміння змісту», — пояснює Уго Куй, докторант Гарвардського університету та перший автор дослідження.

Це відкриття може мати серйозні наслідки для подальшого розвитку штучного інтелекту — від створення більш передбачуваних і безпечних моделей до ефективнішого навчання нейромереж із меншими витратами ресурсів. І воно допомагає наблизити нас до розуміння того, як саме ШІ «мислить».

Источник: thepage.ua