Свіже дослідження показало, що на липень 2023 року мовна модель GPT-4, що лежить в основі чат-бота, стала набагато «дурнішою», ніж та сама модель, але на березень 2023 року. При цьому мовна модель GPT-3.5, навпаки, у більшості завдань стала кращою, хоча й має проблеми. 

Дослідники Стенфордського університету ставили чат-боту різні питання та оцінювали правильність відповідей. Причому йшлося не про якісь абстрактні речі, а про цілком конкретні. Наприклад, ІІ повинен був відповісти, чи число 17 077 простим. Щоб краще зрозуміти процес «роздумів» ІІ, а заразом покращити результат, чат-бота попросили розписувати свої обчислення крок за кроком. Зазвичай у такому режимі ІІ частіше відповідає правильно. 

Однак це не допомогло. Якщо ще у березні модель GPT-4 давала правильну відповідь у 97,6% випадків, то у червні показник упав… до 2,4%! Тобто майже ніколи чат-бот не міг правильно відповісти на запитання. У разі GPT-3.5 показник, навпаки, зріс із 7,4% до 86,8%.  

Погіршилася і створення коду. Вчені створили набір даних із 50 простими завданнями з LeetCode та виміряли, скільки відповідей GPT-4 виконувались без будь-яких змін. Березнева версія успішно впоралася з 52% проблем, але при використанні червневої моделі цей показник упав до 10%. 

До речі, на зниження розумових здібностей ChatGPT в останні тижні скаржаться і користувачі. При цьому поки неясно, чому так сталося і чи зробить щось компанія OpenAI.