Підрозділ компанії Apple, Apple Research, провів дослідження майбутнього функціоналу навушників AirPods, яке показало, що моделі ШІ можуть оцінювати частоту серцевих скорочень за записами стетоскопа, вбудованого в навушники.

Повідомляється, що дослідження відкриває можливість для перетворення AirPods на повноцінний кардіомонітор. У дослідженні було задіяно шість популярних базових ШІ-моделей, навчених на аудіо або живому мовленні: вчені перевірили, наскільки ефективно “аудіопредставлення” ШІ можуть бути використані для оцінки частоти серцевих скорочень за записами звуків серця, або фонокардіограмами.

Тестування проводилося на загальнодоступному наборі даних, що включає реальні серцеві звуки, анотовані експертами. Більшість моделей працювали так само точно, як і старі методи, засновані на ручних аудіофункціях – способах представлення звуку, розроблених вручну і давно використовуваних у традиційних моделях машинного навчання.

Однак, власна модель компанії, Apple CLAP (Contrastive Language-Audio Pretraining), навчена на 3 млн аудіозразків, була перевірена на здатність оцінити частоту серцевих скорочень з використанням фонокардіограм. Результати показали, що власна модель Apple перевершила не тільки традиційні методи машинного навчання на основі ручних аудіофункцій, а й більшість інших моделей.

Як зазначає портал 9to5Mac, який звернув увагу на дослідження, для навчання нейромережі Apple використовувала короткі 5-секундні записи серцевих скорочень в ударах на хвилину. Глибші шари обробки інформації великих моделей не завжди виявлялися ефективнішими, оскільки кодували менш корисну інформацію через оптимізацію для мови.

Неглибокі або середні шари показали кращі результати. Дослідження виявило, що поєднання традиційної обробки сигналів і штучного інтелекту нового покоління може дати більш точні оцінки частоти серцевих скорочень, оскільки кожен підхід заповнював недоліки іншого. Це дасть змогу Apple краще визначити моделі та шари для вилучення важливих сигналів про стан здоров’я, якщо вона вирішить впровадити подібний аналіз у свої пристрої.

Источник: itechua.com