Apple опублікувала два нових наукових звіти у своєму блозі про машинне навчання. Вони розкривають, над якими можливостями може працювати Apple Intelligence у майбутньому. Один із проєктів спрямований на поліпшення фотограмметрії, другий – на створення інтелектуального відеоасистента, здатного реагувати в реальному часі.

Matrix3D: об’єкти з 2D у 3D за кілька кадрів Перша ШІ-модель – Matrix3D – являє собою потужний інструмент для фотограмметрії. На відміну від традиційного підходу, де кожен етап (глибина, ракурс, побудова моделі) вимагає окремих алгоритмів і десятків або сотень зображень, Matrix3D справляється із завданням за допомогою всього двох-трьох кадрів.

Це стало можливим завдяки єдиній архітектурі та особливій методиці навчання – модель “заповнює прогалини” в неповних даних і реконструює тривимірні об’єкти з високою точністю. Такий підхід уже може використовуватися, наприклад, у Vision Pro, де Apple застосовує ШІ для створення 3D-зображень навіть зі звичайних фото.

StreamBridge: відеоасистент, який реагує сам Друга модель, StreamBridge, являє собою “стримінгового асистента”, здатного аналізувати відеопотік у режимі реального часу. На відміну від ШІ-систем, які обробляють уже записані ролики, цей інструмент здатний вести діалог під час відео, розпізнавати об’єкти і підказувати дії без запиту користувача.

Наприклад, якщо ви малюєте, StreamBridge може почати коментувати ваші кроки і давати поради, ніби це досвідчений наставник. Модель може стати основою для нових функцій у Siri або застосунку “Камера”, забезпечивши інтелектуальну підтримку під час взаємодії з навколишнім світом.

Майбутнє Apple Intelligence Обидві моделі можуть стати основою для наступних поколінь інструментів Apple Intelligence. Matrix3D відкриває можливості для швидкого 3D-моделювання і доповненої реальності, а StreamBridge – для розумного аналізу відеоконтенту і допомоги користувачеві в реальному часі.

Apple дедалі активніше просуває ШІ-технології, інтегруючи їх у повсякденні функції – від обробки листів до створення зображень. Нові дослідження підтверджують: компанія не просто слідує трендам, а готує фундамент для якісно нового користувацького досвіду.

Источник: itechua.com