Siri в Apple Vision Pro научилась распознавать реальные и виртуальные объекты

С выходом тестовой версии операционной системы visionOS умный помощник Siri получил продвинутые функции визуального анализа. Теперь ассистент в гарнитуре смешанной реальности от Apple способен распознавать не только физические предметы в помещении, но и открытые виртуальные окна приложений.

Интеграция Siri и визуального интеллекта

В отличие от мобильных устройств на iOS и iPadOS, где функции визуального поиска запускаются через приложение «Камера», на Vision Pro достаточно произнести стандартную команду активации. Помощник появляется в виде трехмерной светящейся сферы, которая проецирует реалистичные световые эффекты на реальную мебель и предметы в комнате благодаря алгоритмам пространственной графики.

При запросе пользователя о том, что находится перед ним, система запускает функцию сканирования, которая отслеживает направление взгляда. Искусственный интеллект успешно распознает как физические объекты (например, книги на полках и декоративные фигурки), так и виртуальные элементы интерфейса. Процесс анализа происходит по принципу создания мгновенного снимка, что схоже с работой аналогичных ИИ-сервисов в умных очках от компании Meta* или гарнитурах сторонних производителей.

Распознавание физических и виртуальных объектов в работе

В ходе тестирования Siri продемонстрировала способность одновременно анализировать реальные гаджеты на столе и запущенные виртуальные приложения. Умный помощник может существенно упростить выполнение повседневных рабочих задач:

• быстро составлять краткую выжимку текстовых заметок по устному запросу;
• анализировать содержимое открытых браузерных вкладок;
• распознавать информацию на виртуальном экране подключенного компьютера MacBook.

Создание объемного фона из панорамных снимков

В новой версии операционной системы также появилась функция преобразования обычных панорамных фотографий в трехмерное окружение. В отличие от стандартных виртуальных сред Apple, такие фоны не содержат анимации или фоновых звуков. Они представляют собой масштабные полукруглые 3D-панорамы, по краям которых все еще видна реальная комната. Тем не менее, функция позволяет создавать глубокий эффект присутствия при просмотре личных кадров. Похожие технологии трехмерной реконструкции на основе нейросетей уже используются в гарнитурах Meta* Quest.

Перспективы развития технологии

Внедрение визуального ИИ открывает большие возможности для создания компактных и доступных умных AR-очков будущего. На данный момент для использования этих функций требуется дорогостоящая гарнитура Vision Pro стоимостью 3499 долларов. Однако эксперты полагают, что с появлением более легких и дешевых устройств дополненной реальности от сторонних разработчиков, интеграция голосовых помощников с компьютерным зрением станет повсеместной.

* — деятельность компании запрещена на территории РФ