Мероприятие Apple WWDC (Всемирная конференция разработчиков) вызвало большой интерес, но наше внимание привлек, в частности, один новый инструмент — сайт для фото- и видеосъемки. Это новая технология Object Capture, доступная для Mac.
Она позволяет создателям создавать 3D-изображения для дополненной реальности на основе коллекции 2D-изображений. Это все еще может быть нишевой функцией, но, несомненно, потрясающей.
Она внедряется как часть RealityKit 2. RealityKit — это набор технологий, которые разработчики из Apple могут использовать для начала работы с дополненной реальностью (AR). Во второй версии в AR-интерфейсах будет добавлено управление визуальными, звуковыми и анимационными эффектами, но технология Object Capture — самая захватывающая часть. Apple заявляет, что это произошло из-за того, что создание 3D-моделей очень сложно и отнимает много времени. Это может быть сдерживающим фактором для начинающих разработчиков, которые просто хотят окунуться в мир AR, но застревают на этапе моделирования.
Как работает Object Capture?
Захват объектов максимально прост. Разработчикам необходимо сделать серию снимков с разных ракурсов, что можно сделать не только с iPhone, но и с iPad, зеркальной камеры или дрона — действительно, подойдет любая камера. При съемке фотографий на совместимом устройстве Apple также будут использоваться данные о глубине стереоизображения для восстановления фактического размера объекта и данные о векторе силы тяжести, чтобы 3D-объект получился лицевой стороной вверх. Вам понадобятся различные ракурсы, включая нижнюю часть объекта, если вы хотите включить его в изображение. Затем, согласно Apple, несколько строк кода в API Object Capture в macOS сгенерируют 3D-модель.
На более техническом уровне разработчики запускают сеанс фотограмметрии в RealityKit и направляют его в папку с изображениями. Затем они вызывают функцию процесса для создания модели, выбирая уровень детализации, на котором они хотели бы ее сгенерировать. Разработчики также могут создавать файлы, оптимизированные для AR Quick Look — технологии, позволяющей добавлять 3D-модели в приложения или веб-сайты на мобильных устройствах Apple.
Как будет использоваться Object Capture?
Дополненная реальность будет стремительно распространяться в онлайн-магазинах. Apple заявила, что такие бренды, как Wayfair и Etsy, используют Object Capture для создания 3D-моделей, подразумевая, что интерактивные модели появятся в онлайн-магазинах. Это также означает, что клиенты получат гораздо больший доступ к функциям, позволяющим просматривать мебель и другие товары в своих домах.
Помимо покупок, Apple добавила, что Maxon и Unity используют Object Capture для таких программ, как Cinema 4D и Unity MARS, что означает, что эту технологию можно использовать для видеоигр и фильмов.
Ограничения и идеальные условия
Естественно, технология несовершенна, но есть ограничения, которых можно было ожидать. Пострадают объекты с прозрачными компонентами или компоненты без текстуры. Понятно, что 2D-изображение не сможет передать прозрачное стекло и то, как интерпретировать объекты, видимые через него. По аналогичной причине он плохо работает с отражающими поверхностями, просто потому, что готовая 3D-модель будет содержать эти нежелательные отражения. Если вы собираетесь фотографировать отражающую поверхность, вы можете рассеять свет вокруг нее для достижения наилучших результатов.
Если вы будете переворачивать объект, это будет работать только с жестким объектом, который не изменит форму при переворачивании (пожалуйста, не переворачивайте свежеиспеченный торт вверх дном!). Нет необходимости говорить, что объект с мелкими деталями будет выглядеть лучше всего, когда эталонные фотографии сделаны камерой высокого разрешения и крупным планом. Для достижения наилучших результатов объект следует размещать на простом фоне, чтобы программное обеспечение могло точно идентифицировать объект. Освещение также важно и должно быть постоянным во время фотосъемки.
“Превращать объекты реального мира в 3D-модели еще никогда не было так просто”, — говорит Майра Хаггерти, вице-президент Apple по сенсорному программному обеспечению. И мы не можем не согласиться!
