在今年6月的WWDC2023大会上,苹果公布了Apple TV新剧:《Monarch:Legacy of Monsters》(《君主:怪兽遗产》),故事围绕着哥斯拉、金刚、泰坦和神秘组织的线索展开,这是一部充满了巨兽、冒险、动作等元素的视听作品,它或将是首部在Vision Pro 上播放的3D作品,因而备受关注。
图:苹果新剧《MONARCH》海报
据知情人士透露,该剧将于今年9月开拍,它最大的特点是采用了3D空间视频(Spatial Video)格式拍摄。空间视频格式可以传输、播放立体视频,当作品在能够呈现3D效果的头戴式设备上播放时,可以让佩戴者置身影片呈现出的世界中,体会身临其境的三维效果。
随着苹果新剧和3D空间视频被广泛认知,国内有家在做同样事情的高新技术企业——,也因此备受关注。
创始人、导演图拉古表示,“我们后续的视听作品,都将通过感知虚拟制作技术,以空间视频格式生产和创作。”
引领了下一代感知视听技术的发展,公司推出的感知虚拟制作技术,可以为像《君主:怪兽遗产》这样的作品提供技术支撑,未来它将面向更多国内外创作者,为行业提供空间视频制作的整体解决方案。
该技术具备强大的AI渲染和空间计算能力,通过一台摄影机,不额外增加任何设备,即可在引擎中实现“实时、4K、60帧稳定的空间深度还原”,无需购买任何的深度传感器。
在制作的《三体-不要回答》中,可以看到场景中的演员、脸部前的显示屏、身后的背景,在导演的监视器中自然地融为一体。
图:空间计算能力演示
拍摄现场,演员在绿幕前表演,通过AI图像分割(实时抠像)技术,现实场景中的演员被实时抠像、实时融合到制作好的虚拟场景中,并将最终的合成效果显示在监视器上。
画面中,利用感知虚拟技术的空间计算能力,人物处在前景屏幕和身后背景之间的正确位置上,这就是空间计算带来的能力。
制作时,感知虚拟制作利用空间计算、人工智能等技术,把空间信息以及感知交互动作都同步记录在制作内容上。在播放时,把感知虚拟制作记录的空间信息和交互动作还原,就实现了真正的三维沉浸式视听感受。
图:空间计算正确还原了人物和物体的位置及遮挡关系
研发的“感知虚拟制作”技术,目前已打破多项国外视听领域的技术垄断,实现了真正的自主创新。
未来,将用感知虚拟制作技术,服务更多国内外影视创作团队,制作出比肩《君主:怪兽遗产》的作品,并在头显设备中播放,丰富3D视频的内容创作,促进VR/AR设备应用的成熟与落地。