Sora的出现，将即将结束的春节假期推向了高潮，让网民们提前进入了“工作模式”。

当地时间2月16日，OpenAI宣布推出首款文森特视频大模型——Sora，可以“根据文本指令创建逼真且富有想象力的场景”，持续时间可达一分钟。

提示：一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上。她穿着黑色皮夹克、红色长裙和黑色靴子，拎着一个黑色钱包。戴着墨镜，涂着红色口红，她走起路来自信又随意。街道潮湿且反光，在彩色灯光下形成镜面效果，许多行人走来走去。

来源：互联网

在官方宣传视频中，很难想象这是大型AI模型产生的效果。如此时尚的人物、光影交错的街道背景、熙熙攘攘的行人，仿佛是从大制作电影中走出来的。

关于Sora的讨论永无休止。根据其生成的内容，github用户@AndrewMayne将OpenAI案例视频转换为适合Vision Pro的空间视频。

github视频下载地址：https://github.com/AndrewMayneProjects/Spatial

通过双目视差转换，用Sora弥补空间视频空白

AndrewMayne 创建了两个视频轨道，一个用于左眼，一个用于右眼，并根据视频移动的方向稍微更改了轨道的时间。这会创建模拟立体3D 效果，并且仅适用于具有横向运动的视频。

为了将视频转换为Vision Pro 的Apple Spatial 视频格式，使用了Mike Swansons 的空间视频转换工具(https: //blog.mikeswanson.com/spatial)

据报道，Spatial 是一款免费的macOS 命令行工具，用于处理MV-HEVC 视频文件（目前由iPhone 15 Pro 和Apple Vision Pro 拍摄）。它将MV-HEVC 文件导出为常见的立体格式（例如顶部/底部、左眼和右眼以及单独的左眼和右眼视频），以便与标准立体/3D 播放器和视频编辑器一起使用。它还可以生成相同立体格式的MV-HEVC 视频，以便在Apple Vision Pro 和Meta Quest 等XR 硬件设备上播放。

来源：互联网

Apple Vision Pro 上的实际体验也相当不错。双眼视差带来的立体感，在海浪的冲击中带来更加身临其境的体验。在不追求非常细致的视觉效果的情况下，Sora批量、高效率生成的AI视频可以有效填补空间视频市场的空白。

目前，在大多数体验Apple Vision Pro的用户中，最受欢迎甚至杀手级的应用其实就是具有3D深度效果的“空间视频”。例如：苹果的应用：《遇见恐龙》（邂逅恐龙），3D深度内容+混合现实场景，带来了“哇”。这种有别于传统文字、图片、视频的新内容形式，正在受到大家的喜爱。

太空视频体验截图（来源：VR陀螺）

目前，Sora 的人工智能视频还处于相对早期的阶段。 OpenAI 还承认当前模型的弱点，例如混淆左右或因果等空间细节。例如，一个人可能咬了一口饼干，但之后饼干可能不会显示出咬痕。理论上，普通左右视差空间视频的扩展只是时间问题。

关于三维信息的视频内容，OpenAI在官网Sora中也有相关介绍：

我们发现，视频模型在大规模训练时表现出许多有趣的新兴功能。这些功能使Sora 能够模拟现实世界中的人、动物和环境的某些方面。这些属性的出现对3D、物体等没有任何明显的归纳偏差。—— 它们纯粹是尺度现象。

其中包括： 3D 一致性。 Sora 可以生成带有动态摄像机运动的视频。随着摄像机的移动和旋转，人和场景元素在三维空间中一致移动。

事实上，这种第一人称拍摄方式可以带来更深层次的“空间感”。即使是转换空间视频之前的2D视频仍然具有一定的沉浸感。

iPhone、Vision Pro、AIGC，谁是空间视频最佳工具？

Sora生成的AI视频虽然转换后可以适配到Vision Pro，但仔细对比发现它和苹果官方支持的拍摄工具还是存在一些差异。

分辨率方面：Vision Pro和iPhone 15 Pro以特定分辨率拍摄空间视频，分别为22002200（方屏）和19201080（宽屏），而Sora可以采样宽屏1920x1080p视频、垂直1080x1920视频以及之间的所有视频之间。

帧率方面：可以发现，苹果官方拍摄的两款工具的空间视频都是动态帧率（VFR），即具有最低帧率和最高帧率。用iPhone 拍摄的普通HDR 视频以及由Sora 转换的空间视频都是恒定帧速率(CFR)。

相关资料显示：静态帧率是指固定的帧率，即每秒显示的图像帧数。这意味着每一帧之间的时间间隔是固定的，不会随着画面复杂度和性能的变化而改变。另一方面，动态帧速率是可变的。它根据画面的复杂程度和当前的硬件配置进行调整，以确保每秒显示的帧数始终保持在可接受的范围内。动态帧率可以提高视频的流畅度，降低视频的文件大小和传输带宽要求。

当然，即使空间视频采用动态帧率，由于深度信息等原因，内存占用仍然是普通视频的两倍左右。

来源：VR陀螺仪

视差体验：参考reddit和陀螺君上部分用户的实际体验，Vision Pro拍摄的空间视频似乎更有“空间感”。

除了上图对比中的基本信息外，有人认为这还与拍摄设备的两个镜头之间的距离有关。

iPhone 15 Pro的镜头间距约为20毫米，仅为成人瞳距的三分之一左右。因此，理论上来说，用iPhone 15 Pro拍摄的空间视频只能实现与小狗类似的视差和深度感知。 （不排除苹果可以改进算法，形成视差更大的空间视频）

而Vision Pro 的摄像头间距更接近成人的IPD，可能在60-65mm 左右，因此事物将具有与成人现实生活相似的深度和视角。再加上头戴式“第一人称”拍摄视角，实际观看更加身临其境。

来源：互联网

来源：互联网

仅从空间视频相关参数，以及实际观看的3D深度和清晰度效果来看，Vision Pro作为原生工具显然更胜一筹。虽然是正方形，但其视觉深度效果比iPhone 15 Pro 拍摄并由Sora 等普通视频转换而来的空间视频要好。相比之下，它似乎有更多的层次（仅通过肉眼感知）。

iPhone 15 Pro的优势主要体现在便携性上，可以随时随地拍摄空间视频。在Vision Pro上实际观看的沉浸效果和清晰度也相当不错，远大于直接在手机上观看的效果，层次感也比较清晰。并且可以通过AirDrop一键传输到Vision Pro，传输方式极其简单。

虽然Sora等大型AI模型生成的视频和普通视频在转换后具有一定的层次感和深度感，但实际观看时，总有一种难以形容的不和谐感，就像你在看3D电影一样。有一定的沉浸感，但是放大后不是很清晰和沉浸感。当然，这可能取决于不同的视频内容，会产生不同的外观。如上所述，第一人称视角可能更适合太空视频。利用大型AI模型生成视频是一大趋势，尤其是市场空白的太空视频。 AI赋能量产、定制、低门槛能力。

P.s. 由于空间视频很难在2D平面上显示三维信息，因此以下图片仅供参考，用于展示三种形式拍摄的视频在Vision Pro上的播放：

Vision Pro拍摄的太空视频截图（来源：VR Gyro）

iPhone 15 Pro拍摄的太空视频截图（来源：VR陀螺仪）

Sora生成视频空间版本（来源：VR Gyro）

结语

时代变革的钟声似乎已经敲响。

Apple Vision Pro 带来了空间计算革命的新愿景，将人们的现实体验提升到了一个全新的水平。通过将3D空间场景与混合现实内容展示形式相结合，不断挑战和刷新人们视觉感知的边界。

从生成型人工智能文本对话工具ChatGPT、图像生成器DALL-E，到视频生成王Sora，OpenAI正在重塑互联网内容生产形态。

硬件+内容的变革正在加速走向融合的十字路口。