11月24日，第五届字节跳动奖学金颁奖典礼在北京大钟寺办公区举办。颁奖典礼上，字节跳动技术副总裁杨震原分享了字节跳动在技术领域的一些探索历程，并重点提及了PICO的最新动态。

部分演讲内容如下：

字节跳动的发展离不开硬件的革新和进步。大屏手机、高清camera是抖音、tiktok这样产品发展的土壤。那，接下来还有什么交互体验可以超过视频呢？

XR是有潜力能带来全新的体验。2021年，字节收购了Pico团队。

收购后，我们有两个产品路线在同时推进。一个是，以当前的产品形态为主，同时投入资源运营视频、直播等内容，较为激进的营销。路线二，是投资基础技术，追求核心体验上一个大台阶。

2023年，我们决定减少内容和营销投入，更坚定的投入技术路线。这是因为当时产品的硬件体验尚未成熟，无法支撑大规模市场应用。这个调整当时还带来了一些误解，不少人说字节不做这个方向了。其实恰恰相反，23年开始，我们在XR上的技术投入比以前更多。

接下来，我来分享一些路线二中的一些技术探索。

首先是清晰度。

XR要模拟人眼观察真实世界的体验，关键指标是PPD（每度像素数），就是说人眼睛看一个度（degree），大概有多少像素。这个指标和观看距离、屏幕 PPI（像素密度）强相关。

PPD大于30大概可以看文字，40会比较清晰。PPD到60的视觉体验接近视网膜级清晰度。在 2021年，Pico3、Quest2这些主流产品的PPD 其实是小于20的，而且这还是中心区域，如果到边缘还要更差。如果一个XR产品无法看清楚字，那使用场景肯定就很局限，这是要解决的一个重要挑战。

2022年我们开始研究怎么能做好，最后决定和供应商启动MicroOLED定制。MicroOLED是一种在单晶硅片上制备主动发光型OLED器件的新型显示技术。相比于其他显示技术（如高PPI的 LCD液晶屏），microOLED在实现单眼4K等级的超高分辨率时，仍然能够保持更小的面板尺寸。这使得光学显示系统得以进一步缩小，从而让MR头显轻便的同时获得更高的PPI和整体清晰度。

如果我们去对比iPhone，iPhone17ProMax是 6.9英寸的，它的PPI是460。我们在2022年定制MicroOLED的目标是什么呢？我们要做到近4000PPI，大概是iPhone17接近九倍的量级，所以这个事情的挑战是非常大的。

MicroOLED虽然可以有超高的PPI，但它每个像素点都特别小，导致屏幕亮度上限较低。我们通过导入微透镜（MLA）来提升亮度，副作用是色亮度均一性变差。这就需要，结合光学设计，通过主光线角（CRA）定制和系统性补偿上的一些工作，让亮度和色亮度均一性同时达到最优状态。

在我们启动的那个时间点，市场上现有的产品在很多维度（比如分辨率、亮度、功耗、成本等等）都无法达到我们的要求。我们只能自己和供应商一起把上面提到的这些硬件、软件、算法的东西都解决好才行。我们大概2022年开始启动，到今天，终于解决的比较好了。最终的成品，平均PPD40，中心区域超过45，应该说是行业领先了。

MR 也是重要的技术挑战。

传统的VR无法看到现实，更无法做到融合。MR（Mixed Reality）代表了新一代的技术：能够看到现实，并且能够把虚拟的物体与现实世界融合。但这也带来巨大的技术挑战。

比如SLAM技术，核心是让头显精准感知用户的位置与姿态角度；而为实现运动补偿，还需进一步估算运动速度。同时，微显示屏上的高清图像，通过光学镜头后，会有畸变，比如边缘被拉伸、中心被放大，所以要做逆畸变处理。从源头到输出，整个过程的计算量非常大，而且都是对高清、高帧率的视频做实时的处理，又需要特别低的延迟。在有限的功耗空间里，这个问题就特别困难。

如果这方面做得不好，就会让人产生眩晕感。如何低延迟、高精度的完成这个计算，就是核心问题。这里面，就需要有强大且低功耗的算力，需要专用的芯片才能够做到。

于是，2022年6月我们正式立项，全链路自研了一颗头显专用的消费电子芯片来解决这个处理瓶颈。芯片在2024年回片，目前进入量产阶段，各项指标均达到设计要求。

目前在实测中，我们的系统延迟可以做到12毫秒左右，这是非常不容易的。即便是世界顶尖的公司，用软件来做的话，也很难在不明显牺牲画质的前提下把延迟压到25毫秒以内。

高精度6DoF测试

高精度时延测试系统

通用3D重建机制与高精度手势数据采集

交互的挑战也非常重要。我们如果希望做虚实融合，那需要对现实环境做识别。我们需要非常高精度的ground truth进行校准与训练。为此，我们建设了专业的高精度测试系统。

新的MR设备交互，需要eye tracking，hand tracking，这些也都需要高精度的ground truth。只有搜集到较广泛的数据，才有机会让体验在更广泛的人群上保持鲁棒的高体验。所以我们也做了专门的3D重建机制与高精度手势数据采集系统。

XR的路还很长，挑战也很多。上面只是举了一些技术的例子。26年我们就会有新的产品发布，期望未来我们通过持续的技术研发，能够给大家带来体验更好的产品。

来源：字节跳动