分享: |
收录于话题
1、乘“元宇宙”东风,VR 软硬件生态加速成熟
2、弱交互领域竞争激烈,远期MR 产生生产力
3、光学模组:长期围绕轻、薄、高质量成像发展
4、屏幕:多种方案共存,解决眩晕是核心诉求
5、追踪定位:IMU+摄像头方案成熟,算法是核心技术
6、芯片:赋能VR 硬件性能,专用度不断提升
CIOE精密光学展&摄像头技术及应用展是亚太地区极具影响力的光学行业专业展览会,展会汇聚光学元件及材料、镜头及模组、镀膜、机器视觉、AR&VR、光学测量等光学全产业链板块的优质企业,搭建光学产业生态圈,助力消费电子、先进制造、安防、医疗等光学下游应用企业挖掘行业新应用及新需求,进行商贸沟通达成商业合作,获悉前沿应用、洞察新兴趋势。查看展商名单
乘“元宇宙”东风,VR 软硬件生态加速成熟“元宇宙”能消除数字和实体之间的界限,打造人类“虚实共生”的数字世界。“元宇宙”(Metaverse)指的是一个源于现实世界,与现实世界平行并相互影响的、可持续的虚拟世界,人类可以在其中以高自由度形式进行娱乐、社交、生产生活。基于虚拟现实(VR)或混合现实(MR)终端所实现的“元宇宙”是人类通信交互经历了文字、语音、图像、视频之后的下一代升级方向,即实现3D实景信息的共享。MR 设备商业化的尝试从未停止,其中 VR 涉及技术相对成熟,早于AR试水消费级市场,并有望在 AI、区块链等新兴技术催化下进入爆发期。
AI——VR 的隐形核心技术,推动交互方式变革AI 升级可能带来人机交互的变革。在 VR 技术中,实现智能人机交互有三个关键要素——多模感知能力、深度理解能力和多维表达能力。精细的多模态、高智慧模型可以帮助 VR 头显以消费级的成本实现以语音控制为辅,以肢体动作为主的全新交互方式。通过引入多模态识别系统,在语音识别的基础上,结合人脸识别、嘴部唇语识别、眼动追踪,把多种维度的感知结合成为多模态系统,从而提升复杂场景识别效果。AI 在 VR 肢体定位和手势交互技术上大有可为,让高精度手势识别成为可能。当前,VR 设备主要通过红外摄像头+陀螺仪的硬件组合,结合机器学习来实现肢体定位,需要手柄辅助。存在成本高、配件多、缺失下半身等问题,精细度也较差,难以实现高精度手势识别。我们认为未来肢体定位和手势交互的升级主要依赖于算法模型的升级,2019 年 Meta 发布了手势交互 1.0,可以进行一些简单的裸手交互,但是用户双手重叠或移动过快都会造成跟踪丢失,2022 年,Meta 发布手势交互 2.0,解决了上述问题,并在公告中表示:主要是基于重新设计的计算机视觉和机器学习方法。3D 模型创建属于“劳动密集型”行业,也将受益 AIGC 升级。创建专业的3D内容需要较高的艺术与审美素养及大量 3D 建模专业知识,门槛高,制作也耗时耗力,某种程度上属于“劳动密集型行业”。2022 年 11 月,英伟达提交论文展示了可以通过文字生成3D模型的Magic3D,例如输入“一只坐在睡莲上的蓝色箭毒蛙”,Magic3D 即可生成一个纹理、造型兼备的 3D 模型(图21)。此外,它还可以具备将 2D 图像样式应用于 3D 模型等能力。创作者只需要在Magic3D 基础上稍作修改,就可以当做游戏或 CGI 艺术场景的素材了。弱交互领域竞争激烈,远期MR 产生生产力ODM 厂商纷纷布局,硬件成本中芯片和屏幕成本占比最高VR 产业链从上游主要包括:芯片、光学模组、面板、PCB、结构件、电池、传感器、摄像头等核心器件,中游为 OEM 厂商,下游为Oculus、Pico 等终端厂商。就上游产业链而言,芯片、屏幕成本占比最大,光学模组为核心技术迭代领域。以 Pico4 为例,根据维深 wellsenn XR 的统计,Pico4 VR 一体机8+128G版的BOM成本约为 348.255 美元,综合硬件成本约为 368.25 美元,按美元汇率为7计算,Pico 4 税后综合成本约为 2913 元。其中,芯片成本最高,约为116.45 美元,占比 31%,屏幕成本为 84 美元,占比 23%,光学成本44 美元,占比12%,传感器成本约为 34 美元,占比 9%,ODM/OEM 成本约为 20 美元,占比为5%,结构件成本14.2美元,占比为 4%。光学模组:长期围绕轻、薄、高质量成像发展Pancake 已成确定性技术方向VR 光学先后经历了非球面透镜、菲涅尔透镜和 Pancake 折叠光路三个阶段。菲涅尔透镜(Fresnel Lenses)具有低成本和可控的成像质量优势,Oculus Quest2、Pico Neo 3、惠普 Reverb G2 和爱奇艺奇遇 3 等均为该光学方案的代表性产品。其设计原理是去掉光在透镜中直线传播的部分,只保留用来折射光线的透镜曲面,在保留常规透镜光学特征的同时,大幅压缩镜片厚度,实现镜片的轻量化。然而,由于该方案需要将屏幕放置在透镜的近焦面处,因此透镜与屏幕之间的距离较长,导致整个光学模组的体积较大。此外,由于菲涅尔透镜采用单层镜片设计,其物理性导致了成像边缘模糊、易产生畸变,以及无法调节屈光度等问题。在此背景下,Pancake 光学方案应运而生,并逐渐成为消费级VR 光学的发展与进化方向。该方案基于折叠光路的原理,不仅能实现超短的光学对焦成像,从而极大地压缩镜片厚度和头显体积,还能克服传统的菲涅尔透镜光学方案边缘模糊与畸变现象,有效减轻“余晖效应”,实现零畸变的全域高清视觉体验。以Meta、Apple、Pico、华为等为代表的头部企业已经推出或即将推出以Pancake 作为光学方案的 VR 头显。未来 3-5 年,Pancake 将成为消费级VR 首选光学方案。Pancake 光学方案的核心设计思路是通过偏振光的反射与折射进行光路折叠。Pancake 光学方案,又被称为折叠光路方案,属于VR 短焦光学方案的一种。该方案的原理是显示屏发出的图像源进入具有半透半反功能的镜片之后,光线在镜片、1/4 相位延迟片以及反射式偏振片之间多次折返,最终从反射式偏振片射出后进入人眼。也就是说,该方案通过折叠式光学元件使光线在更窄的空间内穿越同样的距离,将原本光路“折叠”,从而实现光学镜头和显示屏之间空间的压缩,进而显著缩小 VR 头显体积。通过此种光学方案,理论上能将VR 头显的体积缩小到菲涅尔透镜方案的 1/4。核心器件:半透半反镜、1/4 相位延迟片、反射式偏振片Pancake 光学方案的核心器件包括半透半反镜、1/4 相位延迟片和反射式偏振片:1)半透半反镜:对入射光线做二次反射。半透半反镜(Half Mirror Lens)是一种轻薄半透的光学材料,属于分束镜(Beam Splitter)的一种特例,通过在光学玻璃表面镀上一层或多层的介电质或金属薄膜制备得到,用于将入射光束按透射与反射比为 50/50 的比例分成两道独立的光束。在Pancake 光学方案中,半透半反镜主要用来对入射光线做二次反射,这一过程中不改变光的偏振特性,并且理论上光线每次经过半透半反镜后能量都会损失 50%。2)1/4 相位延迟片(λ/4 片):用于调整光束的偏振状态,使偏振光在线偏振态和圆偏振态之间相互变换。波动是物质运动的重要形式,广泛存在于自然界中。按照振动方向与传播方向的关系,波可以分为横波与纵波两大类:质点振动的方向跟波的传播方向垂直的波叫做横波,例如电磁波;质点振动的方向跟波的传播方向平行的波叫纵波,例如声波。振动方向对于传播方向的不对称性叫做偏振(polarization),只有横波才能产生偏振现象,这也是横波区别于其他纵波的一个最明显的标志。光波是电磁波,因此,光波的传播方向就是电磁波的传播方向。光波中的电振动矢量(E)和磁振动矢量(H)都与传播速度(ν)垂直,因此光波是横波,它具有偏振性。具有偏振性的光则称为偏振光。
3)反射式偏振片:选择性的反射与透射偏振光。反射式偏振片(ReflectingPolarizer)是偏光片的一种,通常由多层功能性光学薄膜在透镜表面上贴合而成。通过调整光学薄膜的种类与贴合顺序,反射式偏振片能够选择性的反射与透射偏振光,实现一种偏振态被透射而另一种偏振态被反射的功能。在Pancake光学方案中,通常设置成反射 p 偏振光,透射 s 偏振光。反射式偏振片中的光学薄膜通常采用金属色线栅,例如铝质金属线栅,或采用具有双折射功能的多层聚合物,后者相对于前者而言具有如下优势:a)在较宽的入射角范围内,多层聚合物薄膜具有较高的偏振反射率,以及较低的色彩推移;b)由于具有高消光和高透射效率,多层聚合物偏振器的可见光谱偏振对比度可以非常高;c)由于聚合物树脂具有粘弹性,因此多层聚合物薄膜可以形成各种复杂的曲面,包括非球面甚至自由曲面,而非球面的形态可以显著提高Pancake光学透镜的分辨率。偏振光在 Pancake 光学系统中的具体传播路径如下:① 显示屏发出右旋圆偏振光。Pancake 光学模组的入射光必须为圆偏振光,若采用的显示屏为 LCD,则其发出的光为线偏振光,需在显示屏上增加一个1/4相位延迟片,将线偏振光转变为圆偏振光;若采用的显示屏为OLED,自发光原理使其发出的光为非偏振光,需在屏幕上先增加一个线偏光片(LP)将其转化为线偏振光,再增加一片 1/4 相位延迟片将其转化为圆偏振光。② 右旋圆偏振光透过半透半反镜后,偏振态不发生变化,但光效损失50%。③ 右旋圆偏振光以 45°角第一次通过 1/4 相位延迟片后,变为振动方向平行于纸面的 p 线偏振光。这是因为在通过 1/4 相位延迟片之前,可以沿着o 光和e光的方向(即 1/4 相位延迟片的快轴和慢轴方向),将右旋圆偏振光矢量分解成两束频率相同、振动方向互相垂直、且相位差为-π/2 的线偏振光。在通过1/4相位延迟片时,由于双折射现象,在 o 光和 e 光的方向上进一步引入+π/2的相位差,此时,两束线偏振光的相位差为 0。最后将振幅相同的o 光和e 光叠加为振动方向平行于纸面的 p 线偏振光。④ p 线偏振光到达反射式偏振膜后发生反射,偏振态保持不变。⑤ p 线偏振光以 45°角第二次通过 1/4 相位延迟片后,变回右旋圆偏振光。⑥ 右旋圆偏振光到达半透半反镜后发生二次反射,变成左旋圆偏振光,同时光效再次损失 50%。这是因为反射光相对于入射面而言有-π的相位突变,因此会改变旋转方向,从右旋变为左旋。⑦ 左旋圆偏振光以 45°角第三次通过 1/4 相位延迟片后,变为振动方向垂直于纸面的 s 线偏振光。⑧ s 线偏振光到达反射式偏振膜后发生透射,最终进入到人眼当中。技术壁垒:光学膜材料光学膜材料的性能与贴合工艺是 Pancake 光学方案的技术壁垒,尤其是1/4相位延迟片和反射式偏振膜,其中反射式偏振膜价值量最高,其膜材成本高且市场被海外光学膜巨头垄断,是制约当前 VR 光学发展的主要因素。1)Pancake 折叠光路系统的光学膜要求。由于 Pancake 的核心设计思路是通过反射与偏振进行光路折叠,最终的光学效果十分依赖偏振光的偏振态,因此需要更低的双折射以及更稳定的偏振态传输。1/4 相位延时片和反射偏振膜的质量是成像质量的关键因素,目前全球范围内只有 3M、旭化成等少数企业的膜材性能能够达到 Pancake 设计要求,因而具有较大的议价权,一组透镜的贴膜材料的成本达到 70-100 元。2)在 Pancake 光学模组加工流程中,贴膜环节壁垒最高。根据光路系统设置,可分为曲面贴膜和平面贴膜两种方式。虽然平面贴膜技术难度较低,但会牺牲部分光学性能和成像质量。曲面贴膜工艺通过事先制备好的平面膜层,通过热弯成型技术使其成为特定的二维曲面,贴于透镜表面,有别于传统的镀膜技术。虽然曲面贴膜能够带来更大的视场角和更优的成像质量,但曲面贴膜工艺难度较大,各项角度精度要求极高,容易边缘褶皱和翘起,因此良率低。目前膜供应商3M等开始推出贴膜交付方案,三利谱也将曲面贴合工艺列为公司的后续重点研发方向之一。优势:轻薄化、成像质量高、可调节屈光度Pancake 光学方案轻薄化优势显著,更适合拓展 C 端市场。Pancake 光学方案最大的优势在于利用多次折返的方式扩大光路总长,有效压缩了显示屏与光学透镜之间的距离,进而大幅降低了 VR 显的重量和体积,显著提升了产品佩戴舒适度和使用时长。对比市面上的主流 VR 头显产品,Oculus Quest 2 和HTC VivePro2均采用菲涅尔透镜方案,头显的重量分别为 503g 和785g,厚度分别为80.1mm和73.5mm;而 Arpara VR 和 Huawei VR Glass 采用 Pancake 光学方案,头显的重量分别为 200g 和 166g,厚度分别为 30.0mm 和 26.6mm,产品形态更加趋于日常佩戴的眼镜。搭载 Pancake 方案的 VR 头显设备重量和厚度显著低于搭载菲涅尔透镜方案的产品。在 Pancake 光学方案中,通过透镜组合,可以提高边缘成像质量,降低图像畸变,提高图像对比度、清晰度以及细腻度。Pancake 光学的解析能力相对于菲涅尔光学提升了 50%,同时克服了菲涅尔光学固有的视野边缘模糊与畸变现象,有效减少边缘眩光,带来了视野全域范围的清晰体验。值得一提的是,YVR 2 光学镜组的透过率达到了 19%,在高透光性能下的清晰度达到了全新水平。目前业内平均水平约为 13-16%。Pancake 光学方案支持屈光度调节。目前普遍 Pancake 模组的屈光度调节范围在0-700°之间,对于绝大部分近视的用户而言,无需佩戴眼镜即可使用。而对于单透镜的菲涅尔和非球面方案,如果不增加透镜则无法实现屈光度调节。目前实现屈光度调节有内调焦和外调焦两种方式:1)内调焦方式。将其中一组镜片作为移动组,移动组镜片通过朝向某一方向移动实现屈光度的调节。这种方式的优势在于镜头的总长不会发生改变;缺陷在于移动镜片会导致整个光路的系统参数发生变化,如焦距等。此外,如果用户双眼视力差异较大,那么左右眼内调焦的一致性将不一致,进而引起双目合像等问题。2)外调焦方式。通过显示屏朝向某一方向的移动来实现屈光度的调节。这种方式的优势在于系统参数没有改变,因此左右眼的焦距是一致的,左右眼图像的一致性会更好,更容易实现合像;其缺陷在于由于移动屏幕,整个模组的总长会因此发生变化。虽然 Pancake 光学方案支持屈光度调节,但仍然需要借助可变焦设计,结合液晶器件,实现动态全局调控,根据显示屏的内容和眼睛观看的位置,实时改变焦平面,让二维屏幕产生三维景深信息,才能改善由辐辏调节冲突(VAC)带来的眩晕问题。Pancake 技术难点:光损高、视场角小、存在鬼影、成本高光损高,理论上最高光效仅为 25%,因此对显示屏幕亮度要求高。多次折返的光路存在效率损失的问题,光线两次经过半透半反膜,所以其理论最高光效仅有25%,再加上反射偏振膜的损失,总体光利用率只有10-20%,因此需要搭配高亮度屏幕,例如 Micro OLED/Micro LED,以改善折叠光路方案的效果。相比之下,菲涅尔透镜的光学效率可高达 80-90%。大视场角与设备轻量化难以兼得。据 Oculus 首席科学家表述,菲涅尔透镜的视场角(FOV)理论上限为 140°,而 Pancake 的 FOV 有望实现220°。然而,Pancake光学方案采用了较小的显示屏幕,较小的屏幕需要更长的光路来扩大视场角,这与折叠光路压缩光学模组总长这一设计理念相悖。因此,在Pancake 光学方案中,大视场角与设备轻薄化无法兼得,需要在两者之间做出权衡。当前量产的Pancake光学方案的 FOV 在 60-90°之间,距理论上限 220°仍有较大差距,且小于市场上菲涅尔光学方案的视场角。易出现“鬼影”,降低呈像质量,影响用户体验。在成像光学系统中,往往存在一些非理想因素带来的杂散光,这些杂散光通常是由透镜界面多次反射、透镜缺陷散射、物理结构散射等造成的。实际应用场景中,这些杂散光往往会在画面中的某个位置形成像,被称为“鬼影”(Ghost Image)。Pancake 光学方案的中诸多鬼影,在画面中的表现不一而足,有的能清晰成像,有的则以光斑的形态存在,这严重影响了用户对于图像对比度的感知。造成鬼影的因素有很多,其中最易造成的因素是双折射。由于双折射现象与透镜的材料有关,塑料材料通常具有较明显的双折射,因此可以通过增加透镜或改变透镜的形状、改善透镜材料,优化光路来降低其双折射现象来抑制鬼影现象。
清晰度与刷新率提高改善眩晕,但对芯片算力和功耗提出要求
VR 显示屏幕的核心要求就是解决眩晕,这是用户愿意长时间使用VR 的首要前提。围绕“不眩晕”这一核心诉求,各大屏幕厂商从多维度进行提升,主要方法包括提升视场角、像素密度、头动和视野延迟等。1)FOV(Field of View,视场角):视场角定义为双眼看到图像的最大角度范围。人类平均而言,水平双眼视场角是 200 度,其中有120 度的重叠,这部分重叠对于构建立体视觉和估计深度尤为重要,垂直的视场角约为100~130度。2)PPD(PixelPer Degree):像素密度通常以每英寸像素(PPI)为单位测量,即显示器上每英寸的像素数。但 PPI 并不能单独用作清晰度的标准,因为眼睛和显示器之间的距离也很重要。当眼球离屏幕足够远时,高像素密度的设备是冗余的,增加的像素密度并不会被察觉。因此,不同的设备,需要匹配不同的PPI来达到相同的感知清晰度。相比之下,每度像素数(PPD)则考虑到了眼球与屏幕的距离,同时也更适用于VR球形显示的实际情况,因此被更多的使用在 VR 头显的清晰度讨论中。PPD定义为1°视场角中所包含的像素数量。当 PPD 大于 60 时,我们通常就感觉不到像素感。每个格子代表水平视场角上的1°和垂直视场角上的1°的小方格。
由于 VR 显示屏离人眼足够近,当分辨率低时,人眼会直接看到显示屏的像素点,以及点间的间距,就好比在纱窗之后看东西一样,即纱窗效应。且当像素密度不够时,VR 中有图像边缘出现很强的锯齿(aliasing),从而产生了粗糙边缘。叠加 VR 实时渲染,当用户头转动时,原本应该静止的细线,或者某些物体的边缘线,像在闪烁或者舞动一般,也叫高对比度边缘出现分离式闪烁。解决纱窗效应主要就是提高分辨率。目前,“视网膜效果”是一个没有清晰定义的概念,根据史蒂夫乔布斯发布iPhone4时的概念,它是指像素密度为 300 PPI 的设备,放在10~12 英寸距离的效果,1单位 PPD 即 12 英寸距离下 300ppi 的像素密度。根据PPD=2d x tan0.5°xPPI,d 为眼睛到屏幕的距离也就是 12 英寸,则视网膜效果大约需要60 PPD 以上。由于 VR HMD 拥有远高于传统终端的视场角,决定了要达到同样等级的画质体验,相同的 PPD 要求 VR 视频具有更高的单眼分辨率和全视角分辨率。用户在虚拟环境中的视野可以认为是一个空间球,左右横向全视角展开是360 度,上下纵向展开180 度。用户在使用终端时,单眼实际看到的视觉信息只是全部球面数据的一部分,这部分面积由终端提供的 FOV 决定。如 FOV 为90 度,则单眼可视信息仅为球面信息的 1/8。而真正决定 VR360 视频画质体验的是单眼分辨率(FOV 分辨率),可换算为在 FOV 区域的 PPD。
除了屏幕本身的像素密度提升对于技术提出挑战,还有像素提升带来的带宽、传输问题。根据华为的测算,普通宽带上网,一般峰值在20M~30M 就可以获得相当好的上网体验,但对于4K/8K视频,要获得良好体验,必须有持续的30M~100M带宽保证,而对于 VR 视频,要获得极佳使用体验,需要超Gbit 的入户带宽。如果一个用户家里同时存在几路VR业务,相比于大屏4K/8K视频的家庭式观看,VR 业务消耗的带宽还可能继续翻倍。虽然未来技术的发展,压缩算法的改进,单路 VR业务需要的传输带宽还有进一步的降低空间,但入户带宽超Gbit,甚至10Gbit 是大概率事件。3)头动和视野延迟(Motion-to-Photons Latency, MTP):业界的主流观点认为,MTP 延迟不能超过 20ms,否则会引起眩晕感。目前领先的VR 终端厂商如Oculus、HTCVive 已经通过提升端到端软硬件性能,从传感追踪元件、显示屏技术、GPU 入手,已经将 MTP 本地化削减至了 20ms。4)其他显示屏参数:对比度:是屏幕最白和最黑亮度的比值,决定屏幕呈现的色彩饱和程度;亮度:亮度高有利于提升对比度,丰富图像细节,电视屏亮度多在200- 500nit,日光下应达到 700nit。但 VR 的入眼亮度由屏幕亮度和光学效率决定,因此,若采用光效低的光学方案,应搭配高亮度的显示屏;功耗:低功耗的显示屏,可减少散热,延长续航时间,提升舒适性需求。除以上重要指标外,显示屏的色域、寿命、重量和厚度等也可做辅助参考。
Fast-LCD 仍为 VR 消费级主流,专业级产品看好Micro OLEDLCD、Mini LED、Micro LED、OLED、Micro OLED 技术梳理LCD(liquid-crystal display):目前市场大都使用TFT-LCD 技术(薄膜电晶体液晶显示器),由两片玻璃基板中间夹着一层液晶,上层玻璃基板是彩色滤光片、下层玻璃则镶嵌着电晶体,当电流通过电晶体所产生的电场变化,使得液晶分子原本的旋转排列发生扭转,进而改变光线通过的旋转幅度,并以不同比例照射在彩色滤光片上,进而产生不同的颜色。OLED(Organic Light-Emitting Diode):OLED 与LCD 最大的差异在于,LCD需要 LED 背板和滤光片,而 OLED 能够自体发光。基本结构是在铟锡氧化物(ITO)玻璃上制作一层有机材料发光层,并在发光层上再覆盖一层低功函数的金属电极。透过外界电压的驱动下,正极电洞与阴极电子便会在发光层中结合,产生能量并发出光,因材料特性不同而产生 R、G 和 B 三原色,来构成基本色彩。Micro LED(微发光二极体):将 LED 背光源微缩化、矩阵化,单独驱动无机自发光(自发光)、让产品寿命更长。因为 Micro LED 的晶粒到了肉眼难以分辨的等级,可以直接将 R、G、B 三原色的晶粒拼成一个像素点,不再需要滤光片和液晶层。但目前 Micro LED 的大规模量产技术还有较多瓶颈,从前期的磊晶技术瓶颈、巨量转移(Mass Transfer)良率、封装测试问题,到后续的检测、维修都是很大的挑战,影响 Micro LED 能否量产。Micro OLED:是通过将红、绿、蓝(RGB)有机发光二极管像素沉积在由硅制成的半导体晶片上制成的,它们比玻璃基板更薄,可以容纳更多像素,尺寸只有几十微米。Micro OLED 设计之初就是用于通过镜头将其放大或安装在投影仪上,目前的取景器大多使用 Micro OLED,显色性和图像响应速度堪称完美。Micro OLED优点是小而轻、具有高分辨率、高像素密度。但由于制作工艺限制,不可能进行大尺寸生产,因此对于 FOV 有限制。OLED 向硅基 OLED 发展,解决分辨率较低的问题。硅基OLED 创新性结合半导体与OLED,显示器件采用单晶硅芯片基底。Micro OLED 作为其中的一种,是在两层电极之间使用能够发光的萤光有机材料,电流通过后会发出单色光,再透过滤色器生成所需的颜色。除了带有 OLED 自发光优势,面板厚度和体积也比以前更薄、更小、耗能更低,再加上响应时间短、发光效率高等特性,更容易实现高像素密度。因为硅基 OLED 都是在 6 英寸、8 英寸的晶圆上小面积蒸镀,大大减小了生产OLED时要克服的蒸镀均匀性难题。硅基 OLED 无论是亮度,还是像素密度表现都有明显提升,像素密度可以达到在 3000~4000PPI。另外,由于综合良率偏低,驱动芯片技术不成熟等问题,这一技术的成本较高,行业普遍良率最高仅有50%左右。
手势识别:传感器、RGB 摄像头、3D 摄像头
如果要更加精确到手部的详细动作,有依靠传感器的手套式方案,也有依靠计算机视觉的裸手识别方案。例如苹果公司申请的“基于IMU 的手套”专利,摘要显示该手套包括多个 IMU,其中可包括一个或多个运动传感器,可测量对应指节的惯性运动。在一些示例中,该 VR 手套除了包括磁力仪以确定地磁场的方向,还可包括多个电极,用于实现电容式触摸或指尖之间的接触感测。3D 摄像头,即包含深度信息传感器的摄像头模组,能有效提升定位精度,优化VR 头显使用体验感。3D 摄像头有三种主流方案:结构光、TOF(飞行发)以及双目立体成像方案。三种方案工作原理均为红外激光发射器发射出近红外光,经过反射后,红外信息被红外光 CMOS 图像处理器接收,并将信息汇总至图像处理芯片,得到三维数据,实现空间定位。但三者不同之处在于发射近红外光取得三维数据的方式,结构光发射的是散斑,TOF 是发射面光源,而双目立体成像则是通过双目匹配,进行视差算法。TOF 方案响应速度快,深度信息精度高,识别距离范围大,不易受环境光线干扰,因此是移动端 3D 视觉比较可行的方案;结构光方案由于技术较为成熟,工业化产品较多,也被部分厂商所采用;双目立体成像是比较新的技术,参与的厂商较少,更适合室外强光条件和高分辨率应用,常见于机器人视觉、自动驾驶等方面。其他传感器:眼动追踪、面部识别将成标配1) 眼动追踪:动态渲染技术的基石眼球追踪是 AR/VR 头显的一项关键功能,它可以丰富用户之间的交互,同时也是动态注视点渲染技术的基础,提升 AR/VR 视觉观感。由于眼睛收集的视觉信息质量在视野的一小块区域(称为中心凹区域)内是最高质量的,该区域以外的视力会迅速下降,因此仅对用户注视的中心区域进行高精度渲染,而对其他区域进行低分辨率渲染,可降低 GPU 着色负载的同时保持高帧率,以此更好配置有限的算力资源。同时,结合注视点和手势识别,用户可以与虚拟环境更精准的互动,如实现抓取、隔空打字等功能。注视点渲染又分为固定和动态两种类型。采用固定注视点渲染,XR 设备会预设显示器中心部分为高质渲染区域。因此用户的注视点需始终处于该区域位置,靠头部转动转移视线,如 2018 年 Oculus Go。而动态注视点渲染则可在眼球转动时捕捉注视点以实现更精准的实时渲染。Tobii 曾在不同设备和环境下做过一系列基准测试,测试数据表明,动态注视点渲染比固定注视点渲染能降低两倍的GPU着色负载,能更有效地维持高帧率和优化系统资源。在Pico Neo 3 Pro Eye的硬件环境下,Tobii 的动态注视点技术能将帧率提高 78%,一体机能耗降低10%。
眼动追踪技术的基本原理并不算复杂,实现方式也不只一种。目前最常见的是以Tobii 为代表的技术提供商所采用的瞳孔角膜反射法(PCCR)。该方案主要包括三个模块:眼动摄像机、光源、模型及算法。光源发射红外光在眼角膜反射形成闪烁点,眼动摄像机捕捉眼睛的高分辨率图像,再经由算法解析,实时定位闪烁点与瞳孔的位置,最后借助模型估算出用户的视线方向和落点。2) 面部追踪:光+摄像头方案为主Oculus Pro 面部追踪模组由左右脸和额头三个模组构成,底框为红外透过材料,面部追踪模组共有 4 个 LED 和 1 个摄像头,额头追踪模组3 个红外LED 和1个摄像头。3) 腿部追踪:硬件成本高,AI 或成主流方案Meta 在 2022 年 9 月,宣布成功以头显和手柄控制器的位置和方向数据作为输入,其他数据全靠 AI 预测,使得元宇宙中的虚拟人物有了腿。他们设置了4000个身高不同的仿真人形机器人,每个机器人具有 33 个自由度。随后,将这些机器人在英伟达的 Isaac Gym(一个专门用于强化学习研究的机器人物理模拟环境)中同时进行训练,2 天后,这只框架就能基于这个强化学习策略,根据头显和手柄数据直接预测用户全身动作了。
CIOE精密光学展&摄像头技术及应用展是亚太地区极具影响力的光学行业专业展览会,展会完整展示光学元件及材料、镜头及模组、镀膜、机器视觉、AR&VR、光学测量等光学全产业链板块的新产品、新技术、新趋势及新应用,并着力为光学上中游生产企业及下游终端光学应用企业搭建集品牌展示、商贸洽谈、高效维护及开拓客户关系为一体的专业交流平台。
参展咨询:
电话:+86-755-86290901
网站:www.cioe.cn
点分享点点赞点在看世展网公众号 |
微信小程序 |
销售客服 |
门票客服 |