新闻动态
zxzx
您现在的位置:首页 > 新闻动态

微软专利共享ARVR操控器追寻的LED数据同步解决方案
2022-04-30 17:32:43       来源:乐鱼官网

  (映维网Nweon 2023年07月18日)为了追寻用户或操控器的方位,有头显厂商挑选了光学传感器办法,例如检测在头显邻近照明的LED符号的摄像头。当运用这种LED符号时,需求在LED发射和摄像头曝光之间同步计时。

  特别是,在带有依据LED星座追寻体系的六自由度AR/VR操控器中,LED发射时刻与摄像头曝光窗口之间的守时同步关于图画质量、精度和功耗非常重要。蓝牙一般具有10毫秒或更长时刻的数据包推迟和不确认性,这关于LED发射时刻操控而言不切实践。

  别的,头显摄像头模块和蓝牙芯片或许从不同的时钟源运转,这或许导致时钟漂移。所述问题使得LED和摄像头守时同步成为一项具有挑战性的使命。

  不准确的同步或许导致较差的图画质量和准确性,这或许导致操控器追寻问题,然后对用户体会发生负面影响。一起,不准确的同步或许导致不用要的核算资源运用和过度的功耗。

  创造首要描绘了在不修正现有蓝牙物理层和其他协议层的情况下完成蓝牙物理层无线同步的技能。所述技能使LED翻开时刻比摄像头曝光时刻短。这样,在操控器运动的情况下,能够下降LED的功耗,并最大极限地削减LED星座图画的含糊。

  在一个施行例中,仅用于外部RF PA操控的RF TX/RX开关信号可用于守时同步。这种信号现已应用于一系列的蓝牙芯片组中。所描绘的施行例能够独立于任何特定芯片组完成。因而,主设备和从设备芯片不用来自同一制造商。别的,所述原理可应用于除蓝牙以外的其他工业或专有无线电技能为根底的操控器。

  蓝牙主设备一般发送一个3.2 KHz的主无线时钟,这是主设备和从设备物理层时刻同步和数据包传输的时刻根底。这个分辨率关于六自由度LED守时同步来说一般太低。但是,3.2 KHz主无线时钟坚持主从设备同步,没有时钟漂移。

  微软介绍了一种完成依据锁相环的时钟乘法器的办法,以将时钟从3.2 KHz提升到24 MHz或更高,以便在纳秒级供给准确的LED守时操控。

  当摄像头时钟和蓝牙时钟运用不同的时钟源时,或许会发生时钟漂移。在一个施行例中,能够施行数字锁相环电路和摄像头频闪信号,以保证头显摄像头和六自由度操控器LED坚持与摄像头帧同步。一旦建立了初始同步,只需蓝牙无线链路存在,即使操控器移动到摄像头视场之外,体系都能够坚持同步。

  以这种方法,能够更有效地同步操控器和LED,然后削减处理器周期和电池功率等核算资源的运用,削减需求重复曝光的或许性,然后削减头显运用的功率。

  如图1所示,操控器160能够包含惯性丈量单元,并可包含散布在所述操控器160的外表的多个光源。图1示出具有沿操控器160的环状结构的外部和内部散布的多个光源170的操控器160。

  光源能够装备为在由头显的摄像头或摄像头获取的图画数据中构成光的方式,亦即“星座”,然后能够从捕获操控器的图画确认操控器160的姿势。

  光源能够选用任何适宜的方式,例如发光二极管LED,它宣布可见光,并经过头显的可见光摄像头进行检测。在一个示例中,头显摄像头能够装备为过滤除LED宣布的光波长以外的光波长,以下降图画数据中的噪点水平。操控器160可具有恣意适宜的光源数量和摆放。

  能够将VR设备100和操控器160装备为直接互相通讯,例如经过运用蓝牙通讯协议或其他适宜的无线通讯协议衔接的无线网络。在其他施行例中,可选主机核算设备(未示出)可与VR设备100和操控器160通讯,以接纳来自VR设备100和操控器160的数据并处理该数据,然后再向设备发送操控信号。

  经过运用VR设备100上的一个或多个摄像头追寻操控器160的光源宣布的光的方位,能够估量操控器160的相关于头显姿势。

  来自IMU的数据能够进一步辅佐追寻。为了将来自图画数据的光学位姿与IMU数据相结合,以供给操控器160相关于国际的实践姿势,能够经过将光学数据映射到国际坐标来进行处理,以将IMU数据与光学数据“交融”。

  参阅图2,帧守时器220是数字锁相环的一部分,并装备用于同步摄像头帧与24 MHz同步时钟。其间,所述时钟确定到3.2 KHz蓝牙主时钟。

  帧计时器220以24 MHz采样率丈量90 Hz摄像头帧时刻。丈量到的时刻发送到六自由度,以从操控器器材进行LED守时同步和漂移校对。

  图2示出具有闪光灯频闪信号235的头部追寻摄像头230。在一个施行例中,能够有2-4个或更多的摄像头用于头显头显和操控器追寻。摄像头能够从同一时钟源同步。其间一个摄像头能够在60/90 MHz或更高的频率下将频闪信号235作为摄像头时刻同步根底。频闪信号的开端时刻和持续时刻可编程。

  图3示出的是蓝牙主天线,其显现为BT MCLK1 (24 MHz)。蓝牙主时钟320是蓝牙主芯片的时钟参阅。图3中一起显现了蓝牙主模块330,它是头显上的蓝牙主操控器,TX/RX开关信号暴露在芯片之上。

  图3进一步示出主时钟发生器340,其生成用于蓝牙主从物理层时序参阅的3.2 KHz主时钟360。图例一起示出时钟乘法器350。在一个施行例中,时钟乘法器350将主时钟乘以7500以生成用于帧计时器输入时钟的24 MHz同步时钟。。

  图4所示的是LED驱动器410,其别离具有用于LED开/关和亮度操控的使能引脚412和PWM输入414驱动一个或多个LED串420。操控器MCU 430能够作为六自由度操控器、LED守时和蓝牙通讯的微操控器。LED串420包含一个或多个串行或并行LED串,装备为生成用于六自由度操控器追寻的星座。

  图4进一步示出帧时刻同步器440,其从从主操控器430接纳到的帧时刻包生成摄像头帧时刻。帧时刻同步器440比较当时和较新的帧计时器,以估量在固定期间内接纳到下一个帧时刻包之前均匀到帧计时器的时钟漂移。

  这样,帧时刻同步器440能够逐帧补偿摄像头时钟漂移,而不依赖于或许高达数百毫秒的蓝牙数据包推迟。

  图4进一步示出LED偏移估量器450,其可装备为参照用于初始同步的帧起点估量LED ON守时偏移。图例一起说明晰LED偏移计数器460,其存储LED ON守时偏移。

  在一个施行例中,LED偏移计数器460能够调整到1/24 MHz=41.6 ns的精度。图4进一步示出可用于操控LED翻开时刻而且可调理的LED持续时刻计数器470。较短的LED持续时刻能够在操控器运动时完成明晰安稳的图画。

  图5示出了所述设备蓝牙天线进一步示出主时钟康复功用530,所述功用康复作为时钟乘法器输入之一的3.2 KHz主时钟。在1.5 m间隔处,由于物理层的TDD守时调整,主时钟和康复主时钟或许有5ns的差异。关于41.6 ns的时序分辨率,能够疏忽所述差异,LED时序操控没有显着差异。

  图5进一步示出时钟乘法器540,其可与图3中的时钟乘法器350相同,并用于主时钟乘法以在隶属设备上生成24 MHz同步时钟作为帧时刻参阅。

  蓝牙从主时钟有一个相关于主时钟漂移的时钟,由于主从时钟运用不同的时钟源。但是,从时钟乘法器540的输出相位确定到3.2 KHz主时钟以战胜时钟漂移。

  图6示出了依据头显的各种组件。图示是一个依据锁相环的时钟乘法器600,它选用24 MHz (BT MCLK) f1时钟作为两个输入之一。另一个输入是3.2 KHz BT主时钟。输出f3为24 MHz,但确定到主时钟阶段,以答应操控器侧24 MHz f3时钟康复而没有时钟漂移。

  图例一起说明晰头显 MCU守时器/计数器610具有很多微操控器可用的外部事情触发器。24位守时器/计数器输入锁相到24 MHz f3时钟。触发事情是摄像头频闪信号630,它是一个准确的摄像头曝光守时参阅。所述摄像头频闪信号630可用于丈量所述摄像头帧周期,并将所述摄像头帧周期发送给操控器MCU以供LED守时参阅。

  关于10ppm时钟源,每帧的最大丈量差错为0.22 us。由于摄像头和BT时钟源不同,差错会逐帧累积。这种差错能够经过为摄像头和头显侧的BT运用相同的24 MHz时钟源或经过将24 MHz时钟f3时钟丈量的摄像头帧时刻发送到操控器进行周期性校对来消除。

  图6进一步示出暴露了频闪信号的头显头和操控器追寻摄像头640。摄像头640能够从同一时钟源进行同步。摄像头传感器一般有闪光灯操控的频闪信号。在一个施行例中,摄像头640中的至少一个具有其频闪信号。虽然帧同步信号可用于相同的意图,但频闪信号可编程,更灵敏。

  图7示出操控器的各种组件。所示的时钟乘法器710能够是与图6中的时钟乘法器600相同的时钟乘法器部分。时钟乘法器710可用于发生锁相到3.2 KHz主时钟的24 MHz f3时钟,用于LED守时操控。24 MHz f1和f1 ‘或许略有不同,由于它们来自不同的来历,但两者都是确定到3.2 MHz BT主时钟的相位。

  图7一起示出了两个24位寄存器,其间包含一个新帧计时器(NFT) 720和当时帧计时器(CFT) 730。

  能够将NFT 720装备为在摄像头帧时刻蓝牙数据包725中保存从头显接纳的摄像头帧时刻。CFT 730能够坚持由时钟漂移ΔFT引起的均匀帧时刻差错补偿的帧时刻。CFT 730一起能够包含硬件帧计数器740,装备为每逢计数器下贱发生时发生90hz帧发动触发信号。

  所述模块750可供给无线数字锁相环,以保证在头显或6DoF操控器断电之前,摄像头结构和LED操控守时坚持同步。

  762可依据初始同步过程中的帧触发信号估量LED发动时刻。这个时刻值能够存储在LOC 764中。当764溢出时,触发LED并翻开LED。一起,LDC 766或许在溢出时开端倒计时并封闭LED。

  LDC 766能够经过软件设置。LDC 766或许与摄像头的曝光时刻相同或更短,以便在六自由度操控器运动时捕捉到明晰的图画。LED持续时刻可编程,并能够由图画明晰度要求,LED驱动电流,摄像头传感器灵敏度等决议。

  图7一起示出具有用于LED ON/OFF和亮度操控的使能引脚和PWM的LED驱动器770。亮度操控数据能够经过BT数据包从头显反应。

上一篇:斗极星通2022年半年度董事会运营评述
下一篇:固高科技:中信建投证券股份有限公司关于公司初次揭露发行股票并在创业板上市的上市保荐书

 关于我们

 新闻动态

 资质荣誉

 联系我们

 网站地图