（映維網(wǎng)Nweon 2023年09月18日）Meta認(rèn)為，在XR中通過手勢滾動列表和瀏覽內(nèi)容而非采用控制器會增強(qiáng)用戶移動體驗。所以，團(tuán)隊申請了一份名為“Scrolling and navigation in virtual reality”的專利。其中，除了通過頭顯的手部追蹤來識別手勢之外，Meta表示同時可以通過手腕式可穿戴設(shè)備來檢測手勢。
圖4示出一個可穿戴XR示例。例如，XR可穿戴設(shè)備可以是手腕式可穿戴設(shè)備，如XR手腕傳感器400。手腕傳感器400可以配置為感測用戶的手的位置和運(yùn)動，并將感測到的位置和運(yùn)動轉(zhuǎn)換為輸入手勢。輸入手勢可以是用戶手腕的微運(yùn)動，例如捏合、滑動、輕觸等動作等。 XR手腕傳感器400可包括框架402和傳感器組件404，所述傳感器組件404耦合到框架402并配置為收集有關(guān)局部環(huán)境的信息。傳感器組件404可以包括攝像頭、IMU、肌電傳感器、飛行時間傳感器、光學(xué)傳感器等。 以這種方式，XR手腕傳感器400可以判斷/檢測用戶的輸入手勢，解釋用戶手腕的位置和運(yùn)動數(shù)據(jù)，并根據(jù)指定的控制方法、滾動參數(shù)等將手腕輸入手勢轉(zhuǎn)換為導(dǎo)航命令。 所述XR手腕傳感器400同時可以包括一個或多個音頻設(shè)備，例如輸出音頻傳感器408a-408b和輸入音頻傳感器410。輸出音頻換能器408a-408b可向用戶提供音頻反饋和/或內(nèi)容，而輸入音頻換能器410可捕獲用戶環(huán)境中的音頻。XR手腕傳感器400同時可以包括其他類型的屏幕或視覺反饋設(shè)備。
圖5示出示例計算系統(tǒng)500的框圖，并用于實現(xiàn)發(fā)明描述的各個方面。計算平臺502可以配置為執(zhí)行算法來轉(zhuǎn)換感知的手腕運(yùn)動，例如通過基于計算機(jī)視覺的頭顯手部追蹤或通過手腕可穿戴的手腕追蹤。 以滾動為例，可以在固定點執(zhí)行左手或右手的拇指對食指捏合手勢，捏合并抬起手則向上滾動導(dǎo)航，捏合并放下手則向下滾動。增加/減少抬起或放下速度可以調(diào)整滾動速度。 在計算系統(tǒng)500中，手腕手勢模塊508可以基于遠(yuǎn)程平臺504的傳感器組件（如傳感器組件404）的手腕運(yùn)動檢測來將輸入手勢轉(zhuǎn)換為XR環(huán)境中的導(dǎo)航，例如滾動命令。 手腕手勢模塊508可以確定輸入手勢的角度、相對坐標(biāo)、旋轉(zhuǎn)和/或其他位置/運(yùn)動參數(shù)，例如根據(jù)由計算平臺502實現(xiàn)的坐標(biāo)。感測數(shù)據(jù)可以是IMU數(shù)據(jù)、眼動追蹤數(shù)據(jù)、肌電圖數(shù)據(jù)、飛行時間數(shù)據(jù)、光學(xué)數(shù)據(jù)和/或類似的數(shù)據(jù)，以便表征輸入手勢的物理參數(shù)。 手腕手勢模塊508可根據(jù)所述手的實際感知運(yùn)動和位置輸出所述手的計算機(jī)化渲染，而所述用戶的手可根據(jù)所述控制方法模塊512指定的控制方法和所述滾動模塊516指定的滾動參數(shù)映射到導(dǎo)航/滾動命令。 計算機(jī)視覺模塊510可以實現(xiàn)與手腕可穿戴傳感器執(zhí)行的類似的功能，例如追蹤輸入手勢。計算機(jī)視覺模塊510可以是頭戴式傳感的一部分，以便光學(xué)追蹤用戶的手部位置和運(yùn)動。 控制方法模塊512可以指定用于導(dǎo)航命令的翻譯的一個或多個控制方法。作為示例，控制方法可用于諸如在熟悉位置快速滾動和選擇項目、悠閑地瀏覽連續(xù)內(nèi)容等任務(wù)的滾動。根據(jù)指定的控制方法進(jìn)行輸入手勢時，用戶的手/手腕的姿勢可以基于臂前姿勢、臂側(cè)姿勢或其他適當(dāng)?shù)淖藙荨?/p> 捏壓模塊514可以根據(jù)所選或配置的控制方法和/或滾動參數(shù)識別用于轉(zhuǎn)換或確定導(dǎo)航命令的用戶捏壓動作。用戶的捏壓動作可以通過手腕傳感器400a-400b等手腕可穿戴設(shè)備檢測到。例如，手腕傳感器400a-400b可包括兩個IMU，例如一個IMU位于用戶手背上，另一個位于手腕上。 滾動模塊516可以識別XR滾動的其他可配置滾動參數(shù)或特征。例如，滾動參數(shù)可以包括有狀態(tài)/無狀態(tài)縮放、自然/非自然滾動等。 傳遞函數(shù)類型可用于滾動模塊516，以確定滾動的動量，例如基于特定輸入手勢的模擬運(yùn)動慣性。選擇機(jī)制可以指用戶在特定滾動參數(shù)之間切換或選擇的方式。滾動模塊516可實現(xiàn)自然和直觀的一維和二維XR滾動和選擇技術(shù)，并適用于離散和連續(xù)任務(wù)，短和長滾動距離，快速和慢滾動任務(wù)。 滾動模塊516同時可以對捏壓模塊514的檢測誤差進(jìn)行調(diào)整，例如基于IMU或手腕可穿戴設(shè)備400a-400b的其他傳感器在捏壓檢測中的不確定性。 傳遞函數(shù)模塊518可控制共享人工現(xiàn)實環(huán)境和個性化人工現(xiàn)實環(huán)境的輸出。傳遞函數(shù)模塊518可以處理手腕可穿戴設(shè)備400a-400b中的噪點偽影。在考慮噪點后，傳遞函數(shù)模塊518可以模擬特定的滾動動量，例如基于用戶所做的手腕輸入手勢的點擊力矩。例如，如果用戶做出輕擊輸入手勢，則傳遞函數(shù)模塊518根據(jù)與輕擊輸入手勢對應(yīng)的“動量”確定諸如通過可滾動列表的滾動力矩。 動量或動量參數(shù)的程度可由基于傳遞函數(shù)的傳遞函數(shù)模塊518確定。傳遞函數(shù)模塊518可以選擇最優(yōu)傳遞函數(shù)，例如線性傳遞函數(shù)、二次傳遞函數(shù)或其他傳遞，從而令滾動可滾動列表的動量更加“可控”。 例如，最優(yōu)傳遞函數(shù)可以考慮用戶滾動到長可滾動列表的特定點的平衡、精度和速度。在一個實例中，由傳遞函數(shù)模塊518實現(xiàn)的傳遞函數(shù)可以使用戶在開始滾動列表時做出相對較大的輕彈手勢，然后在可滾動列表中的項目到達(dá)所需點時開始減速。 在到達(dá)期望的點之前，傳遞函數(shù)模塊518可以應(yīng)用所選的傳遞函數(shù)，使?jié)L動動量變慢，并且更易于用戶控制。所選的傳遞函數(shù)可以基于傳遞函數(shù)模塊518對預(yù)測列表中用戶可能停止的位置的預(yù)測知識，而預(yù)測知識可以基于過去的用戶歷史、可滾動列表的特征、滾動情景、機(jī)器學(xué)習(xí)算法等。 傳遞函數(shù)模塊518通過確定與所選擇的更好的傳遞函數(shù)相對應(yīng)的更直觀、更自然的滾動體驗，從容有利地改善了滾動的用戶體驗。特別地，所選的傳遞函數(shù)可以平衡傳遞函數(shù)模塊518如何將用戶執(zhí)行動作的特定速度轉(zhuǎn)換或轉(zhuǎn)換為特定的動量水平。 所選擇的傳遞函數(shù)可能與可滾動列表的情景相對應(yīng)，例如列表中包含哪些項目，列表是否作為XR游戲的一部分滾動，列表中的項目在語義上如何不同等等。傳遞函數(shù)模塊518應(yīng)用的傳遞函數(shù)可以讓用戶在XR環(huán)境中以類似于在觸摸屏設(shè)備滾動的直觀方式進(jìn)行導(dǎo)航或滾動。 例如，XR模塊520可用于通過計算平臺502為遠(yuǎn)程平臺504呈現(xiàn)共享的人工現(xiàn)實環(huán)境。XR模塊520可以生成導(dǎo)航或滾動操作的XR表示，例如滾動條合箭頭鍵。這樣的XR表示可以暫時呈現(xiàn)為XR可視元素，或者根本不呈現(xiàn)。 圖6-8舉例說明了用戶在人工現(xiàn)實環(huán)境中導(dǎo)航視圖600、700、800的示例。
圖6的示例視圖600描述正在使用的相對速率控制。簡單來說，用戶作為輸入手勢所做的捏壓動作的角度可以對應(yīng)和/或用于根據(jù)角度與中性點/閾值角度之間的相對差值來選擇滾動速度。中性點/閾值可以由先前捏捏手勢的位置確定。 例如，滾動的速度可以根據(jù)手的當(dāng)前位置和用戶開始進(jìn)行捏動時手的位置之間的差異來計算。
圖7的示例視圖700說明具有速率控制的位移微動。簡單來說，每一個離散的捏壓動作或用戶手腕的閉合捏壓動作都可以作為一個輸入手勢，并分別通過連續(xù)的滾動來滾動列表。 每次捏合都可以導(dǎo)致在可滾動列表700中滾動一個項目、兩個項目或其他設(shè)置的離散數(shù)量的項目/實例，而保持捏合動作可以導(dǎo)致可滾動列表700連續(xù)滾動，直到用戶釋放。
例如，圖8的示例視圖800說明正在使用的滾動控制。通過保持捏合并朝特定方向移動，用戶可以執(zhí)行自然直觀的滾動操作。
名為“Scrolling and navigation in virtual reality”的Meta專利申請最初在2022年2月提交，并在日前由美國專利商標(biāo)局公布。 --- |
|
|
