Hand Tracking Interaction

En esta entrada hablaremos del uso del sistema de Hand Tracking en Meta Quest y en SIPRE 

¿Qué es el Hand Tracking?
Es un sistema de Meta que permite mediante los Head Mounted Display Meta Quest con sus cámaras integradas y a utilizando de manera nativa el Sistema Operativo propietario de Meta así como su Software Development Kit, reconocer las manos reales con un alto nivel de precisión y así utilizarlas de manera natural en el simulador.

En SIPRE hay algunas funciones que pueden ser ejecutadas de esta manera, de forma que es bastante intuitivo realizarlas:
Menú SO: para ingresar al menú de Sistema Operativo (o menú de Meta) es necesario acercar la mano derecha frente a nuestra vista, con la palma hacia nosotros, y acercar levemente el dedo pulgar y el índice. Esto mostrará el símbolo de Meta y si cerramos rápidamente el dedo pulgar e índice ingresaremos en el. Luego podremos seguir utilizándolo el Menú mediante toques con el dedo o mediante raycasting.

Menú App: para ingresar al menú propio de la aplicación es recomendable utilizar el control izquierdo, pero puede igualmente ser abierto o cerrado con el mismo gesto de Menú, pero esta vez con la mano izquierda.

Reposicionar: Esta función es especialmente útil para reajustar el centrado de nuestra posición virtual respecto a la posición física real. Para hacerlo debemos ejecutar el gesto de menú pero en vez de cerrar rápidamente el dedo índice y pulgar lo mantendremos presionado durante unos segundos, el símbolo de Meta formará un aro de carga alrededor, y cuando termine entonces nos moverá a la posición correcta. 

Raycasting: Cuando interactuamos con los Menú del sistema podemos utilizar este gesto, como si utilizáramos una batuta, que nos servirá como cursor en los paneles del sistema. Para hacer clic se deben cerrar rápidamente el dedo pulgar e índice.

Poke: Para interfaces en ocasiones se utilizan botones que pueden ser pulsados mediante el dedo índice de cualquier mano, de manera intuitiva. 

Teleporting: O también llamado traslación, permite desplazarnos por una amplia zona virtual, sin movernos de nuestro espacio físico real, incluso sentados. Tiene dos modos: rotación: con la palma de la mano mirando hacia nosotros, acercamos el dedo índice y pulgar, el primero más abierto, y si la desplazamos levemente hacia la izquierda o derecha nos aparecerá una flecha acorde a la dirección. Cerramos el dedo pulgar e índice rápidamente y rotaremos en el espacio virtual, sin necesidad de rotar en el real. 
El segundo modo es formar una L mirando hacia nosotros con la mano derecha (o una L al revés con la mano izquierda) y veremos cómo se forma un arco, si no tenemos una zona de desplazamiento (hotspot) cerca entonces nos mostrará el arco en color rojo, pero si hay una zona disponible entonces será blanco y al cerrar el dedo pulgar e índice rápidamente entonces podremos movernos. 
Este arco nos permite movernos en distancias cortas, simulando que caminamos, a grandes distancias, hacia arriba, hacia abajo, lo utilizaremos para entrar o salir de sitios, o para subir y bajar de medios de transporte. 

Agarrar: El grab es una función que permite manipular objetos agarrándolos y moviéndolos según sus propiedades. Esto se hace de forma natural con el gesto de agarrar. 
Un gesto similar es el de pellizcar, que puede ser útil frente a elementos más pequeños, como por ejemplo perillas o switches. 

Trigger: Este gesto no se emplea aún en SIPRE, pero permite generar un "disparo", por ejemplo de un rociador.