El proyecto es un ratón gestual que utiliza el movimiento de la mano del usuario captado por una cámara. Conociendo de manera precisa y robusta la posición de la mano, se podría desplazar el puntero del ratón por la pantalla. De esta forma se podría utilizar el puntero gestual para facilitar la interacción de las interfaces para personas discapacitadas o para incluirlo en juegos, etc.
Para realizar el proyecto se ha optado por analizar, implementar y evaluar cinco métodos aplicando técnicas distintas. Básicamente el sistema captura una imagen de la cámara, realiza un tratamiento aplicando filtros y genera el evento del ratón correspondiente que puede ser un movimiento, un click, un doble click o un arrastre.
Los algoritmos analizados se dividen en dos grupos: los que utilizan técnicas de segmentación de color y los que se basan en el movimiento. El primer grupo tiene el problema de depender de la iluminación y no ofrece un buen resultado cuando la mano no se aleja demasiado del centro de la imagen. Mientras que el segundo grupo tiene la ventaja de depender del movimiento que se produce entre fotogramas y de esta forma hace que sea independiente de la iluminación y del fondo. Estos últimos ofrecen un mejor resultado.
Los eventos que se pueden generar:
- Desplazamiento del puntero: se tendría que mover la mano extendida delante de la cámara para que el sistema interprete el movimiento del puntero.
- Pulsación simple: se tendría que girar la mano para que el sistema interprete el movimiento como click.
- Pulsación doble: se tendría que girar la mano dos veces seguidas para que el sistema interprete el movimiento como doble click.
- Agarre y arrastre: se tendría que girar la mano tres veces seguidas para que el sistema interprete el movimiento como agarre, para soltar el elemento arrastrado se giraría la mano una vez más.
La aplicación se distribuye bajo licencia GPL y se puede descargar de:Dispositivo_Gestual_1.0.exe (documentación, presentación). Si quieres obtener el código fuente de la aplicación contacta conmigo (wunslov@wunslov.com).
