YourVisionPro

░██     ░██                                ░██    ░██ ░██           ░██                      ░█████████                      
 ░██   ░██                                 ░██    ░██                                        ░██     ░██                     
  ░██ ░██    ░███████  ░██    ░██ ░██░████ ░██    ░██ ░██ ░███████  ░██ ░███████  ░████████  ░██     ░██ ░██░████  ░███████  
   ░████    ░██    ░██ ░██    ░██ ░███     ░██    ░██ ░██░██        ░██░██    ░██ ░██    ░██ ░█████████  ░███     ░██    ░██ 
    ░██     ░██    ░██ ░██    ░██ ░██       ░██  ░██  ░██ ░███████  ░██░██    ░██ ░██    ░██ ░██         ░██      ░██    ░██ 
    ░██     ░██    ░██ ░██   ░███ ░██        ░██░██   ░██       ░██ ░██░██    ░██ ░██    ░██ ░██         ░██      ░██    ░██ 
    ░██      ░███████   ░█████░██ ░██         ░███    ░██ ░███████  ░██ ░███████  ░██    ░██ ░██         ░██       ░███████  

Experimental hand-and-eye tracking playground inspired by Apple Vision Pro interactions, built with Python .

Features

• Real-time hand landmark processing via MediaPipe Hand Landmarker.
• Cursor control abstractions with smooth pointer gestures and pinch interactions.
• Mouse backend selection that adapts between pyautogui, pynput, or simulation depending on host support.

Working Gestures

• Pinch to click
• Hold pinch to drag
• Open hand to zoom in
• Point finger to zoom out

Start

uv init
uv sync
source .venv/bin/activate

Launch the experience with:

uv run main.py

Press q in the application window to close the program safely.

Core Libraries

• MediaPipe for robust hand-landmark detection.
• OpenCV for video capture and frame pre-processing.
• PyAutoGUI / pynput for cross-platform mouse control fallbacks.