He cambiado totalmente el sistema de detección de manos y he pasado del centro de masas por el momento. Ahora mismo calculo mediante la función convexHull de openCV, el polígono mínimo que engloba la mano (previa simplificación aproximando los contornos de findContours con approxPoly) y pinto un círculo en cada vértice, suponiendo que cada uno de ellos es un dedo de la mano (falta mucho por depurar, pues se ven puntos en la parte inferior de la mano).
Mi idea es que la mano derecha (izqda. en la imagen) controle el giro y el sentido de la marcha (mano abierta=marcha atrás, mano cerrada = marcha adelante) y que la izquierda (derecha en la pantalla) controle la velocidad, siendo el número de dedos mostrados la marcha seleccionada (mayor velocidad cuanto mayor es la marcha).
Espero que esta sea mi última aproximación, porque cada vez se me ocurre una idea nueva!