Kinect Programmierung mit OpenNI / NITE + Handout

Kinect mit SimpleOpenNI & Processing Installation
Website: http://code.google.com/p/simple-openni/ Installations

Anleitung

http://code.google.com/p/simple-openni/wiki/Installation

!Mac OS: Abschnitt “Install OpenNI the short way”
In der .zip Datei für Processing sind viele Beispiele enthalten
(Hand Tracking, Skeleton Tracking und vieles mehr).

Hand Tracking
Ausgangsbasis für eigene Experimente kann das SimpleOpenNI_NITE_Hands
Beispiel sein. Auf diesem Beispiel beruht auch das Beispiel zum Wischen der Musik.
Für das eigentliche Tracken der Hand wird eine Klasse verwendet (leitet von
XnVPointControl ab) – hier gibt es weitere Methoden:

! OnPointCreate(XnVHandPointContext Ctx) – Wird aufgerufen wenn eine Hand !
getrackt wird. Im Kontext (Ctx) bekommt man eine Id (Ctx.getNID()) – diese bleibt !
für eine Erfassung der Hand konstant.

! OnPointUpdate(XnVHandPointContext Ctx) – Wird kontinuierlich aufgerufen und !
gibt aktualisierte Daten für die Hand (Ctx.getPtPosition()).

! OnPointDestroy(XnVHandPointContext Ctx) – Wird aufgerufen wenn eine Hand !
nicht mehr getrackt wird.

Achtung
Die Position die getPtPosition() zurück gibt ist in echten 3D Koordinaten – !
oft braucht man allerdings eine 2D Bildschirmkoordinate um den Trackingpunkt !
darzustellen oder sonstige Dinge in Processing zu zeichnen.

Diese Bildschirmkoordinaten bekommt mithilfe des Befehls:
! context.convertRealWorldToProjective(Punkt aus einer der Funktionen, Speicher
für gewandelten Punkt); Mit diesen Daten kann man nun die unterschiedlichsten
Dinge anstellen – Bilder ausmalen, Gesten erkennen etc.

Für die Gestenerkennung muss man eine mathematische Beschreibung der Geste finden.
Generell geht man zum Erkennen einer Geste von den letzten X Punkten aus die
man getrackt hat. Dies können eine fixe Anzahl sein oder in einem Zeitrahmen
liegen. (Die Wisch Erkennung verwendet vor allem den Zeitrahmen als Limit
welche Punkte beachtet werden)

Für das Musik Wischen habe ich gesagt das ich eine horizontale Handbewegung
habe = eine mindest Bewegung in X und wenig Abweichung in Y.
Aufwändigere Gesten (Kreis malen, ..) sind möglich aber um einiges komplizierter.

Beispielskript: wischGeste

Die OpenKinect-Bibliothek für Processing von Daniel Shiffman könnt ihr
hier herunterladen, Auf der Seite steht alles Wichtige zur Installation:: http:
//www.shiffman.net/p5/kinect/

OpenCV für das Blob-Tracking, Auch hier sollte die Anleitung selbsterklärend sein.
Auf dieser Seite findet ihr auch zusätzliche Informationen zu den Methoden und
Variablen, die in den Beispielprogrammen verwendet werden. Das Face-Tracking,
was ich euch heute gezeigt habe, ist ebenfalls bei den Beispiel-Programmen von
openCV zu finden. Wenn ihr beides richtig installiert habt, sollten die
Beispielprogramme von mir ohne Probleme zu starten sein.:
http://ubaa.net/shared/processing/opencv/

Und für alle Recherchier-/Experimentier-Wütigen hier noch die Links zu den
einzelnen Frameworks und Workarounds, mit denen sich der Kinect-Sensor
und Flash/Processing verbinden lassen (sollten):

TUIO: http://www.tuio.org/?software

TUIO: http://silviopaganini.posterous.com/openkinect-flash-tuio-udp-flash-bridge

as3Kinect: http://www.as3kinect.org/

flKinect: http://kimulabo.jp/

http://kimulabo.jp/: http://labs.blitzagency.com/?p=2634

Openkinect/Processing von nrocy: https://github.com/nrocy/processing-openkinect

Simple-OpenNI (wichtig, weil Skeleton-Tracking!): http://code.google.com/p/simple-openni/

Skeleton-Tracking Kinect/Processing (SEHR KOMPLEX): http://urbanhonking.com/ideasfordozens/2011/02/16/skeleton-tracking-with-kinect-and-processing/

little bits of this and that/ Genevieve Hoffman’s ITP Process Log:http://itp.nyu.edu/~gh726/ITProcess/

// Blinker aktivieren
Processing Skript – Blob Detection: kinect_blob_detect