1. Ziele des Software Praktikums
Das Oberziel:
Die Beschreibung eines Workflows, wie man künstliche Umgebungen für die Stimuli der Linguisten erzeugen kann. Der sollte an konkreten Beispielen erklärt werden und
von Linguisten umzusetzen möglich sein.
Die Unterziele:
Die Bearbeitung der von den Linguisten bereitgestellten Videoclips, das heißt die Erzeugung ihrer Spiegelbilder und das Entfernen ausgewählter Objekte in den Videos.
Die Nachbildung konkreter Videoclips in 3D Modellierungs- und Animationsprogrammen Maya (Toon Shading Animation) und Milkshape3D (Charakter Animation).
Die Erzeugung der künstlichen Umgebungen mit der Gameengine Irrlicht.
2. Der Hintergrund
Die Zusammenarbeit mit den Linguisten
Wie ist das Thema dieses Software Praktikums zustande gekommen?
Die Videoclips, die ich bearbeitet habe, werden in dem Projekt "Einzelsprachliche Perspektivierung in der Sprachproduktion" am Seminar für Deutsch als Fremdsprachenphilologie (SDF) zur
Untersuchung von sprachspezifischen Mustern der visuellen Aufmerksamkeit verwendet.
Die Projektbeschreibung der Linguisten
Mit Hilfe eines Eye-Trackers wird erforscht, inwiefern sprachliche Strukturen kognitive Prozesse (Wahrnehmung, Denken, Lernen, Erinnern) beeinflussen bzw. mit
steuern.
Dazu werden die kurzen, von den Linguisten selbst gedrehten Videoclips (auch Stimuli genannt), die alltägliche Situationen aus dem realen Leben darstellen, benutzt. Die Probanden sehen
sich die Videoclips der Reihe nach an und versuchen, die Situation in diesen Videoclips zu beschreiben. Dabei ist es wichtig, ganz bestimmte Eigenschaften der Stimuli modifizieren zu können, so dass Unterschiede in der kognitiven Verarbeitung durch Sprecher verschiedener Sprachen
systematisch werden können. So wird beispielsweise die Richtung, aus der der Protagonist in dem Clip kommt, variiert (die Spiegelung der Videos).
Einen weiteren Forschungsaspekt stellen die Endpunkte von Bewegungsereignissen dar. Verschiedene Clips zeigen Bewegungsereignisse, in denen sich ein Mensch oder ein Tier von Punkt A zu Punkt B bewegt, ohne
in dem Clip den Endpunkt B zu erreichen. Die Modifikation Zielpunktregion erfolgt so, dass sie weniger sichtbar gemacht oder gar entfernt wird (das Entfernen der Objekte der Zielregion). Somit lässt sich die
Hypothese testen, ob Sprecher einer Sprache, die einen Endpunkt typischerweise versprachlichen, ihn auch dann erwähnen, wenn er in einem Clip nicht deutlich zu sehen ist.
Weitere, vergleichbar aufgebaute Studien mit hoch differenziertem visuellem Input werden sich mit kausativen Handlungen beschäftigen, bei denen die Aufmerksamkeit
unterschiedlich auf den Handelnden, die Handlungsregion und das betroffenen Objekt ausgerichtet sein kann. Auch hier sind Hypothesen über sprachstrukturell bedingte
Unterschiede untersuchungsleitend.
Eye Tracking und Eye Tracker
Eye Tracking ist eine Methode der Blickbewegungsregistrierung. Mittels speziell entwickelter Videokameras werden die Augen von Menschen erfasst und anhand komplexer Algorithmen die
entsprechenden Blickbewegungspositionen ermittelt.
Mit den gewonnen Daten (alle 8,3ms bei einem Eyegaze Analysis System) kann man verschiedene Analysen über das betrachtete Bildmaterial durchführen oder aber auch
Blickbewegungen zur Steuerung von Maschinen einsetzen.
Hier gibt es nähere Informationen zu dem Eye Tracker.
