Prozessdokumentation BA-Thesis

Möglichkeiten des Tracking in 360°
Ein Open Source Projekt

Gerade in Sport- und Freizeitaufnahmen sind 360° Aufnahmen auf dem Vormarsch. Tracking ermöglicht dabei im Nachhinein den Ausschnitt mit der spannenden Handlung zu wählen, manuell oder mit AI. Tracking wird aber auch beispielsweise in der Robotik oder Überwachung angewendet. Dabei werden die unterschiedlichen Anwendungsbereiche fundamental anders wahrgenommen.

Mich interessiert eine interaktive Anwendung für das Tracking anhand verschiedener Kriterien. Es soll dabei eine spielerische Auseinandersetzung mit dem Thema und dessen Anwendung im Alltag stattfinden.
Mann soll sich die Frage stellen, wie weit die Überwachung schon ist, wenn mein Webtool nur auf Open Source basiert?

Beispiel: Inspirationsvideo
360° Video

Um ein 360° Video mit einer Rundumkamera zu erstellen sind mehrere Schritte erforderlich. Zunächst wird das Filmmaterial mit der 360°-Kamera aufgenommen, wobei die gesamte Umgebung in einem sphärischen Videoformat erfasst wird. Da das Rohmaterial aus mehreren Einzelaufnahmen besteht, werden im nächsten Schritt die verschiedenen Bilder zu einem nahtlosen Panoramavideo zusammengefügt. Nach dem Zusammenfügen importiert man das zusammengesetzte Video in eine kompatible Bearbeitungssoftware, um die gewünschten Bearbeitungen vorzunehmen. Abschliessend exportiert man das bearbeitete Video entweder in einem VR-Format für die immersive Betrachtung oder in einem normalen 2D-Format für Standardanwendungen, je nach gewünschter Betrachtungsplattform oder Wiedergabegerät.
Tracking

In Videos bezieht sich Tracking auf den Prozess des Analysierens und Verfolgens der Bewegung oder der Merkmale bestimmter Objekte, Farben oder Elemente im Filmmaterial.

Durch den Einsatz von Tracking-Techniken lassen sich dynamische und interaktive visuelle Erlebnisse schaffen. Das Verfolgen bestimmter Objekte oder Farben im Video kann beispielsweise die Manipulation oder Veränderung dieser Elemente in Echtzeit ermöglichen.

Beispiel: Deep Track KI, Insta360 Studio 2023
Coding

Tracking mithilfe von Code ermöglicht die Gewinnung wertvoller Erkenntnisse und Muster aus Videodaten. Durch die Implementierung von Video-Tracking-Algorithmen ist es möglich, bestimmte Objekte, Farben oder Elemente innerhalb der Videobilder zu analysieren und zu verfolgen. Diese Verfolgungsfunktion ermöglicht die Erstellung interaktiver und reaktionsfähiger Erlebnisse, bei denen der Code dynamisch auf die Bewegung oder die Merkmale der verfolgten Elemente reagieren kann.

Ich habe mit p5.js gearbeitet. Diese ist eine Open Source JavaScript-Bibliothek, welche die Erstellung interaktiver und kreativer visueller Erlebnisse im Web vereinfacht.

Beispiel: Coding-Prozess

Panoramavideo

Einige Beispiele für die Szenenauswahl
Entdecke die Möglichkeiten von Tracking in 360° hier:
www.sofiacamprubi.ch/360Tracking
BA-Thesis
IDCE FHNW HGK, Basel
Sofia Camprubi

Ressourcen
p5.js
cv-examples by Kyle McAdam
The Coding Train by Daniel Shiffman
Jeff Thompsen

Danke
Ted Davis (Mentor)
Viola Diehl (Mentorin)
Jonas Schafftner (Mentor)
Florian Affolter