Möglichkeiten des Tracking in 360° Ein Open Source Projekt
Gerade in Sport- und Freizeitaufnahmen sind 360° Aufnahmen auf dem Vormarsch. Tracking ermöglicht dabei im Nachhinein den Ausschnitt mit der spannenden Handlung zu wählen, manuell oder mit AI. Tracking wird aber auch beispielsweise in der Robotik oder Überwachung angewendet. Dabei werden die unterschiedlichen Anwendungsbereiche fundamental anders wahrgenommen.
Mich interessiert eine interaktive Anwendung für das Tracking anhand verschiedener Kriterien. Es soll dabei eine spielerische Auseinandersetzung mit dem Thema und dessen Anwendung im Alltag stattfinden. Mann soll sich die Frage stellen, wie weit die Überwachung schon ist, wenn mein Webtool nur auf Open Source basiert?
Beispiel: Inspirationsvideo
360° Video
Um ein 360° Video mit einer Rundumkamera zu erstellen sind mehrere Schritte erforderlich. Zunächst wird das Filmmaterial mit der 360°-Kamera aufgenommen, wobei die gesamte Umgebung in einem sphärischen Videoformat erfasst wird. Da das Rohmaterial aus mehreren Einzelaufnahmen besteht, werden im nächsten Schritt die verschiedenen Bilder zu einem nahtlosen Panoramavideo zusammengefügt. Nach dem Zusammenfügen importiert man das zusammengesetzte Video in eine kompatible Bearbeitungssoftware, um die gewünschten Bearbeitungen vorzunehmen. Abschliessend exportiert man das bearbeitete Video entweder in einem VR-Format für die immersive Betrachtung oder in einem normalen 2D-Format für Standardanwendungen, je nach gewünschter Betrachtungsplattform oder Wiedergabegerät.
Tracking
In Videos bezieht sich Tracking auf den Prozess des Analysierens und Verfolgens der Bewegung oder der Merkmale bestimmter Objekte, Farben oder Elemente im Filmmaterial.
Durch den Einsatz von Tracking-Techniken lassen sich dynamische und interaktive visuelle Erlebnisse schaffen. Das Verfolgen bestimmter Objekte oder Farben im Video kann beispielsweise die Manipulation oder Veränderung dieser Elemente in Echtzeit ermöglichen.
Beispiel: Deep Track KI, Insta360 Studio 2023
Coding
Tracking mithilfe von Code ermöglicht die Gewinnung wertvoller Erkenntnisse und Muster aus Videodaten. Durch die Implementierung von Video-Tracking-Algorithmen ist es möglich, bestimmte Objekte, Farben oder Elemente innerhalb der Videobilder zu analysieren und zu verfolgen. Diese Verfolgungsfunktion ermöglicht die Erstellung interaktiver und reaktionsfähiger Erlebnisse, bei denen der Code dynamisch auf die Bewegung oder die Merkmale der verfolgten Elemente reagieren kann.
Ich habe mit p5.js gearbeitet. Diese ist eine Open Source JavaScript-Bibliothek, welche die Erstellung interaktiver und kreativer visueller Erlebnisse im Web vereinfacht.
Beispiel: Coding-Prozess
Panoramavideo
Einige Beispiele für die Szenenauswahl
Entdecke die Möglichkeiten von Tracking in 360° hier: www.sofiacamprubi.ch/360Tracking
BA-Thesis IDCE FHNW HGK, Basel Sofia Camprubi
Ressourcen p5.js cv-examples by Kyle McAdam The Coding Train by Daniel Shiffman Jeff Thompsen
Danke Ted Davis (Mentor) Viola Diehl (Mentorin) Jonas Schafftner (Mentor) Florian Affolter