GRK 1773 - Teilprojekt C3: Mobile Scanner

(01.10.2012)

Consumer electronics, etwa Kameras, smart phones, Spiele- Konsolen oder infotainement- Systeme in Kraftfahrzeugen verfügen über eine sehr ausgereifte Bild-Sensorik und zugleich eine enorme Rechnerleistung. Dieser Technologie- Sprung in der Hardware-Entwicklung erlaubt es, Verfahren die bislang nur durch sehr teure Sensorik (z.B. 3D- Scanner) und unter Verwendung von leistungsfä- higen Desktop-Rechnern realisiert werden können, auch portabel zu realisieren. Als Beispiele kann die 3D-Objekterfassung und 3D-Objekterkennung dienen. Im einzelnen sollen die folgenden Problem- kreise bearbeitet werden: Erfassung, Rekonstruktion und Analyse sowohl von statischen Objekten als auch von dynamischen Szenen, incl. Anwendungen. Im statischen Fall sind dies 3D-Objekterkennung und Augmented Reality, im dynamisch Fall Bewegungsanalyse und Gesten-/ Mimik-Steuerung. Ziel ist die Entwicklung von Software, die Sensordaten von consumer electronic verarbeitet mit dem Ziel 3D-Information von Objekten, oder ganzen Szenen zu analysieren, zu digitalisieren (Rekonstruktion) und gegebenenfalls zu klassifizieren (Objekterkennung), inklusive der skizzierten Anwendungen. Hierfür muss die Algorithmik angepasst und effizienter weiter entwickelt werden und eine Hardware-nahe Imple- mentierung erfolgen. Wichtig ist dabei, im Verbund mit den Projekten des Bereichs B eine Middleware zu entwickeln, die hinreichend flexibel ist, um auf die Entwicklungszyklen der Hardware zu reagieren.
Aus dem Teilprojekt haben sich eine Reihe von Verfahren zur Erfassung von bewegten Gesichtern herausgebildet, die im Forschungsprojekt "3D-Erfassung bewegter Gesichter" aufgeführt sind.

Publikationen am LGDV

Real-time 3D Reconstruction at Scale using Voxel Hashing
Real-time 3D Reconstruction at Scale using Voxel Hashing
Analytic Displacement Mapping using Hardware Tessellation
Analytic Displacement Mapping using Hardware Tessellation
  • Matthias Nießner, Charles Loop
  • ACM Transactions on Graphics (TOG) (32, Nr. 3)
  • 2013; S. 26;
Pseudo-Skeleton based ARAP Mesh Deformation
Pseudo-Skeleton based ARAP Mesh Deformation
Rendering Subdivision Surfaces using Hardware Tessellation
Towards an Objective Geometrical Description of Antique Busts
Visualization and Deformation Techniques for Entertainment and Training in Cultural Heritage
Visualization and Deformation Techniques for Entertainment and Training in Cultural Heritage
Interactive Model-based Reconstruction of the Human Head using an RGB-D Sensor
Low-Cost Real-Time 3D Reconstruction of Large-Scale Excavation Sites using an RGB-D Camera
Low-Cost Real-Time 3D Reconstruction of Large-Scale Excavation Sites using an RGB-D Camera
Real-time Non-rigid Reconstruction using an RGB-D Camera
Real-time Non-rigid Reconstruction using an RGB-D Camera
  • Michael Zollhöfer, Matthias Nießner, Shahram Izadi, Christoph Rhemann, Christopher Zach, Matthew Fisher, Chenglei Wu, Andrew Fitzgibbon, Charles Loop, Christian Theobalt, Marc Stamminger
  • ACM Transactions on Graphics (TOG) (33, Nr. 4)
  • 2014; S. 156:1-12;
Real-time Shading-based Refinement for Consumer Depth Cameras
Real-time Shading-based Refinement for Consumer Depth Cameras
Real-time Expression Transfer for Facial Reenactment
Real-time Expression Transfer for Facial Reenactment
Face2Face: Real-time Face Capture and Reenactment of RGB Videos
Face2Face: Real-time Face Capture and Reenactment of RGB Videos
Real-Time Reconstruction of Static and Dynamic Scenes
FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality
FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality
Demo of Face2Face: Real-time Face Capture and Reenactment of RGB Videos
Demo of Face2Face: Real-time Face Capture and Reenactment of RGB Videos
  • Justus Thies, Michael Zollhöfer, Marc Stamminger, Christian Theobalt, Matthias Nießner
  • ACM SIGGRAPH 2016 Emerging Technologies
  • 2016; S. 5:1-5:2;

Förderer

  • Deutsche Forschungsgemeinschaft