Suivi de caméra précis au centimètre près pour la capture 3D à grande échelle (Gaussian splatting)

Marché

Ce projet client provient de AryonixFondée par Alexandre Cavaleri, Aryonix développe un moteur de rendu en temps réel capable de créer des environnements 3D cinématographiques, photoréalistes et immersifs à partir de photographies. Aryonix a collaboré avec Ailes de descenteCe projet est consacré à l'exploration, la cartographie et le tournage de parcours de descente pour le roller, le longboard et autres sports de glisse. Il utilise une technique appelée splatting gaussien.

Qu'est-ce que le splatting gaussien ? En termes simples, la projection gaussienne transforme des centaines, voire des milliers de photographies, en un modèle 3D détaillé et interactif d'une scène réelle. Contrairement aux représentations 3D traditionnelles construites à partir de polygones ou de maillages, elle représente la scène par des millions de minuscules points 3D colorés (« gaussiennes »), permettant un rendu très réaliste depuis presque n'importe quel point de vue.

Pour les sports de descente, il est essentiel qu'une reconstitution numérique corresponde à la réalité. Le parcours doit présenter la position, l'échelle et la pente exactes afin que les pratiquants puissent évaluer précisément sa difficulté, sa sécurité et leur expérience globale.

Le principal défi de la reconstitution de tels longs itinéraires en extérieur réside dans le calcul des orientations de la caméra : des outils comme COLMAP dérivent et accumulent des erreurs au fil de la distance, peinent à gérer les motifs répétitifs naturels et les vues uniformes (rangées de vignes, surface de la route, ciel), et sans données GPS préalables, le résultat n’est pas lié aux coordonnées, à l’échelle ou à la pente du monde réel.

Pour surmonter ces limitations, Aryonix a utilisé Compas GNSS – Kit de démarrage RTK pour fournir des positions et un cap de caméra précis au centimètre près pendant l'enregistrement.

La plate-forme

Pour résoudre ce problème, nous avons utilisé un kit de démarrage de boussole GNSS pour fournir des positions et un cap de caméra précis au centimètre près comme données préalables de la caméra à COLMAP.

Compas GNSS – Kit de démarrage RTK : Kit GNSS/RTK avec carte basée sur UM982 et deux antennes hélicoïdales de haute qualité
Caméra cinéma Blackmagic URSA Mini Pro 4.6K G2, enregistrement RAW
L'adaptateur XLR Hosa MIT-129 convertit le signal PPS de la carte en niveaux audio compatibles avec la caméra et la protège de l'alimentation fantôme de celle-ci.
Téléphone exécutant les cartes logicielles, enregistrement RTK et alimentation de la carte

Synchronisation vidéo avec RTK

La connaissance de la position de la caméra n'est utile que si chaque image vidéo peut être associée à la mesure RTK correcte.

Le récepteur GNSS génère un signal PPS (impulsion par seconde). Il s'agit d'une impulsion électrique de haute précision, produite exactement une fois par seconde GPS. Au lieu d'utiliser l'horloge interne de la caméra, ce signal PPS a été enregistré directement sur l'un des canaux audio de celle-ci via son entrée XLR.

L'audio étant échantillonné à 48 kHz, chaque impulsion PPS est détectée avec une précision inférieure à la milliseconde. À titre de comparaison, une image vidéo enregistrée à 24 images par seconde dure environ 42 millisecondes. Ceci permet un horodatage beaucoup plus précis de chaque image qu'avec les informations de synchronisation intégrées à la caméra.

L'enregistrement d'une impulsion PPS chaque seconde permet de détecter et de corriger en continu toute dérive d'horloge de la caméra pendant toute la durée de l'enregistrement. Le signal PPS marque le début de chaque seconde GPS, tandis que l'enregistrement RTK effectué par le téléphone fournit les horodatages GNSS correspondants. Démarrer les deux enregistrements quasiment simultanément suffit à synchroniser automatiquement les impulsions PPS avec les données RTK.

Si cela vous semble complexe, consultez notre article. Comprendre le GPS Timepulse ou PPS.

Capturer la scène

L'équipe a parcouru un itinéraire de 800 mètres à travers les vignobles de Lavaux, en Suisse, tout en enregistrant des vidéos en continu.

Au lieu de se déplacer en ligne droite, la caméra a décrit une spirale afin d'observer la scène sous différents angles. Cette technique améliore la qualité de la reconstruction 3D tout en évitant les ombres portées par l'opérateur.

Parfois, de courts sentiers secondaires étaient empruntés avant de revenir à l'itinéraire principal, ajoutant ainsi des points de vue supplémentaires qui améliorent la précision de la reconstitution.

Les objets en mouvement, tels que les piétons et les véhicules, ont été gérés directement pendant la prise de vue en orientant brièvement la caméra dans une autre direction, ce qui a permis de réduire le travail de nettoyage ultérieur.

Résultats

Après synchronisation des mesures RTK avec les images vidéo, les positions des caméras ont été fournies au pipeline de reconstruction comme informations a priori sur les caméras. Au lieu d'estimer chaque position de caméra à partir des seules images, le logiciel utilise des mesures RTK précises au centimètre près.

La représentation 3D résultante est rendue en temps réel à l'aide du moteur Aryonix tout en préservant la position, l'orientation, l'échelle et la pente réelles du tracé.

Bien que démontré ici avec le splatting gaussien, le même flux de travail s'applique à toute méthode de reconstruction qui repose sur des images 2D et des poses de caméra : les a priori de caméra synchronisés peuvent être utilisés dans des outils comme COLMAP pour entraîner des splattings gaussiens, des NeRF ou des reconstructions photogrammétriques traditionnelles.

En fournissant des positions de caméra précises tout au long de l'enregistrement, le GNSS RTK transforme un flux de travail normalement sujet à la dérive en une méthode fiable pour la reconstruction de vastes environnements extérieurs. Il en résulte une scène 3D photoréaliste qui peut également servir à des mesures d'itinéraire précises, notamment des pentes souvent plus détaillées que celles disponibles sur les modèles numériques d'élévation existants.