Étude R&D - Test du VPS de la Niantic Spatial Platform avec Unity et Scaniverse

Équipe et contexte

Notre développeur mobile Noa a pris en charge la majeure partie de l’implémentation, assisté par Maël, stagiaire au Lycée Lalande, qui a participé activement aux relevés sur le terrain.

Les tests ont eu lieu à Bourg-en-Bresse, sur plusieurs sites emblématiques de la ville. Notre cible principale était la statue du Dr. Xavier Bichat (1771-1802), médecin français renommé, située au Jardin du Bastion, à quelques minutes seulement de notre bureau.

La fonctionnalité phare de la Niantic Spatial Platform est le Visual Positioning System (VPS). Alors que le GPS seul offre une précision de quelques mètres - suffisante pour la navigation, mais inadaptée pour placer un objet virtuel avec exactitude, le VPS peut réduire cette marge à seulement quelques centimètres.

Pour y parvenir, il combine les données GPS, qui fournissent une localisation initiale, avec les données visuelles captées en temps réel par la caméra du smartphone, puis compare ces informations à un jeu de données visuelles et géométriques de l’environnement stocké dans le cloud. Grâce à des algorithmes de computer vision (vision par ordinateur), l’appareil détermine alors sa position et son orientation exactes, ce qui permet de positionner des éléments virtuels dans le champ de la caméra avec une grande stabilité.

Évolution des outils Niantic

Jusqu’à récemment, la création d’un point VPS avec les outils Niantic passait presque exclusivement par iOS, idéalement sur un appareil équipé d’un capteur LiDAR. L’ancienne application de scan Lightship exploitait directement ces données de profondeur, combinées aux images de la caméra, pour produire en temps réel un maillage 3D (mesh) précis et texturé. Cette méthode offrait une excellente précision géométrique, même dans des environnements peu contrastés, mais elle restait réservée à une minorité d’appareils haut de gamme.

Avec l’arrivée de Scaniverse sur Android, le scan repose sur la photogrammétrie : une technique qui reconstruit la géométrie en analysant une série d’images prises sous différents angles. Ce processus produit d’abord un nuage de points (point cloud) - chaque point représentant une position et une couleur dans l’espace - qui est ensuite transformé en maillage pour être exploité dans un moteur comme Unity. Les approches plus récentes, comme le “Gaussian Splatting”, permettent de rendre ces points directement sous forme de “splats” colorés, mais pour l’instant, l’écosystème AR s’appuie surtout sur le format mesh pour garantir la compatibilité et la gestion des collisions.

Ce changement de méthode rend le scan accessible à un parc d’appareils beaucoup plus large, sans capteur de profondeur dédié. En contrepartie, il demande un peu plus de rigueur sur le terrain : mouvements plus lents, couverture complète du sujet et bonnes conditions de lumière pour assurer la précision du modèle et donc la fiabilité du VPS.

Pour rappel, Niantic est la société à l’origine des jeux AR Ingress et Pokémon GO. Créée au sein de Google en 2010, devenue indépendante en 2015, elle a ouvert son SDK AR aux développeurs en 2021. Début 2024, Niantic a vendu son activité jeux vidéo (y compris Pokémon GO) à Scopely pour 3,85 milliards de dollars, se concentrant désormais sur l’IA géospatiale sous le nom Niantic Spatial Inc.

L’entreprise affiche un objectif clair :

« Devenir le leader de l’IA géospatiale en développant une intelligence spatiale qui aide les gens à mieux comprendre, naviguer et interagir avec le monde physique. »

Méthode de scan et matériel

Pour cette étude, nous avons scanné plusieurs sites en mode communautaire avec Scaniverse : la statue de Xavier Bichat, la Vila Marguerite, la colonne NDSE (Notre Dame de la Sainte Espérance), un tourniquet en bois, une sculpture de tortue, une colonne romaine, ainsi qu’une stèle et d’autres points d’intérêt locaux.

Le VPS s’appuie sur un grand nombre de "points visuels" persistants. Ces points sont plus fiables lorsque le système dispose d’images capturées dans des conditions variées : sous différentes lumières, à divers moments de la journée, et selon plusieurs angles. En scannant ainsi un lieu à plusieurs reprises, on enrichit la base de données visuelle, ce qui améliore considérablement la reconnaissance et la stabilité du positionnement.

Nous avons utilisé des smartphones Android: Google Pixel 7 Pro, Pixel 8 Pro et Samsung S24.

Mise en place du prototype

Après que la statue a été soigneusement scannée et que son point VPS a été activé par Niantic, nous avons pu intégrer le mesh obtenu dans un projet Unity 3D. Notre objectif était de mesurer à la fois la rapidité de détection VPS et la précision du placement d’objets 3D, qu’ils soient statiques ou animés.

Ensuite, nous avons conçu une scène AR mettant en valeur la statue, avec un mur virtuel doté d’une ouverture laissant voir le décor réel, une barrière en chaîne entourant le socle et plusieurs éléments 3D dynamiques positionnés de manière stratégique. Les tests ont montré que les objets virtuels restaient alignés de manière stable, confirmant la précision centimétrique observée lors des premières mesures.

Résultats observés

Sur le terrain, la précision du positionnement est restée constante, avec un écart de seulement quelques centimètres par rapport aux points visés. Le verrouillage VPS s’est effectué rapidement, en une à trois secondes, ce qui est suffisamment fluide pour préserver l’immersion. Nous avons constaté une légère instabilité visuelle à l’affichage initial, qui disparaissait dès la stabilisation de la scène. Pour améliorer encore l’expérience, nous avons mis en place une transition subtile durant les deux premières secondes de lancement de l’AR, le temps que la scène se configure et que le rendu devienne parfaitement stable.

Défis rencontrés et leçons apprises

L’un des défis majeurs reste l’occlusion. Masquer correctement un objet virtuel lorsqu’un élément réel se trouve devant est une opération complexe, surtout dans des environnements où la végétation est dense ou les détails sont très fins. Dans ce type de décor, le mappage de profondeur peut avoir du mal à reconstituer les contours exacts, ce qui peut entraîner des incohérences visuelles.

Enfin, chaque lieu possède ses propres particularités, éclairage, arrière-plan, forme des structures, ce qui peuvent nécessiter une configuration spécifique afin d’optimiser le rendu.

Cette expérience confirme que multiplier les scans améliore nettement la fiabilité du VPS. Les appareils haut de gamme permettent non seulement un verrouillage plus rapide mais aussi une meilleure définition des textures, ce qui facilite la reconnaissance visuelle. Les environnements à végétation dense demandent une stratégie d’occlusion adaptée, et le réglage précis des pivots d’objets virtuels est essentiel pour éviter les effets de flottement.

Applications potentielles

Les perspectives d’utilisation de la Niantic Spatial Platform sont nombreuses. Dans le domaine culturel, elle peut enrichir une visite touristique en affichant des informations contextuelles ou des reconstitutions historiques directement sur les monuments. Pour le divertissement, elle ouvre la voie à des jeux en plein air et à des chasses au trésor interactives. Les marques peuvent l’utiliser pour créer des installations ou campagnes marketing géolocalisées dans des lieux stratégiques. Les architectes et urbanistes y verront un outil précieux pour visualiser un projet en situation réelle, tandis que dans l’industrie, elle peut servir à la formation et à l’assistance à la maintenance.

Aujourd’hui, l’AR sur smartphone est le principal point d’accès. Demain, avec la démocratisation des lunettes AR, les expériences géolocalisées développées aujourd’hui pourraient devenir un standard d’usage.