Investigadores de Google han desarrollado una técnica de modelado 3D de monumentos (o, en general, cualquier objeto en un lugar público) utilizando una red neuronal para procesar miles de fotografías tomadas desde distintos puntos.
El desarrollo de Google se basa en NeRF (Neural Radiance Fields), una técnica que permite extraer datos de profundidad 3D a partir de imágenes 2D determinando dónde terminan los rayos de luz. Es una técnica sofisticada que puede crear modelos 3D texturizados.
Google ha ido más allá desarrollando NeRF in the Wild (NeRF-W). En primer lugar, utiliza «colecciones de fotos en estado salvaje» como entradas, ampliando la capacidad de un ordenador para ver los elementos de referencia desde múltiples ángulos. Estas fotografías pueden ser instantáneas tomadas por turistas desde distintos lugares.
A continuación, se evalúan las imágenes para encontrar estructuras, separando las variaciones fotográficas y ambientales como la exposición de la imagen, la iluminación de la escena, el post-procesamiento y las condiciones meteorológicas, así como las diferencias entre los objetos fotografiados, como las personas que pueden estar en una imagen pero no en otra.
Luego recrea escenas como mezclas de elementos estáticos – geometría de la estructura y texturas – con otros transitorios.
Como resultado, los modelos 3D de Google pueden verse desde múltiples ángulos sin parecer artificiales. La comparación en vídeo de los resultados de NeRF estándar con NeRF-W sugiere que el nuevo sistema neuronal puede recrear de forma convincente puntos de referencia en 3D que se podrían aprovechar par aplicaciones de realidad virtual y realidad aumentada.

Google no es …