O Google está inovando novamente com a tecnologia 3D e a captura de preto, baseadas na tecnologia da luz!

O papel da iluminação em filmes, séries de televisão, jogos e ambientes virtuais é crucial, sendo um importante recurso de modelagem. Em filmes e séries, ela transmite informações e expressa emoções, cria atmosfera, retrata personagens e suas transformações, entre outros. A iluminação influencia a formação do tom e do estilo da obra, e o tom estabelece relações de unidade e oposição, sendo outros métodos de modelagem combinados com o ritmo e a melodia da trilha sonora.

Muitos efeitos especiais em filmes e programas de televisão precisam ser feitos com a ajuda de uma tela verde, e quando a tecnologia não é avançada, frequentemente acontecem os chamados "cinco efeitos MAO", que são verdadeiras tragédias.

Reproduzir a eficiência fotossintética perfeita é um problema complexo. Com a evolução da tecnologia de visão computacional, os computadores conseguiram reproduzir de forma mais "natural" o formato do rosto e a textura da pele, mas com a ressalva de que a iluminação simulada carece de realismo.

E o Google anunciou recentemente uma nova tecnologia baseada em luz — Relightables. Para conseguir um resultado perfeito.

O processo de funcionamento do sistema Relightables pode ser dividido em três partes: captura, reconstrução e renderização.

O núcleo deste sistema baseia-se em um sensor de profundidade estéreo esférico que contém múltiplos pontos de vista (A iniciativa) luzes de dispositivos esféricos equipados com 331 das 90 luzes programáveis ​​e reconstrução de câmera de alta resolução de 12,4 mp.

As câmeras utilizadas para captura de imagens do corpo humano contêm 32 câmeras infravermelhas (IR) e 58 câmeras RGB. Os sensores infravermelhos fornecem dados 3D precisos e confiáveis, enquanto as câmeras RGB geram mapas de normais e texturas geométricas de alta qualidade. A frequência de gravação do vídeo original é de 60 Hz, e os pesquisadores baseiam-se no uso alternado de gradientes esféricos em duas condições de iluminação diferentes.

Em seguida, os pesquisadores carregam os dados para o público no repositório; a primeira fase é gerar para cada 'slot' a profundidade da figura, a imagem de segmentação e a grade 3D [Kazhdan e Hoppe 2013].

Eles usam um algoritmo de alinhamento de sequência para lidar com a reconstrução da grade; como resultado, uma longa sequência pode compartilhar triangulações comuns (triangulação em grade). Os pesquisadores propuseram um novo método para resolver o problema da escolha de quadros-chave, transformando-o em um problema de raciocínio MRF. Cada triangulação única é parametrizada no espaço de textura 2D comum, e esse espaço pode ser compartilhado com todas as triangulações do quadro em questão.

A extremidade de cada grade possui duas opções de iluminação esférica com gradiente de imagem, que podem gerar diagramas de blocos de albedo, normais, brilho e luz ambiente. Essas figuras são compatíveis com mecanismos de renderização padrão e podem ser usadas em qualquer conjunto de condições de iluminação para regenerar a imagem renderizada.

O novo sistema do Google consegue aperfeiçoar a luz e a sombra, reduzindo o impacto visual e tornando as imagens sintéticas mais realistas. Ele captura e integra perfeitamente o corpo humano ao mundo real em filmes, jogos e outras cenas. Isso pode revolucionar a tecnologia de captura 3D.