Papers Diarios

A pesar de los recientes avances en la investigación sobre la reconstrucción de humanos vestidos a partir de una sola imagen, la restauración precisa de las "regiones no visibles" con detalles de alto nivel sigue siendo un desafío sin resolver que ha recibido poca atención. Los métodos existentes suelen generar superficies traseras excesivamente suavizadas con texturas borrosas. Pero, ¿cómo capturar de manera efectiva todos los atributos visuales de un individuo a partir de una sola imagen, que sean suficientes para reconstruir áreas no visibles (por ejemplo, la vista posterior)? Motivado por el poder de los modelos fundacionales, TeCH reconstruye el humano en 3D aprovechando 1) indicaciones de texto descriptivas (por ejemplo, prendas, colores, peinados) que se generan automáticamente mediante un modelo de análisis de prendas y un sistema de Respuesta Visual a Preguntas (VQA), 2) un modelo de difusión Texto-a-Imagen (T2I) ajustado personalmente que aprende la apariencia "indescriptible". Para representar humanos vestidos en 3D de alta resolución a un costo asequible, proponemos una representación híbrida en 3D basada en DMTet, que consiste en una malla explícita de la forma del cuerpo y un campo de distancia implícito. Guiados por las indicaciones descriptivas y el modelo de difusión T2I personalizado, la geometría y la textura de los humanos en 3D se optimizan mediante el muestreo de destilación de puntuación multivista (SDS) y pérdidas de reconstrucción basadas en la observación original. TeCH produce humanos vestidos en 3D de alta fidelidad con texturas consistentes y delicadas, y una geometría corporal detallada. Los experimentos cuantitativos y cualitativos demuestran que TeCH supera a los métodos más avanzados en términos de precisión de reconstrucción y calidad de renderizado. El código estará disponible públicamente con fines de investigación en https://huangyangyi.github.io/tech.

Los modelos de imágenes auto-supervisados y supervisados por lenguaje contienen un conocimiento rico del mundo que es importante para la generalización. Sin embargo, muchas tareas robóticas requieren una comprensión detallada de la geometría 3D, que a menudo falta en las características de imágenes 2D. Este trabajo cierra esta brecha 2D-3D para la manipulación robótica al aprovechar campos de características destilados para combinar una geometría 3D precisa con una semántica rica proveniente de modelos fundamentales 2D. Presentamos un método de aprendizaje con pocos ejemplos para el agarre y colocación en 6 grados de libertad que utiliza estos fuertes antecedentes espaciales y semánticos para lograr una generalización en entornos no controlados hacia objetos no vistos. Utilizando características destiladas de un modelo de visión-lenguaje, CLIP, presentamos una forma de designar objetos nuevos para manipulación mediante lenguaje natural en texto libre, y demostramos su capacidad para generalizar a expresiones no vistas y nuevas categorías de objetos.

Los métodos existentes para la reconstrucción 4D de objetos generales que se deforman de manera no rígida se centran en la síntesis de nuevas vistas y descuidan las correspondencias. Sin embargo, la consistencia temporal permite tareas avanzadas como la edición 3D, el análisis de movimiento o la creación de activos virtuales. Proponemos SceNeRFlow para reconstruir una escena general no rígida de manera temporalmente consistente. Nuestro método dinámico basado en NeRF toma como entrada videos RGB de múltiples vistas e imágenes de fondo de cámaras estáticas con parámetros de cámara conocidos. Luego, reconstruye las deformaciones de un modelo canónico estimado de la geometría y la apariencia de manera en línea. Dado que este modelo canónico es invariante en el tiempo, obtenemos correspondencias incluso para movimientos de largo plazo y gran amplitud. Empleamos representaciones neurales de escenas para parametrizar los componentes de nuestro método. Al igual que los métodos dinámicos de NeRF anteriores, utilizamos un modelo de deformación inversa. Encontramos que se necesitan adaptaciones no triviales de este modelo para manejar movimientos más amplios: descomponemos las deformaciones en un componente grueso fuertemente regularizado y un componente fino débilmente regularizado, donde el componente grueso también extiende el campo de deformación al espacio que rodea al objeto, lo que permite el seguimiento a lo largo del tiempo. Demostramos experimentalmente que, a diferencia de trabajos anteriores que solo manejan movimientos pequeños, nuestro método permite la reconstrucción de movimientos a escala de estudio.