Artículos de Investigación en IA Diarios

Los avances recientes en modelos de lenguaje han logrado un progreso significativo. GPT-4o, como un nuevo hito, ha permitido conversaciones en tiempo real con humanos, demostrando una fluidez natural casi humana. Esta interacción humano-computadora requiere modelos con la capacidad de realizar razonamientos directamente con la modalidad de audio y generar resultados en tiempo real. Sin embargo, esto sigue estando más allá del alcance de los modelos académicos actuales, ya que típicamente dependen de sistemas TTS adicionales para la síntesis del habla, lo que resulta en una latencia no deseada. Este documento introduce el Mini-Omni, un modelo conversacional basado en audio de extremo a extremo, capaz de interacción de habla en tiempo real. Para lograr esta capacidad, proponemos un método de generación de habla instruido por texto, junto con estrategias de paralelización por lotes durante la inferencia para mejorar aún más el rendimiento. Nuestro método también ayuda a mantener las capacidades lingüísticas originales del modelo con una degradación mínima, permitiendo que otros trabajos establezcan capacidades de interacción en tiempo real. Llamamos a este método de entrenamiento "Cualquier Modelo Puede Hablar". También presentamos el conjunto de datos VoiceAssistant-400K para ajustar finamente modelos optimizados para la salida de habla. Hasta donde sabemos, Mini-Omni es el primer modelo de extremo a extremo totalmente de código abierto para interacción de habla en tiempo real, ofreciendo un potencial valioso para investigaciones futuras.

Los modelos base han surgido como un enfoque prometedor en la predicción de series temporales (PST). Los enfoques existentes consisten en ajustar modelos de lenguaje grandes (MLG) o construir conjuntos de datos de series temporales a gran escala para desarrollar modelos base de PST. Sin embargo, estos métodos enfrentan desafíos debido a la brecha severa entre dominios o a la heterogeneidad dentro del dominio. En este documento, exploramos un nuevo camino para construir un modelo base de PST a partir de imágenes naturales ricas y de alta calidad, basado en las similitudes intrínsecas entre imágenes y series temporales. Para cerrar la brecha entre los dos dominios, reformulamos la tarea de PST como una tarea de reconstrucción de imágenes, la cual es procesada por un autoencoder visual enmascarado (MAE) pre-entrenado de forma auto-supervisada en el conjunto de datos ImageNet. Sorprendentemente, sin más adaptación en el dominio de series temporales, el VisionTS propuesto logró un rendimiento superior en la predicción de cero disparos en comparación con los modelos base de PST existentes. Con un ajuste mínimo, VisionTS pudo mejorar aún más la predicción y lograr un rendimiento de vanguardia en la mayoría de los casos. Estos hallazgos sugieren que los modelos visuales podrían ser un almuerzo gratis para PST y resaltan el potencial para futuras investigaciones interdisciplinarias entre visión por computadora y PST. Nuestro código está disponible públicamente en https://github.com/Keytoyze/VisionTS.