xiaomi inteligencia artificial audio modelos abiertos archivos

Xiaomi ha dado un nuevo salto en el mundo de la inteligencia artificial con el lanzamiento oficial de MiDashengLM-7B, su gran modelo desarrollado para el entendimiento del audio. Este modelo no solo es totalmente open source, sino que también mejora de forma notable la velocidad y la precisión en comparación con otros modelos semejantes. En sus pruebas, Xiaomi ha conseguido reducir la latencia para la primera predicción en muestras individuales hasta una cuarta parte, mientras que el rendimiento en concurrencia con la misma memoria GPU supera las veinte veces. Además, MiDashengLM-7B ha establecido nuevos récords en 22 benchmarks públicos para modelos multimodales de audio, consolidando así la apuesta de Xiaomi en este terreno. La clave de este avance está en la combinación de su propio codificador Dasheng de audio con el decodificador autorregresivo Qwen2.5-Omni-7B Thinker. Xiaomi ha desarrollado una estrategia novedosa de entrenamiento basada en descripciones universales del audio que permite al modelo comprender y procesar de manera unificada tanto el habla, como los sonidos ambientales y la música. De hecho, a principios de 2024, el modelo Dasheng se convirtió en el primer modelo internacional en superar una puntuación superior a 50+ mAP en el benchmark AudioSet y mantiene liderazgo en los tres dominios principales en HEAR: sonidos ambientales, habla y música. El papel de Xiaomi en la integración real del audio inteligente La tecnología Dasheng de Xiaomi ya está presente en más de 30 aplicaciones reales en sus ecosistemas de hogar inteligente y sistemas para automóviles. Allí destacan funciones pioneras como la defensa activa para el “wake-up” exterior de vehículos, un monitoreo continuo de anomalías en los altavoces de smartphones, el control IoT activado por sonidos específicos, por ejemplo, chasquidos de dedos, y una detección mejorada de gestos en modo centinela en el dispositivo Xiaomi YU7. Estos casos dejan claro que el modelo Dasheng no es solo un algoritmo más, sino el corazón de múltiples soluciones prácticas que mejoran la experiencia del usuario en dispositivos cotidianos. El corpus de entrenamiento de MiDashengLM se compone exclusivamente de datos accesibles públicamente, y Xiaomi ha optado por una transparencia total al divulgar la composición y proporciones de sus 77 fuentes de información, algo poco común en un sector donde otros modelos prefieren mantener esos detalles ocultos. También han publicado un informe técnico completo que detalla desde el preentrenamiento del codificador de audio hasta el ajuste fino basado en instrucciones, fomentando así tanto la investigación académica como el uso comercial bajo licencia Apache 2.0. Xiaomi y el futuro del audio contextual y multiescenario El diseño de MiDashengLM encaja perfectamente con la estrategia de Xiaomi de integrar usuario, vehículo y hogar en un ecosistema conectado. Gracias a su capacidad para entender audio de diferentes dominios y extraer significado contextual, el modelo no solo detecta sonidos en el entorno, sino que también interpreta lo que representan, mejorando así la generalización en diferentes escenarios. Esto hace posible una interacción natural con el usuario en lenguaje, desde la corrección de pronunciación en cantar o aprender idiomas, hasta responder preguntas en tiempo real relacionadas con sonidos ambientales mientras conduces. Xiaomi está trabajando también en aumentar la eficiencia computacional del modelo para poder ejecutarlo offline en dispositivos edge y en añadir funciones innovadoras como la edición de sonidos mediante comandos en lenguaje natural. Todo el paquete, acompañado de documentación técnica, ya está disponible en el repositorio abierto oficial de Xiaomi, lo que invita a desarrolladores y empresas a experimentar con este avanzado modelo que apunta a revolucionar la comprensión de audio en múltiples ámbitos. Fuente

Xiaomi lanza MiDashengLM-7B, su nuevo modelo abierto de comprensión de voz que bate 22 récords de rendimiento

Entrar

Lost Password

Entrar

Registro