modelos de lenguaje grandes archivos

Alibaba ha lanzado discretamente dos nuevos grandes modelos de lenguaje en su plataforma chat.qwen.ai: Qwen3.5-Plus y Qwen3.5-397B-A17B. Ambos modelos son compatibles tanto con tareas de texto como multimodales, lo que representa la última evolución en la serie Qwen 3.5. La incorporación de Huawei Ascend resulta clave en esta actualización, ya que permite optimizar el rendimiento y la eficiencia del entrenamiento y despliegue, marcando un avance significativo en el desarrollo de estos modelos de gran escala. Qwen3.5-Plus se presenta como el miembro más reciente de la familia Qwen 3.5, mientras que Qwen3.5-397B-A17B funciona como el modelo open-source estrella de la serie. Huawei Ascend Computing ha destacado que, tras la liberación open source de estos modelos, su hardware Ascend ha logrado replicar el entrenamiento en modo zero-day gracias al framework MindSpeed Model Manager (MM), basado en las plataformas Atlas 800 A3 y Atlas 900 A3 SuperPoD, con soporte de inferencia eficiente mediante vLLM-Ascend y SGLang en Atlas 800 A2 y A3. Huawei Ascend y el framework MindSpeed Model Manager El framework MindSpeed MM, construido sobre una arquitectura Fully Sharded Data Parallel (FSDP), permite reducir drásticamente los tiempos de adaptación a nuevos modelos, facilitando un despliegue inmediato y una iteración muy rápida. Esta infraestructura técnica es fundamental para la investigación y aplicaciones prácticas de modelos multimodales de gran tamaño, asegurando eficiencia y estabilidad en entornos exigentes. La colaboración con Huawei Ascend potencia la ejecución rápida y el desarrollo continuo en esta área, lo que supone un salto cualitativo en IA. Alibaba Cloud ha detallado las innovaciones en la arquitectura base del Qwen3.5. En particular, Qwen3.5-Plus cuenta con 397 mil millones de parámetros, de los cuales solo se activan 17 mil millones durante la operación. Este diseño consigue un rendimiento superior al del modelo Qwen3-Max, que tiene más de un billón de parámetros, pero con una reducción del 60% en la memoria utilizada durante el despliegue y una mejora en el rendimiento de inferencia de hasta 19 veces. Eficiencia y capacidad de Qwen3.5 Qwen3.5 avanza en tres dimensiones clave durante el preentrenamiento: capacidad, eficiencia y versatilidad. En capacidad, el modelo se ha entrenado con grandes datasets visual-texto y se ha reforzado con colecciones específicas en chino, múltiples idiomas, áreas STEM y tareas de razonamiento. Un filtro altamente riguroso garantiza un desempeño similar al Qwen3-Max-Base, cuya escala supera el billón de parámetros. En términos de eficiencia, la arquitectura Qwen3-Next incorpora capas con mayor sparsity en modelos mixture-of-experts (MoE), junto con mecanismos combinados Gated DeltaNet y Gated Attention, optimizaciones de estabilidad y predicciones de múltiples tokens. En condiciones de contexto de 32.000 y 256.000 tokens, el modelo Qwen3.5-397B-A17B supera en rendimiento a Qwen3-Max por factores de 8,6 y 19, respectivamente, manteniendo una equivalencia en calidad. Además, mejora el rendimiento de Qwen3-235B-A22B por 3,5 y 7,2 veces en los mismos escenarios. Estas cifras evidencian la significativa mejora de throughput sin sacrificar precisión, gracias a la optimización de la arquitectura y la colaboración con Huawei Ascend. Versatilidad en idiomas y modalidades Respecto a la versatilidad, el modelo implementa una fusión temprana de las modalidades texto y visual, con ampliación en conjuntos de datos visuales, STEM y vídeo, resultando en capacidades multimodales nativas superiores a Qwen3-VL de escala similar. Asimismo, la cobertura de idiomas se extiende de 119 a 201 lenguas y dialectos, y el tamaño del vocabulario aumenta de 150.000 a 250.000 tokens. Esta expansión proporciona mejoras aproximadas entre un 10% y un 60% en eficiencia de codificación y decodificación en la mayoría de los idiomas. Los recursos para desplegar vLLM en hardware Ascend están disponibles a través de comunidades especializadas, al igual que la guía para implementar SGLang, facilitando el uso práctico de los modelos Qwen3.5 en arquitecturas Huawei Ascend. Esta integración ofrece una base sólida para la aplicación industrial de estos grandes modelos multimodales en entornos reales, reafirmando el papel de Huawei Ascend como motor tecnológico clave en inteligencia artificial. --- Este anuncio refleja el compromiso de Alibaba y Huawei Ascend en liderar la evolución de los modelos de lenguaje, combinando tamaño masivo, eficiencia computacional y soporte multimodal para mantener la competitividad en IA avanzada. Fuente

Alibaba publica dos nuevos modelos de Qwen 3.5 en su plataforma

Entrar

Lost Password

Entrar

Registro