Galileo Studio
←Leer más
IA Privada8 min de lectura

Cómo usar ALIA-40B en tu empresa: probarlo, descargarlo y desplegarlo en tu servidor

Guía práctica para equipos de TI, innovación y compliance: qué versión de ALIA-40B elegir, dónde descargarla, qué hardware necesita y qué falta para usarla con los datos de tu empresa.

Cómo usar ALIA-40B en tu empresa: probarlo, descargarlo y desplegarlo en tu servidor
En esta guía

ALIA-40B es el modelo de lenguaje más grande de la familia ALIA: unos 40.400 millones de parámetros, pesos abiertos y licencia Apache 2.0. Si ya sabes qué es ALIA y qué aporta a la soberanía de la IA, esta guía va al paso siguiente.

En resumen

  • Versión Para conversar o redactar, la versión que te interesa es ALIA-40B-instruct-2606; el modelo base sirve para seguir entrenándolo.
  • Dónde Los modelos están en Hugging Face, y ALIA Kit los reúne junto con datos, guías de adopción y demostradores.
  • Licencia La licencia Apache 2.0 permite el uso comercial. No te da derecho a usar la marca.
  • Hardware El modelo completo necesita varias GPU; la versión cuantizada, unos 43 GB. Con menos hardware, mira Salamandra 7B.
  • Con tus datos Para usarlo con datos de tu empresa, lo seguro es ejecutarlo en tu servidor, conectado a tus documentos y con supervisión humana.

El modelo

ALIA-40B en dos líneas

parámetros
~40.400 M
lenguas europeas, más código
35
licencia, uso comercial permitido
Apache 2.0
financiación pública del proyecto ALIA, según alia.gob.es
100 %

ALIA-40B es un modelo de lenguaje entrenado desde cero en el superordenador MareNostrum 5 con texto en 35 lenguas europeas y código. Lo publica el BSC en Hugging Face con licencia Apache 2.0, pensado tanto para investigación como para uso comercial, según su ficha oficial.

Versiones

Qué versión de ALIA-40B te sirve

No hay un único ALIA-40B. El BSC publica varias versiones, y la que eliges depende de lo que quieras hacer.

La que te interesa para conversar o redactar

ALIA-40B-instruct-2606

Conversar, resumir, redactar, responder preguntas

Lo que dice su ficha Post-entrenado sobre todo en castellano, catalán, euskera, gallego e inglés. No llama a funciones

163.840 tokens

ALIA-40B (base)

Seguir entrenándolo o ajustarlo a tu caso

Lo que dice su ficha No está ajustado para seguir instrucciones ni alineado: recomienda un post-entrenamiento antes de usarlo en producción

32.768 tokens

ALIA-40B-fc-2606

Llamar a funciones y herramientas externas

Lo que dice su ficha Trabajo en curso, sin alineamiento de seguridad

163.840 tokens

Salamandra 7B y 2B

Lo mismo, con hardware más modesto

Lo que dice su ficha Misma familia y misma licencia, Apache 2.0

8.192 tokens (7B instruct)

Descarga

Dónde está: ALIA Kit y Hugging Face

Los modelos se descargan desde la organización BSC-LT en Hugging Face.

  • BSC-LT en Hugging Face descarga de los modelos
  • Ficha de cada modelo licencia, instrucciones de uso y avisos de sus autores
  • ALIA Kit documentación

ALIA Kit es la documentación del proyecto. Reúne en un solo sitio:

  • Modelos de texto, de voz y de traducción automática, con enlace a cada ficha.
  • Datos de entrenamiento y de evaluación.
  • Una guía de adopción con preguntas frecuentes sobre despliegue, requisitos y licencias.
  • Demostradores en Hugging Face Spaces.

Licencia

Qué permite la licencia Apache 2.0 y qué no

ALIA-40B y la familia Salamandra se publican con licencia Apache 2.0. En la práctica, para una empresa:

Puedes Usarlo con fines comerciales, modificarlo y ajustarlo a tus datos, e integrarlo en tus productos.

Si redistribuyes Al redistribuir el modelo o una versión modificada, tienes que incluir la licencia, mantener sus avisos y marcar los archivos que hayas cambiado.

No te da derecho a usar la marca La sección 6 de la licencia no concede permiso para usar los nombres ni las marcas del licenciante, salvo para describir de dónde viene el modelo. Puedes decir que tu sistema usa ALIA-40B. Presentarlo como si fuera ALIA, o como si lo respaldaran sus responsables, ya no es describir el origen.

No hay garantía El modelo se entrega «tal cual», y sus propias fichas avisan de que puede generar respuestas inadecuadas, engañosas, sesgadas o inseguras.

Hardware

Qué hardware necesitas para ALIA-40B

La ficha del modelo no da una cifra de memoria para usarlo. Estos órdenes de magnitud salen de los datos publicados y de un cálculo propio, y sirven para empezar a dimensionar:

Memoria solo para los pesos

ALIA-40B completo (BF16)

Cálculo propio: 40.433 millones de parámetros por 2 bytes

unos 81 GB

ALIA-40B-instruct-2606 cuantizado (GGUF Q8_0)

Tamaño del archivo publicado por el BSC

43 GB

Salamandra 7B (FP16)

Guía de adopción de ALIA Kit

14–16 GB

Salamandra 7B (4 bits)

Guía de adopción de ALIA Kit

unos 5 GB

A esa memoria hay que sumarle la que ocupa el contexto: cuanto más largo es el texto que procesas a la vez, más memoria necesitas. Por eso el modelo completo no cabe en una sola GPU de 80 GB, y el ejemplo de vLLM de la ficha del modelo base reparte el modelo entre cuatro GPU.

Cómo servirlo, según su ficha

vLLM
Para el modelo completo, sin cuantizar.
llama.cpp
Para la versión cuantizada (GGUF).
Ollama
No usarlo: sus autores lo desaconsejan expresamente porque han encontrado problemas de compatibilidad.
Temperatura
Cercana a cero (entre 0 y 0,2) y sin penalización por repetición.

Pruebas

Cómo probarlo antes de decidir

Tres formas de probarlo antes de comprar hardware:

Pasa por terceros

Desde su ficha en Hugging Face La página de ALIA-40B-instruct-2606 enlaza opciones para probarlo en el navegador o a través de proveedores de inferencia.

Pasa por terceros

Con los demostradores de ALIA Kit En Hugging Face Spaces.

En tu equipo

En un equipo de pruebas Con la versión cuantizada y llama.cpp, si tienes una máquina con memoria suficiente.

Probar ALIA-40B es fácil. Usarlo con los datos de tu empresa exige llevarlo a tu servidor.

Producción

Llevar ALIA-40B a producción en tu empresa

La propia ficha de ALIA-40B-instruct pide no usarlo en aplicaciones críticas sin pruebas extensas, y recomienda filtros de seguridad adicionales y supervisión humana. En la práctica, el camino tiene cinco pasos:

  1. Elegir el caso. Una tarea concreta, con documentos reales y un criterio claro de qué es una buena respuesta.
  2. Dimensionar el hardware. Versión del modelo, cuantización, contexto y número de usuarios a la vez.
  3. Desplegar en tu infraestructura. El modelo y el servidor de inferencia, dentro de tu perímetro, en tu oficina o en una nube privada en Europa.
  4. Conectarlo a tus documentos. Un sistema de búsqueda sobre tus archivos (RAG) para que responda con tu información y cite de dónde sale.
  5. Evaluar y supervisar. Pruebas sobre tu caso, registro de cada consulta y una persona que revisa lo importante.

Si quieres ver cómo encaja cada capa (modelo, búsqueda en documentos, aplicación y controles) y qué otras familias de modelos abiertos se usan, lo explicamos en nuestra guía de IA on-premise para pymes en España

Alternativas

Cuándo ALIA-40B no es la mejor opción

ALIA-40B es una opción más entre los modelos abiertos, no la única. Según tu situación, puede encajar mejor otra cosa:

Si…Considera
Tu memoria de GPU no llega para los 43 GB de la versión cuantizada, más el contextoSalamandra 7B o 2B, de la misma familia, u otro modelo abierto pequeño
Necesitas que el modelo llame a tus herramientasALIA-40B-fc-2606, sabiendo que está en desarrollo, o una familia con llamadas a funciones ya probadas
La tarea es crítica y no tienes margen para probarNingún modelo sin una fase de evaluación: lo pide la propia ficha de ALIA-40B
Trabajas sobre todo en lenguas fuera de las 35 de su entrenamientoUn modelo entrenado en esas lenguas

Galileo Studio

Cómo te ayudamos

En Galileo Studio trabajamos con IA privada: modelos abiertos que funcionan dentro del perímetro de tu empresa.

Podemos desplegar ALIA-40B en tu servidor

Elegimos contigo la versión y el hardware

Lo conectamos a tus documentos

Dejamos la trazabilidad y la supervisión humana en marcha

Tus datos no salen de tu perímetro.

ALIA-40B es un modelo abierto publicado por terceros. Lo tratamos como a cualquier otro modelo abierto, sin ninguna relación con el proyecto ALIA, con el BSC-CNS ni con la Secretaría de Estado de Digitalización e Inteligencia Artificial.

Cuéntanos tu caso en IA privada en tu servidor

ALIA, Salamandra, Hugging Face, vLLM, llama.cpp y Ollama son marcas o nombres de sus titulares. Galileo Studio no está afiliado a ellos.

Preguntas frecuentes

¿Puedo usar ALIA-40B gratis en mi empresa?

La licencia sí: ALIA-40B se publica con licencia Apache 2.0, que permite el uso comercial sin pagar por el modelo. Lo que tiene coste es el hardware donde se ejecuta, su mantenimiento y el trabajo de conectarlo a tus sistemas. La licencia tampoco te permite usar el nombre ALIA como marca de tus productos: sí puedes decir que usas el modelo.

Si uso ALIA-40B, ¿mis datos llegan al BSC o al Gobierno?

Si lo ejecutas en tu propio servidor, el modelo no envía tus consultas a nadie: los pesos son archivos que descargas una vez y las consultas se procesan en tu infraestructura. Lo que conviene revisar es el software que lo rodea. Algunos servidores de inferencia, como vLLM, envían por defecto estadísticas de uso anónimas, y se pueden desactivar. Si lo pruebas en un servicio en la nube, como los que enlaza la ficha del modelo en Hugging Face, tus textos pasan por ese servicio y se rigen por sus condiciones. Para pruebas, usa textos sin datos personales ni confidenciales.

¿Necesito una GPU para usar ALIA-40B?

En la práctica, sí. Solo los pesos ocupan unos 81 GB en BF16 (cálculo propio: unos 40.400 millones de parámetros por 2 bytes) y 43 GB en la versión cuantizada Q8_0 que publica el BSC, más la memoria que pide el contexto. Si tu hardware es modesto, la familia Salamandra tiene modelos de 2.000 y 7.000 millones de parámetros; según ALIA Kit, el de 7B necesita unos 14–16 GB de memoria de GPU en FP16 y unos 5 GB cuantizado a 4 bits.

¿Está ALIA-40B en Ollama?

La ficha de ALIA-40B-instruct-2606 en Hugging Face desaconseja expresamente Ollama porque sus autores han encontrado problemas de compatibilidad. Para la versión cuantizada (GGUF) recomienda llama.cpp, y para el modelo completo, vLLM.

¿ALIA-40B sirve para crear agentes que usen herramientas?

La versión instruct no llama a funciones de forma nativa. Para eso el BSC publica ALIA-40B-fc-2606, una versión ajustada para llamadas a funciones que su ficha marca como trabajo en curso y que no recomienda en aplicaciones críticas sin pruebas extensas.