BLOOM
Categoria
Modelos e Arquiteturas
BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) e um LLM de codigo aberto com 176B parametros, treinado colaborativamente por mais de 1.000 pesquisadores em 46 idiomas.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e BLOOM?
BLOOM e um modelo de linguagem massivo e aberto com 176 bilhoes de parametros, criado pelo projeto BigScience envolvendo mais de 1.000 pesquisadores de 70 paises. E o primeiro LLM de escala comparavel ao GPT-3 disponivel de forma totalmente aberta.
Caracteristicas
- 176B parametros: escala comparavel a modelos proprietarios
- 46 idiomas: incluindo portugues
- 13 linguagens de programacao
- Licenca aberta: RAIL (Responsible AI License)
Treinamento
Treinado no supercomputador Jean Zay (CNRS, Franca) com o dataset ROOTS de 1.6TB de texto. O processo foi documentado de forma transparente, servindo como referencia para futuros projetos colaborativos.
Importancia
BLOOM representa um marco na democratizacao da IA, provando que colaboracao aberta pode produzir modelos de classe mundial. Na Trilion, BLOOM e reconhecido como exemplo de como IA pode ser desenvolvida de forma inclusiva e multilíngue.
