Falcon
Categoria
Modelos e Arquiteturas
Falcon e uma familia de modelos de linguagem de codigo aberto desenvolvida pelo TII (Technology Innovation Institute) de Abu Dhabi. Destaca-se pela qualidade de dados de treinamento e eficiencia.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e Falcon?
Falcon e uma familia de modelos de linguagem de codigo aberto desenvolvida pelo Technology Innovation Institute (TII) dos Emirados Arabes. Lançado em versoes de 7B, 40B e 180B parametros, Falcon se destacou rapidamente nos rankings de LLMs abertos.
Diferenciais
- RefinedWeb: dataset de treinamento de alta qualidade com 5T tokens filtrados da web
- Multi-query attention: inferencia mais rapida
- Flash Attention: treinamento eficiente
- Licenca Apache 2.0: uso comercial livre
Desempenho
Falcon 40B liderou o Open LLM Leaderboard por meses, demonstrando que curadoria de dados e tao importante quanto a escala do modelo.
Impacto
Falcon contribuiu significativamente para o ecossistema de IA aberta, oferecendo modelos comercialmente viáveis de alta qualidade. Na Trilion, Falcon e considerado como alternativa robusta no portfolio de modelos de linguagem abertos.
