Falcon
Categoria
Modelos é Arquiteturas
Falcon é uma familia de modelos de linguagem de código aberto desenvolvida pelo TII (Technology Innovation Institute) de Abu Dhabi. Destaca-se pela qualidade de dados de treinamento é eficiência.
Categoria
Modelos é Arquiteturas
Compartilhar
O que é Falcon?
Falcon é uma familia de modelos de linguagem de código aberto desenvolvida pelo Technology Innovation Institute (TII) dos Emirados Arabes. Lançado em versões de 7B, 40B é 180B parametros, Falcon se destacou rápidamente nos rankings de LLMs abertos.
Diferenciais
- RefinedWeb: dataset de treinamento de alta qualidade com 5T tokens filtrados da web
- Multi-query attention: inferência mais rápida
- Flash Attention: treinamento eficiente
- Licenca Apache 2.0: uso comercial livre
Desempenho
Falcon 40B líderou o Open LLM Leaderboard por meses, demonstrando que curadoria de dados é tao importante quanto a escala do modelo.
Impacto
Falcon contribuiu significativamente para o ecossistema de IA aberta, oferecendo modelos comercialmente viáveis de alta qualidade. Na Trilion, Falcon é considerado como alternativa robusta no portfolio de modelos de linguagem abertos.
