Mistral
Categoria
Modelos é Arquiteturas
Mistral é uma familia de modelos de linguagem da startup francesa Mistral AI, conhecida por oferecer modelos compactos é eficientes que rivalizam com modelos muito maiores em qualidade.
Categoria
Modelos é Arquiteturas
Compartilhar
O que é Mistral?
Mistral é uma familia de modelos de linguagem desenvolvida pela startup francesa Mistral AI. Fundada por ex-pesquisadores de DeepMind é Meta, a empresa se destaca por criar modelos compactos que rivalizam com modelos muito maiores em qualidade.
Modelos
- Mistral 7B: modelo compacto que supera Llama 2 13B
- Mixtral 8x7B: arquitetura Mixture of Experts
- Mistral Large: modelo premium para tarefas complexas
Inovacoes Tecnicas
- Sliding Window Attention: aténção eficiente para contextos longos
- Grouped-Query Attention (GQA): reduz memória na inferência
- Byte-fallback BPE: tokenização robusta multilíngue
Impacto
Mistral AI demonstrou que modelos menores é bem treinados podem competir com gigantes, desafiando a premissa de que escala é tudo. Na Trilion, os modelos Mistral sao avaliados como opcoes eficientes para projetos com restrições de recursos.
