Mistral
Categoria
Modelos e Arquiteturas
Mistral e uma familia de modelos de linguagem da startup francesa Mistral AI, conhecida por oferecer modelos compactos e eficientes que rivalizam com modelos muito maiores em qualidade.
Categoria
Modelos e Arquiteturas
Compartilhar
O que e Mistral?
Mistral e uma familia de modelos de linguagem desenvolvida pela startup francesa Mistral AI. Fundada por ex-pesquisadores de DeepMind e Meta, a empresa se destaca por criar modelos compactos que rivalizam com modelos muito maiores em qualidade.
Modelos
- Mistral 7B: modelo compacto que supera Llama 2 13B
- Mixtral 8x7B: arquitetura Mixture of Experts
- Mistral Large: modelo premium para tarefas complexas
Inovacoes Tecnicas
- Sliding Window Attention: atencao eficiente para contextos longos
- Grouped-Query Attention (GQA): reduz memoria na inferencia
- Byte-fallback BPE: tokenizacao robusta multilíngue
Impacto
Mistral AI demonstrou que modelos menores e bem treinados podem competir com gigantes, desafiando a premissa de que escala e tudo. Na Trilion, os modelos Mistral sao avaliados como opcoes eficientes para projetos com restricoes de recursos.
