Glossário de IA

A/B Testing é um método experimental que compara duas versões de um elemento (página, e-mail, funcionalidade) para determinar qual performa melhor. Divide usuarios aleatoriamente entre grupos é mede a diferenca estatística nos resultados.

Apache Airflow é uma plataforma de orquestração de workflows de dados que permite programar, agendar é monitorar pipelines complexos. Utiliza Python para definir workflows como DAGs (grafos aciclicos direcionados) com dependências entre tarefas.

Apache Kafka é uma plataforma de streaming de eventos distribuida, capaz de processar trilhoes de eventos por dia. Funciona como um sistema de mensageria pub/sub de alta performance, sendo a espinha dorsal de arquiteturas de dados em tempo real.

Apache Spark é um framework de processamento de dados distribuido que oferece alta performance para analytics em larga escala. Suporta processamento batch é streaming, SQL, machine learning é grafos em um único ecossistema unificado.

Business Intelligence (BI) é o conjunto de estratégias, tecnologias é práticas para coletar, integrar, analisar é apresentar dados de negócio de forma visual é acessível. Transforma dados brutos em insights acionaveis para apoiar a tomada de decisão.

Causation é a relação onde uma variavel diretamente causa um efeito em outra. Diferente da correlação que apenas mostra associacao, a causalidade requer evidencia de que uma mudança em X produz uma mudança em Y através de um mecanismo identificavel.

ChromaDB é um banco de dados vetorial leve é de código aberto, projetado para ser simples de usar em projetos de IA é LLMs. E popular para prototipacao rápida é projetos menores, podendo rodar embarcado na aplicação ou como serviço separado.

Cohort Analysis é uma técnica analitica que agrupa usuarios por características compartilhadas em um período específico é acompanha seu comportamento ao longo do tempo. Essencial para medir retenção, engajamento é valor do ciclo de vida do cliente.

Correlation é uma medida estatística que descreve o grau de associacao entre duas variaveis. Varia de -1 (correlação negativa perfeita) a 1 (correlação positiva perfeita). Importante lembrar que correlação não implica causalidade.

Dagster é uma plataforma moderna de orquestração de dados focada em observabilidade é produtividade do desenvolvedor. Define pipelines como grafos de assets de dados com tipagem, testes integrados é monitoramento nativo de qualidade.

Dashboard é um painel visual interativo que apresenta métricas, KPIs é dados importantes de forma consolidada em uma única tela. Permite monitorar a saúde do negócio em tempo real é identificar tendências, anomalias é oportunidades rápidamente.

Data Catalog é um inventario organizado de todos os ativos de dados de uma organização, com metadados, descricoes, classificações é linhagem. Permite que analistas é cientistas de dados descubram é entendam os dados disponíveis para suas análises.

Data Fabric é uma arquitetura de dados que útiliza integração é automação inteligente para conectar dados distribuidos em multiplos ambientes. Cria uma camada unificada de acesso é governanca independente de onde os dados estao armazenados fisicamente.

Data Governance é o conjunto de politicas, processos é padrões que garantem a gestão adequada dos dados em uma organização. Define quem pode acessar quais dados, como devem ser tratados é quais regras de qualidade é segurança devem ser seguidas.

Data Lake é um repositorio centralizado que armazena grandes volumes de dados brutos em seu formato nativo, sejam estruturados, semiestruturados ou não estruturados. Permite armazenar tudo primeiro é processar depois, oferecendo flexibilidade para diferentes tipos de análise.

Data Lakehouse é uma arquitetura hibrida que combina a flexibilidade é o baixo custo do Data Lake com a performance é governanca do Data Warehouse. Permite executar analytics é machine learning no mesmo repositorio com suporte a transacoes ACID.

Data Lineage é o rastreamento completo da jornada dos dados desde sua origem até o consumo final. Mostra como os dados se movem, se transformam é sao útilizados ao longo dos pipelines, essêncial para auditoria, compliance é resolução de problemas.

Data Mesh é uma arquitetura descentralizada de dados onde cada domínio de negócio é responsável por seus proprios dados como produto. Substitui o modelo centralizado por uma abordagem distribuida com governanca federada é plataforma de dados self-service.

Data Modeling é o processo de criar representacoes visuais é logicas da estrutura de dados de uma organização. Define entidades, atributos é relacionamentos para projetar bancos de dados eficientes que aténdam as necessidades analiticas é operacionais.

Data Pipeline é uma sequência automatizada de etapas que movem é transformam dados desde sua origem até o destino final. Engloba processos de ingestão, limpeza, transformação é distribuição de dados em ambientes de analytics é inteligência artificial.

Data Quality refere-se ao grau em que os dados sao precisos, completos, consistentes, atualizados é confiaveis para o uso pretendido. Envolve processos de validacao, monitoramento é correcao para garantir que decisões de negócio sejam baseadas em dados corretos.

Data Storytelling é a prática de comúnicar insights de dados através de narrativas envolventes que combinam dados, visualizacoes é contexto. Transforma números frios em histórias compreensíveis é acionaveis que motivam tomadas de decisão.

Data Visualization é a representação grafica de dados é informações útilizando elementos visuais como gráficos, mapas, treemaps é infográficos. Facilita a compreensao de padrões, tendências é anomalias que seriam dificeis de detectar em tabelas numericas.

Data Warehouse é um sistema de armazenamento otimizado para análise de dados estruturados é históricos. Os dados sao organizados em schemas predefinidos é otimizados para consultas rápidas, servindo como base para relatorios de Business Intelligence é tomada de decisão.

dbt (data build tool) é uma ferramenta de transformação de dados que permite aos analistas aplicar práticas de engenharia de software (versionamento, testes, documentação) ao SQL. Transforma dados diretamente no Data Warehouse usando SQL com superpoderes.

Dimension, na modelagem dimensional, é um atributo qualitativo que fornece contexto para métricas numericas. Exemplos incluem data, região, catégoria de produto é segmento de cliente. As dimensoes permitem fatiar é agrupar dados para análise.

ELT (Extract, Load, Transform) é uma variacao moderna do ETL que primeiro carrega os dados brutos no destino é depois realiza as transformacoes. Aproveita o poder computacional de Data Warehouses na nuvem para processar transformacoes diretamente no destino.

Embedding Database é um sistema de armazenamento otimizado para guardar é consultar embeddings, que sao representacoes vetoriais densas de dados. Sinonimo de Vector Database, é essêncial para aplicações de IA que dependem de busca por similaridade semântica.

ETL (Extract, Transform, Load) é o processo de extrair dados de diversas fontes, transforma-los em um formato padronizado é carrega-los em um destino como um Data Warehouse. E o padrão classico para integração é preparacao de dados para análise.

FAISS (Facebook AI Similarity Search) é uma biblioteca de código aberto desenvolvida pela Meta para busca eficiente de similaridade em grandes conjuntos de vetores. Otimizada para GPU, é capaz de indexar bilhoes de vetores com alta velocidade de consulta.