Glossário de IA

A/B Testing e um metodo experimental que compara duas versoes de um elemento (pagina, e-mail, funcionalidade) para determinar qual performa melhor. Divide usuarios aleatoriamente entre grupos e mede a diferenca estatistica nos resultados.

Apache Airflow e uma plataforma de orquestracao de workflows de dados que permite programar, agendar e monitorar pipelines complexos. Utiliza Python para definir workflows como DAGs (grafos aciclicos direcionados) com dependencias entre tarefas.

Apache Kafka e uma plataforma de streaming de eventos distribuida, capaz de processar trilhoes de eventos por dia. Funciona como um sistema de mensageria pub/sub de alta performance, sendo a espinha dorsal de arquiteturas de dados em tempo real.

Apache Spark e um framework de processamento de dados distribuido que oferece alta performance para analytics em larga escala. Suporta processamento batch e streaming, SQL, machine learning e grafos em um unico ecossistema unificado.

Business Intelligence (BI) e o conjunto de estrategias, tecnologias e praticas para coletar, integrar, analisar e apresentar dados de negocio de forma visual e acessivel. Transforma dados brutos em insights acionaveis para apoiar a tomada de decisao.

Causation e a relacao onde uma variavel diretamente causa um efeito em outra. Diferente da correlacao que apenas mostra associacao, a causalidade requer evidencia de que uma mudanca em X produz uma mudanca em Y atraves de um mecanismo identificavel.

ChromaDB e um banco de dados vetorial leve e de codigo aberto, projetado para ser simples de usar em projetos de IA e LLMs. E popular para prototipacao rapida e projetos menores, podendo rodar embarcado na aplicacao ou como servico separado.

Cohort Analysis e uma tecnica analitica que agrupa usuarios por caracteristicas compartilhadas em um periodo especifico e acompanha seu comportamento ao longo do tempo. Essencial para medir retencao, engajamento e valor do ciclo de vida do cliente.

Correlation e uma medida estatistica que descreve o grau de associacao entre duas variaveis. Varia de -1 (correlacao negativa perfeita) a 1 (correlacao positiva perfeita). Importante lembrar que correlacao nao implica causalidade.

Dagster e uma plataforma moderna de orquestracao de dados focada em observabilidade e produtividade do desenvolvedor. Define pipelines como grafos de assets de dados com tipagem, testes integrados e monitoramento nativo de qualidade.

Dashboard e um painel visual interativo que apresenta metricas, KPIs e dados importantes de forma consolidada em uma unica tela. Permite monitorar a saude do negocio em tempo real e identificar tendencias, anomalias e oportunidades rapidamente.

Data Catalog e um inventario organizado de todos os ativos de dados de uma organizacao, com metadados, descricoes, classificacoes e linhagem. Permite que analistas e cientistas de dados descubram e entendam os dados disponiveis para suas analises.

Data Fabric e uma arquitetura de dados que utiliza integracao e automacao inteligente para conectar dados distribuidos em multiplos ambientes. Cria uma camada unificada de acesso e governanca independente de onde os dados estao armazenados fisicamente.

Data Governance e o conjunto de politicas, processos e padroes que garantem a gestao adequada dos dados em uma organizacao. Define quem pode acessar quais dados, como devem ser tratados e quais regras de qualidade e seguranca devem ser seguidas.

Data Lake e um repositorio centralizado que armazena grandes volumes de dados brutos em seu formato nativo, sejam estruturados, semiestruturados ou nao estruturados. Permite armazenar tudo primeiro e processar depois, oferecendo flexibilidade para diferentes tipos de analise.

Data Lakehouse e uma arquitetura hibrida que combina a flexibilidade e o baixo custo do Data Lake com a performance e governanca do Data Warehouse. Permite executar analytics e machine learning no mesmo repositorio com suporte a transacoes ACID.

Data Lineage e o rastreamento completo da jornada dos dados desde sua origem ate o consumo final. Mostra como os dados se movem, se transformam e sao utilizados ao longo dos pipelines, essencial para auditoria, compliance e resolucao de problemas.

Data Mesh e uma arquitetura descentralizada de dados onde cada dominio de negocio e responsavel por seus proprios dados como produto. Substitui o modelo centralizado por uma abordagem distribuida com governanca federada e plataforma de dados self-service.

Data Modeling e o processo de criar representacoes visuais e logicas da estrutura de dados de uma organizacao. Define entidades, atributos e relacionamentos para projetar bancos de dados eficientes que atendam as necessidades analiticas e operacionais.

Data Pipeline e uma sequencia automatizada de etapas que movem e transformam dados desde sua origem ate o destino final. Engloba processos de ingestao, limpeza, transformacao e distribuicao de dados em ambientes de analytics e inteligencia artificial.

Data Quality refere-se ao grau em que os dados sao precisos, completos, consistentes, atualizados e confiaveis para o uso pretendido. Envolve processos de validacao, monitoramento e correcao para garantir que decisoes de negocio sejam baseadas em dados corretos.

Data Storytelling e a pratica de comunicar insights de dados atraves de narrativas envolventes que combinam dados, visualizacoes e contexto. Transforma numeros frios em historias compreensíveis e acionaveis que motivam tomadas de decisao.

Data Visualization e a representacao grafica de dados e informacoes utilizando elementos visuais como graficos, mapas, treemaps e infograficos. Facilita a compreensao de padroes, tendencias e anomalias que seriam dificeis de detectar em tabelas numericas.

Data Warehouse e um sistema de armazenamento otimizado para analise de dados estruturados e historicos. Os dados sao organizados em schemas predefinidos e otimizados para consultas rapidas, servindo como base para relatorios de Business Intelligence e tomada de decisao.

dbt (data build tool) e uma ferramenta de transformacao de dados que permite aos analistas aplicar praticas de engenharia de software (versionamento, testes, documentacao) ao SQL. Transforma dados diretamente no Data Warehouse usando SQL com superpoderes.

Dimension, na modelagem dimensional, e um atributo qualitativo que fornece contexto para metricas numericas. Exemplos incluem data, regiao, categoria de produto e segmento de cliente. As dimensoes permitem fatiar e agrupar dados para analise.

ELT (Extract, Load, Transform) e uma variacao moderna do ETL que primeiro carrega os dados brutos no destino e depois realiza as transformacoes. Aproveita o poder computacional de Data Warehouses na nuvem para processar transformacoes diretamente no destino.

Embedding Database e um sistema de armazenamento otimizado para guardar e consultar embeddings, que sao representacoes vetoriais densas de dados. Sinonimo de Vector Database, e essencial para aplicacoes de IA que dependem de busca por similaridade semantica.

ETL (Extract, Transform, Load) e o processo de extrair dados de diversas fontes, transforma-los em um formato padronizado e carrega-los em um destino como um Data Warehouse. E o padrao classico para integracao e preparacao de dados para analise.

FAISS (Facebook AI Similarity Search) e uma biblioteca de codigo aberto desenvolvida pela Meta para busca eficiente de similaridade em grandes conjuntos de vetores. Otimizada para GPU, e capaz de indexar bilhoes de vetores com alta velocidade de consulta.