/data-statistical-analysis

name: data-statistical-analysis
description: Aplica métodos estatísticos incluindo estatísticas descritivas, análise de tendências, detecção de outliers e testes de hipótese para dados do workspace. Use quando analisar distribuições de MRR/churn, testar se uma mudança de produto moveu métricas, detectar anomalias em instâncias do Licensing, calcular correlações, ou interpretar resultados estatísticos. Execução local via Python.
argument-hint: "<dados ou questão estatística>"

data-statistical-analysis — Análise Estatística

Estatísticas descritivas, análise de tendências, detecção de outliers, testes de hipótese, e orientação sobre quando ser cauteloso com afirmações estatísticas.

Metodologia de Estatísticas Descritivas

Tendência Central

Escolher a medida correta de centro com base nos dados:

| Situação | Usar | Por quê | |---|---|---| | Distribuição simétrica, sem outliers | Média | Estimador mais eficiente | | Distribuição assimétrica | Mediana | Robusta a outliers | | Dados categóricos ou ordinais | Moda | Única opção para não-numéricos | | Altamente assimétrico com outliers (ex: MRR por cliente) | Mediana + média | Reportar ambas; a diferença mostra assimetria |

**Sempre reportar média e mediana juntas para métricas de negócio.** Se divergirem significativamente, os dados são assimétricos e a média isolada é enganosa.

Dispersão e Variabilidade

• **Desvio padrão**: Distância típica dos valores à média. Usar com dados normalmente distribuídos.
• **Intervalo interquartil (IQR)**: Distância do p25 ao p75. Robusto a outliers. Usar com dados assimétricos.
• **Coeficiente de variação (CV)**: DesvioPad / Média. Usar para comparar variabilidade entre métricas com escalas diferentes.
• **Amplitude**: Máximo menos mínimo. Sensível a outliers mas dá uma noção rápida da extensão dos dados.

Percentis para Contexto de Negócio

Reportar percentis-chave para contar uma história mais rica do que a média isolada:

p1:   Fundo 1% (piso / valor mínimo típico)
p5:   Extremo baixo da faixa normal
p25:  Primeiro quartil
p50:  Mediana (cliente típico)
p75:  Terceiro quartil
p90:  Top 10% / clientes power user
p95:  Extremo alto da faixa normal
p99:  Top 1% / clientes extremos

**Exemplo de narrativa**: "O MRR mediano por cliente é R$ 420, mas os 10% melhores pagam mais de R$ 2.100/mês, puxando a média para R$ 780."

Descrever Distribuições

Caracterizar cada distribuição numérica analisada:

• **Forma**: Normal, assimétrica à direita, assimétrica à esquerda, bimodal, uniforme, cauda pesada
• **Centro**: Média e mediana (e a diferença entre elas)
• **Dispersão**: Desvio padrão ou IQR
• **Outliers**: Quantos e quão extremos
• **Limites**: Há um piso natural (zero) ou teto (100%)?

Análise de Tendências e Previsão

Identificar Tendências

**Médias móveis** para suavizar ruído:

import pandas as pd

# Média móvel de 7 dias (boa para dados diários com sazonalidade semanal)
df['ma_7d'] = df['metrica'].rolling(window=7, min_periods=1).mean()

# Média móvel de 28 dias (suaviza padrões semanais E mensais)
df['ma_28d'] = df['metrica'].rolling(window=28, min_periods=1).mean()

**Comparação período a período**:

• Semana a semana (SaS): Comparar com o mesmo dia da semana passada
• Mês a mês (MaM): Comparar com o mesmo mês anterior
• Ano a ano (AaA): Padrão ouro para negócios sazonais
• Mesmo dia do ano anterior: Comparar dia de calendário específico

**Taxas de crescimento**:

Crescimento simples: (atual - anterior) / anterior
CAGR: (final / inicial) ^ (1 / anos) - 1
Crescimento log: ln(atual / anterior) — melhor para séries voláteis

Detecção de Sazonalidade

Verificar padrões periódicos: 1. Plotar a série temporal bruta — inspeção visual primeiro 2. Calcular médias por dia da semana: há um padrão semanal claro? 3. Calcular médias por mês do ano: há um ciclo anual? 4. Ao comparar períodos, sempre usar AaA ou comparações do mesmo período para evitar confundir tendência com sazonalidade 5. Para o mercado brasileiro, verificar efeitos de feriados nacionais e fim de mês de salário

Previsão (Métodos Simples)

Para analistas de negócio (não cientistas de dados), usar métodos diretos:

• **Previsão ingênua**: Amanhã = hoje. Usar como baseline.
• **Ingênua sazonal**: Amanhã = mesmo dia da semana/ano passada.
• **Tendência linear**: Ajustar uma reta aos dados históricos. Apenas para tendências claramente lineares.
• **Previsão de média móvel**: Usar média histórica como previsão.

**Sempre comunicar incerteza**. Fornecer um intervalo, não uma estimativa pontual:

• "Esperamos 10K–12K novas instâncias no próximo mês com base na tendência de 3 meses"
• NÃO "Teremos exatamente 11.234 novas instâncias no próximo mês"

**Quando escalar para um cientista de dados**: Tendências não lineares, múltiplas sazonalidades, fatores externos (investimento em marketing, eventos como Evolution Summit), ou quando a precisão da previsão importa para alocação de recursos.

Detecção de Outliers e Anomalias

Métodos Estatísticos

**Método Z-score** (para dados normalmente distribuídos):

z_scores = (df['valor'] - df['valor'].mean()) / df['valor'].std()
outliers = df[abs(z_scores) > 3]  # Mais de 3 desvios padrão

**Método IQR** (robusto a distribuições não-normais):

Q1 = df['valor'].quantile(0.25)
Q3 = df['valor'].quantile(0.75)
IQR = Q3 - Q1
limite_inferior = Q1 - 1.5 * IQR
limite_superior = Q3 + 1.5 * IQR
outliers = df[(df['valor'] < limite_inferior) | (df['valor'] > limite_superior)]

**Método percentil** (mais simples):

outliers = df[(df['valor'] < df['valor'].quantile(0.01)) |
              (df['valor'] > df['valor'].quantile(0.99))]

Tratamento de Outliers

NÃO remover outliers automaticamente. Em vez disso:

1. **Investigar**: Isso é um erro de dados, um valor extremo genuíno, ou uma população diferente? 2. **Erros de dados**: Corrigir ou remover (ex: valores negativos de MRR, timestamps no ano 1970) 3. **Extremos