Como Precisa é o Whisper em Português Brasileiro? Benchmarks e Dados Reais

A Resposta Curta

WER — A Métrica Real (Não “99%” de Marketing)

Ferramentas de transcrição anunciam “99% de precisão” nas suas páginas de marketing. Isso é sistematicamente enganoso. A métrica científica real é o WER (Word Error Rate) — taxa de erro por palavra, medida contra uma transcrição de referência (padrão-ouro criado por humanos).

Fórmula: WER = (substituições + inserções + deleções) ÷ total de palavras da referência. Exemplo: transcrição perdeu 8 palavras em 100 → WER 8% → precisão 92%. É a métrica usada em papers acadêmicos, no Open ASR Leaderboard, e nos benchmarks oficiais da OpenAI, Deepgram e AssemblyAI.

Quando um fornecedor anuncia “99% de precisão” sem citar WER ou benchmark, você deve assumir uma de três coisas: (1) mediram cenário ideal (headset caro, sala isolada, um falante); (2) definiram precisão de forma diferente (character-level em vez de word-level); (3) estão medindo em um dataset curado internamente que não reflete uso real. Nenhuma das três é útil para você decidir se a ferramenta serve para seu caso.

Precisão por Condição de Áudio (pt-BR)

A precisão varia dramaticamente conforme a qualidade da captura. Números baseados em testes internos + literatura pública:

Precisão por Sotaque Regional em pt-BR

O Whisper foi treinado majoritariamente em fala urbana do centro-sul do Brasil. Regiões com menos representação no dataset original têm precisão levemente menor:

Fine-tuning para sotaques regionais: Pierre Guillou publicou modelos Whisper fine-tuned para pt-BR (whisper-medium-portuguese no Hugging Face) que melhoram acurácia em datasets brasileiros. Para uso profissional em regiões específicas, considerar modelos fine-tuned pode reduzir WER em 1-3 pontos percentuais.

Tamanhos do Modelo Whisper — Qual Usar?

O Whisper vem em cinco tamanhos, com trade-offs entre velocidade, tamanho em disco/memória e precisão:

Recomendação prática: Para uso profissional em pt-BR, use Large-v3. Se sua GPU não roda Large-v3 (~10GB VRAM), medium é o próximo. Small é o mínimo aceitável; base e tiny são apenas para desenvolvimento/testes rápidos.

Whisper vs Deepgram vs AssemblyAI vs Google/AWS/Azure em pt-BR

Comparação honesta dos principais motores de ASR em português brasileiro (dados verificados julho 2026):

Verdade honesta: em pt-BR limpo, Whisper Large-v3, Deepgram Nova-3 e AssemblyAI Universal-1 estão dentro de 1-2 pontos percentuais um do outro. A escolha real não é sobre “qual é mais preciso” — é sobre features (streaming, diarização, análises adicionais) e preço. Para o desenvolvedor pt-BR sensível a custo, Groq Whisper ($0.02/hr) é o mais barato; para features completas, Deepgram e AssemblyAI oferecem valor equivalente.

Como Testar a Precisão no Seu Próprio Áudio

A única forma de saber a precisão real para seu caso de uso é medir no seu próprio áudio. Método simples com Python:

# Passo 1: instalar jiwer
pip install jiwer

# Passo 2: em Python
from jiwer import wer

reference = "sua transcrição manual do áudio, palavra por palavra"
hypothesis = "output do Whisper para o mesmo áudio"

error = wer(reference, hypothesis)
precision = 100 - (error * 100)
print(f"WER: {error:.2%}, Precisão: {precision:.1f}%")

Passos manuais: (1) transcreva 2-3 minutos de áudio típico do seu contexto (padrão-ouro); (2) transcreva o mesmo áudio com Whisper (ou VexaScribe); (3) rode o script acima; (4) repita com 3-5 amostras diferentes para média confiável. Para benchmark padronizado em pt-BR, use o Common Voice Brasil — dataset público da Mozilla com ~150h de fala brasileira transcrita.

Quando IA Não Basta — Sinais para Usar Humano

Em 90-95% dos casos de negócio, IA + revisão manual de 15-20 min = precisão equivalente a humana pura por 1/50 do custo. Mas existem casos onde transcrição humana profissional ainda é obrigatória:

• Fala jurídica ou testemunhal — juiz pode não aceitar transcrição IA sem certificação; alguns tribunais brasileiros exigem transcritor com fé pública.
• Análise de conversação linguística em nível de turno-de-construção-de-unidade (pesquisa acadêmica em análise de conversação, dialetologia).
• Áudio com múltiplos falantes em sobreposição forte — IA não separa bem (75-85% precisão), humano ainda ganha claramente.
• Sotaques muito específicos ou dialetos raros — se seu conteúdo tem sotaque regional intenso que não está bem representado no dataset do Whisper, humano vence.
• Terminologia médica/técnica muito especializada — jargão de subespecialidade médica, terminologia de nicho onde precisão 99%+ é obrigatória.

Para o restante — podcasts, aulas gravadas, entrevistas jornalísticas, reuniões corporativas, resumos, matéria-prima para blog posts — IA + revisão manual é 2026-standard. Veja nossa página de quanto custa transcrição no Brasil para o comparativo econômico completo.