Fine-Tuning para o AssertIA: Vale a Pena Treinar Nosso Próprio Modelo?

Este é o passo mais crítico e mais trabalhoso. Você precisa de exemplos do tipo 'pergunta → resposta correta' no formato que o modelo deve produzir. Para o domínio jurídico, a literatura recomenda no mínimo 5.000 exemplos de alta qualidade. • Fontes possíveis no AssertIA: acórdãos classificados, nuggets já validados, pareceres com estrutura consistente • Qualidade > quantidade: 1.000 exemplos bem curados valem mais que 10.000 mediocres • Estimativa de esforço: 2-4 semanas de trabalho de um especialista de domínio + desenvolvedor • Custo estimado: R$5.000-R$15.000 (preparação manual ou semi-automatizada)

Nem todos os modelos funcionam bem em português jurídico. Com base nos benchmarks mais recentes (PoETa v2, LegalBench.PT, OAB-Bench): • Qwen 2.5 (7B-14B): melhor custo-benefício para português — supera Llama em ~10 pontos no PoETa v2 • Sabiá-4 (Maritaca AI): melhor modelo nativo em português, treinado em legislação brasileira — mas é proprietário (API) • Llama 4 Scout (17B ativo, MoE): maior contexto (10M tokens), mas desempenho em PT não é o melhor • DeepSeek V3.2: excelente relação custo/qualidade, mas menos testado em PT jurídico • Recomendação: começar com Qwen 2.5 7B (open weight, bom em PT, cabe em hardware modesto)

Com ferramentas modernas (Unsloth, Axolotl), o treinamento em si é rápido e barato — o gargalo é a preparação de dados, não o treinamento. • Técnica recomendada: QLoRA (ajusta 1-5% do modelo, usa 4x menos memória) • Hardware necessário: 1 GPU A100 ou H100 (aluguel: R$5-15/hora em nuvem) • Tempo de treinamento: 2-12 horas por rodada (modelo de 7B com QLoRA) • Custo por rodada: R$5-R$250 (dependendo do modelo e hardware) • Iterações típicas: 5-15 rodadas até encontrar configuração ótima • Custo total de treinamento: R$250-R$2.500

O passo que mais falha em projetos reais. Sem avaliação rigorosa, você não sabe se o modelo treinado é melhor ou pior que o GPT-4.1 para suas tarefas. • Criar conjunto de teste: 200-500 exemplos reservados (nunca usados no treinamento) • Métricas: acurácia, taxa de alucinação, aderência ao formato esperado • Benchmark contra GPT-4.1 nas mesmas tarefas — comparação lado a lado • Avaliação humana: juristas do Núcleo de Dados revisam amostra aleatória • Referência: OAB-Bench mostra que LLM-as-judge tem erro de 0.04-0.28 vs humanos • Risco real (caso Juru): modelo melhorou em direito mas piorou em conhecimento geral — catastrophic forgetting

Se a avaliação for positiva, o modelo precisa rodar 24/7 com confiabilidade. Isso requer infraestrutura e monitoramento. • Servir o modelo: vLLM (ferramenta padrão, otimiza throughput) • Hardware de produção: 1 GPU A100/H100 para modelo de 7B (~R$2.500-R$7.500/mês em nuvem) • Alternativa on-premises: se NIA tem GPU, custo é apenas eletricidade (~R$150-R$400/mês) • Monitoramento: acompanhar taxa de erro, latência, e degradação ao longo do tempo • Equipe necessária: DevOps com noções de ML, ou consultor externo por 2-3 meses

Input:

5.000 acórdãos classificados manualmente pelo Núcleo de Dados → formato {texto do acórdão, classificação correta}

Output:

Modelo Qwen 7B fine-tuned que classifica acórdãos novos com acurácia equivalente ao GPT-4.1, rodando no servidor do NIA, sem enviar dados para fora

# Custo estimado do ciclo completo:
# Preparação de dados: R$10.000 (2 semanas, 1 especialista + 1 dev)
# Treinamento (15 rodadas): R$750
# Avaliação: R$2.000 (tempo de juristas)
# Implantação: R$5.000 (consultor ML, 2 semanas)
# TOTAL: ~R$18.000 (investimento único)
# Economia mensal estimada: R$15.000-R$25.000

Ao treinar o modelo em dados jurídicos, ele pode 'esquecer' habilidades gerais. O caso Juru (Brasil, 2024) é emblemático: melhorou no exame da OAB mas piorou em conhecimento geral. Mitigação: usar LoRA (ajusta pouco do modelo), avaliar tarefas gerais antes e depois.

O modelo aprende o que você ensina — incluindo erros. Se os 5.000 exemplos de treino contêm classificações incorretas, o modelo vai reproduzir e amplificar esses erros. Mitigação: revisão humana de amostra, usar dados já validados pelo Núcleo de Dados.

O erro mais comum em projetos de fine-tuning: o modelo parece funcionar em testes informais, mas falha em produção. Referência: LegalBench.PT tem 12% de erros no próprio benchmark. Mitigação: avaliação formal com conjunto de teste separado, avaliação humana por juristas.

Um modelo fine-tuned não é 'instale e esqueça'. Precisa de monitoramento, retreinamento quando novos dados surgem, e manutenção de infraestrutura. Estimativa: multiplicar o custo de GPU por 1.5-2x para refletir custos reais (DevOps, monitoramento, redundância).

Pesquisa recente (ICLR 2025) mostra que fine-tuning pode enfraquecer as proteções de segurança do modelo — mesmo com dados de treino inofensivos. Para uso institucional no TCU, isso requer atenção e testes específicos.

Não requer fine-tuning, não requer ML engineer, não requer dados de treino. Resultado imediato. • Mapear quais tarefas consomem mais tokens (classificação? geração? busca?) • Rotear tarefas de classificação para Gemini Flash ou GPT-4.1 nano • Manter GPT-4.1 apenas para geração de texto e raciocínio complexo • Economia esperada: 60-80% do custo atual • Tempo: 2-4 semanas • Pré-requisito: levantar distribuição de custo por tarefa (gap já identificado no Brief #001)

Escolher UMA tarefa bem definida, com dados abundantes, e testar se um modelo fine-tuned atinge qualidade equivalente. • Candidata provável: classificação de acórdãos (alta volume, formato estruturado) • Modelo sugerido: Qwen 2.5 7B (melhor em PT entre open-weight) • Dados: 5.000+ exemplos já classificados pelo Núcleo de Dados • Avaliação: comparação cega (GPT-4.1 vs fine-tuned) com juristas do Núcleo • Custo do piloto: ~R$18.000 (investimento único — ver detalhamento na seção 3) • Decisão: se acurácia >= 95% do GPT-4.1, expandir; se não, abandonar

Maritaca AI é brasileira, Sabiá-4 foi treinado em legislação brasileira, e pode ser a alternativa mais direta ao GPT-4.1 sem necessidade de fine-tuning próprio. • Solicitar acesso à API da Maritaca AI • Benchmark Sabiá-4 vs GPT-4.1 nas tarefas do AssertIA • Avaliar custo por token da Sabiá-4 • Vantagem: modelo nativo em PT-BR, treinado em direito brasileiro

Se o NIA tem GPUs (A100, V100, ou equivalente), o self-hosting fica dramaticamente mais barato — custo cai de R$7.500/mês (nuvem) para ~R$400/mês (eletricidade). • Confirmar com Luis Henrique / SETIC que hardware está disponível e alocável • Verificar se infraestrutura de rede suporta servir modelo via API interna

Citamos esse estudo para mostrar que fine-tuning + RAG supera cada abordagem isolada. Isso é verdade no domínio agrícola onde foi testado. A transferência para jurisprudência do TCU é uma hipótese, não um fato.

O treino em si é barato. Operar um modelo em produção com confiabilidade institucional (SLA, fallback, monitoramento, retreinamento) não é. A literatura sugere multiplicar custos de GPU por 1.5-2x — mas em contexto governamental, pode ser mais. Sem experiência operacional própria, este é um número desconhecido.

O TCU fiscaliza. Um modelo que erra classificação de acórdão pode gerar consequência institucional. A economia de R$20k/mês não compensa se gerar um incidente. Por isso a recomendação de piloto com avaliação rigorosa (não expansão direta) permanece — mas deve ser lida como 'teste a hipótese', não 'implemente a solução'.