Escolha de abordagem e de modelo

Decidir, antes de construir qualquer coisa, que tipo de tecnologia serve a cada parte de uma análise de desempenho no futebol e com qual modelo de linguagem começar.

Cada opção tem forças e custos: regras fixas são previsíveis, mas rígidas; modelos de linguagem leem texto livre bem, mas podem ser inconsistentes ou errar; e custo e latência variam entre modelos. Escolher por hábito ou por moda deixa essas trocas sem registro.

Comparei quatro abordagens (regras determinísticas, aprendizado de máquina, um modelo de linguagem e uma abordagem híbrida) em dez critérios, como flexibilidade, consistência, facilidade de validação, custo operacional e risco de análises incorretas. Depois comparei três modelos de linguagem (GPT-4o, Claude Sonnet e Llama 3 70B) em qualidade, consistência, latência, custo e adequação ao caso. As duas comparações usam níveis qualitativos e notas de 1 a 5 que eu atribuí em um exercício de planejamento.

Uma decisão, não uma medição: uma abordagem híbrida, com regras para cálculos e critérios objetivos, aprendizado de máquina onde houver classificação e um modelo de linguagem para interpretar e escrever análises, sempre com validação das saídas e revisão humana nos casos críticos. Para o piloto, o modelo escolhido foi o Claude Sonnet, pelo equilíbrio entre qualidade, consistência e custo moderado. Nenhuma nota é publicada aqui, porque eram juízos, e não medições.

Os níveis e as notas são qualitativos e não têm método de medição declarado, então não devem ser lidos como um ranking de modelos. A comparação foi feita no planejamento, antes de os experimentos desta página existirem: eles rodam no gpt-4o-mini, e não no modelo escolhido para o piloto, e as notas nunca foram conferidas contra eles. Custo e latência dependem do provedor, da data e da infraestrutura.

Escrever as trocas torna a escolha discutível. O experimento de validação da saída é uma forma de aplicar a ideia híbrida: regras e um verificador em volta do modelo, porque só o modelo não garante consistência.