Um framework de testes para prompts

Definir uma forma repetível de julgar se um prompt que transforma dados de atletas em atributos com nota é preciso, consistente e honesto quando faltam dados.

Uma resposta que apenas parece certa não é evidência. O mesmo prompt pode inventar uma estatística, supervalorizar volume sobre eficiência ou dar respostas diferentes ao mesmo caso, e um ajuste no prompt pode resolver um problema e causar outro.

O framework define oito critérios, cada um com nota de 1 a 5: precisão, aderência aos dados, consistência, completude, justificativa, alucinação, coerência dos scores e formato. Usa dez casos de teste que cobrem situações simples, complexas, ambíguas, extremas e de confiabilidade (por exemplo, muitas finalizações com baixa eficiência, dados ausentes, indicadores contraditórios e um pedido de informação que nunca foi fornecida), cada um pensado para rodar três vezes com a mesma entrada. As falhas são ligadas a uma hipótese sobre o prompt, o prompt é reescrito como regras explícitas e verificáveis, e os mesmos casos rodam de novo. O ciclo é: testar, identificar falhas, analisar causas, corrigir o prompt, retestar e validar.

Nenhum resultado é publicado neste experimento. As tabelas do documento original são um cenário ilustrativo, escrito para mostrar como as falhas seriam identificadas e rastreadas, e não o registro de execuções medidas.

É um método, não uma medição: não há evidência publicada sobre um prompt real. Dez casos com três execuções cada são uma amostra pequena, as notas de 1 a 5 são atribuídas por uma pessoa, e um reteste sem falhas não garante que novos erros não vão aparecer, então o ciclo precisa ser repetido sempre que o prompt, o modelo ou os indicadores mudarem.

Transformar instruções vagas em regras que podem ser verificadas é o que torna uma correção testável. O framework põe dados ausentes e pedidos sem resposta entre os casos porque é aí que o modelo mais se sente tentado a inventar.