Mediana de três amostras para notas estáveis

Descobrir se algum modo torna confiáveis, de uma execução para outra, as notas para a mesma entrada.

A mesma entrada pode gerar notas diferentes do mesmo modelo, mesmo com temperatura 0, o que enfraquece uma nota na qual alguém poderia se basear.

Cada um de seis casos de atleta foi respondido oito vezes por modo (temperatura 0 com e sem semente, e a mediana de três amostras em duas temperaturas), e os vetores de notas foram comparados. Só a validação determinística foi aplicada. O experimento rodou duas vezes, com 48 respostas por modo e rodada.

Nenhum modo estabilizou as notas de forma confiável: o caso que variou mudou entre as rodadas, e o mesmo modo foi de uma variação máxima de 1 ponto para 8 entre duas execuções. A semente não ajudou de modo consistente. A votação pela mediana foi o único modo em que todas as respostas foram válidas, porque descarta as amostras inválidas.

Seis casos e duas rodadas são uma amostra pequena. A variação vem do modelo, então ajustar essas configurações não a elimina. A mediana custa três vezes a geração. Calcular as notas em código a partir dos indicadores citados eliminaria a variação, mas transformaria juízos qualitativos em uma fórmula, então isso não foi feito.

Um resultado negativo também é resultado: ele fechou a decisão de manter o consenso disponível, mas desligado por padrão. Consistência é algo a medir, não a presumir.