EXP / 004
Personas de analista construídas com prompts
Desenhar personas de analista com prompts, histórico de conversa e checagens simples de entrada e saída.
Modelo: gpt-4o-mini
Tecnologias
- TypeScript
- OpenAI API
- SQLite
Objetivo
Explorar até onde só os prompts conseguem moldar um assistente para análise de futebol.
Problema investigado
O mesmo modelo deve se comportar de forma diferente ao avaliar o desempenho de um jogador, uma proposta de transferência ou uma leitura tática, e cada tarefa precisa das suas regras sobre o que conta como evidência.
Abordagem
Um chatbot de terminal em TypeScript envia mensagens para a API da OpenAI e transmite a resposta. Três personas têm instruções próprias: análise esportiva, análise de proposta de transferência e análise tática. A conversa fica no SQLite, com utilitários para limitar ou resumir o histórico, e checagens simples filtram a entrada e a saída.
Resultados
Este experimento não teve avaliação formal: as checagens são heurísticas textuais e o repositório não tem suíte de testes. As mesmas personas fazem parte do Football Stat Analytics, onde a validação e a medição foram construídas.
Limitações
As checagens não garantem que uma resposta esteja correta ou segura. O repositório ainda não tem instruções de instalação ou execução, então o experimento não pode ser reproduzido a partir dele, e é separado do futuro produto FintaLab.
O que aprendi
Sem testes ou medições, não há como saber se uma persona segue as suas instruções, que é a lacuna que os experimentos de validação e avaliação tratam.