AI LabExplorando a inteligência por trás do código.

Experimentos e pesquisa

Estudo desenvolvimento e gestão de sistemas de IA e uso projetos de estudo para explorar modelos de linguagem. Cada experimento diz o que eu queria descobrir, como abordei, o que medi e onde ele falha. São projetos de aprendizado, não produtos.

• EXP / 001

  Experimento em destaque

  Prova de conceitoEm desenvolvimento

  Respostas fundamentadas em relatórios (RAG)

  Responder perguntas sobre relatórios de observação usando só os trechos recuperados, mostrando quanto de cada resposta pode ser rastreado até eles.

  Modelo: gpt-4o-mini, OpenAI embeddings

  Tecnologias

  • TypeScript
  • Node.js
  • OpenAI API
  • SQLite
  • RAG

• EXP / 002

  Prova de conceitoEm desenvolvimento

  Validação da saída do modelo com regras e um modelo juiz

  Checar o que um modelo de linguagem diz com regras em código e um segundo modelo que precisa citar a evidência.

  Modelo: gpt-4o-mini

  Tecnologias

  • TypeScript
  • Node.js
  • OpenAI API
  • SQLite

• EXP / 003

  EstudoConcluído

  Mediana de três amostras para notas estáveis

  Testar se responder com a mediana de três amostras torna estáveis as notas de um modelo.

  Modelo: gpt-4o-mini

  Tecnologias

  • TypeScript
  • Node.js
  • OpenAI API

• EXP / 004

  EstudoConcluído

  Personas de analista construídas com prompts

  Desenhar personas de analista com prompts, histórico de conversa e checagens simples de entrada e saída.

  Modelo: gpt-4o-mini

  Tecnologias

  • TypeScript
  • OpenAI API
  • SQLite

• EXP / 005

  EstudoConcluído

  Escolha de abordagem e de modelo

  Comparar regras, aprendizado de máquina, modelos de linguagem e uma abordagem híbrida, e três modelos, para decidir como automatizar a análise de atletas.

• EXP / 006

  EstudoConcluído

  Um framework de testes para prompts

  Um método para testar um prompt como se testa software: casos fixos, execuções repetidas, critérios com nota, falhas ligadas a causas e reteste a cada correção.

• EXP / 007

  EstudoConcluído

  Ajuste fino de um modelo pequeno para classificar avaliações (LoRA)

  Ajustar um modelo de 1,5 bilhão de parâmetros com LoRA para classificar avaliações curtas de desempenho no futebol, e o que a avaliação mostra e não mostra.

  Modelo: Qwen2.5-1.5B-Instruct, LoRA adapter

• EXP / 008

  EstudoEm planejamento

  Rondo

  Uma plataforma para criar e operar especialistas: agentes de IA especializados nas funções de um clube de futebol, alimentados por fontes de dados conectadas, com respostas rastreáveis até elas. A fundação técnica existe; as funcionalidades de produto, não.

Registro de pesquisa

Os experimentos na ordem em que aparecem no laboratório, com o que cada um me ensinou. Não há datas: é um caminho, não um calendário.

1. EXP / 001

   Respostas fundamentadas em relatórios (RAG)

   Contexto: Responder perguntas sobre relatórios de observação usando só os trechos recuperados, mostrando quanto de cada resposta pode ser rastreado até eles.

   O que aprendi: Uma citação não prova nada sozinha: o que ajudou foi mostrar, ao lado da resposta, o que pôde e o que não pôde ser rastreado. Uma falha de busca parece uma falha do modelo, então vale medir as duas separadamente.

   Ler o experimento — Respostas fundamentadas em relatórios (RAG)

2. EXP / 002

   Validação da saída do modelo com regras e um modelo juiz

   Contexto: Checar o que um modelo de linguagem diz com regras em código e um segundo modelo que precisa citar a evidência.

   O que aprendi: Meça com casos escritos depois dos ajustes, ou os números elogiam o trabalho. Um verificador não deve ser aceito às cegas: exigir uma citação o tornou checável. A checagem custa uma requisição extra por resposta, o preço de menos afirmações sem suporte.

   Ler o experimento — Validação da saída do modelo com regras e um modelo juiz

3. EXP / 003

   Mediana de três amostras para notas estáveis

   Contexto: Testar se responder com a mediana de três amostras torna estáveis as notas de um modelo.

   O que aprendi: Um resultado negativo também é resultado: ele fechou a decisão de manter o consenso disponível, mas desligado por padrão. Consistência é algo a medir, não a presumir.

   Ler o experimento — Mediana de três amostras para notas estáveis

4. EXP / 004

   Personas de analista construídas com prompts

   Contexto: Desenhar personas de analista com prompts, histórico de conversa e checagens simples de entrada e saída.

   O que aprendi: Sem testes ou medições, não há como saber se uma persona segue as suas instruções, que é a lacuna que os experimentos de validação e avaliação tratam.

   Ler o experimento — Personas de analista construídas com prompts

5. EXP / 005

   Escolha de abordagem e de modelo

   Contexto: Comparar regras, aprendizado de máquina, modelos de linguagem e uma abordagem híbrida, e três modelos, para decidir como automatizar a análise de atletas.

   O que aprendi: Escrever as trocas torna a escolha discutível. O experimento de validação da saída é uma forma de aplicar a ideia híbrida: regras e um verificador em volta do modelo, porque só o modelo não garante consistência.

   Ler o experimento — Escolha de abordagem e de modelo

6. EXP / 006

   Um framework de testes para prompts

   Contexto: Um método para testar um prompt como se testa software: casos fixos, execuções repetidas, critérios com nota, falhas ligadas a causas e reteste a cada correção.

   O que aprendi: Transformar instruções vagas em regras que podem ser verificadas é o que torna uma correção testável. O framework põe dados ausentes e pedidos sem resposta entre os casos porque é aí que o modelo mais se sente tentado a inventar.

   Ler o experimento — Um framework de testes para prompts

7. EXP / 007

   Ajuste fino de um modelo pequeno para classificar avaliações (LoRA)

   Contexto: Ajustar um modelo de 1,5 bilhão de parâmetros com LoRA para classificar avaliações curtas de desempenho no futebol, e o que a avaliação mostra e não mostra.

   O que aprendi: Um número maior não é evidência enquanto os dados de teste não ficam separados do treino: aqui o mesmo arquivo alimenta os dois, e a tabela não consegue dizer se o adaptador generaliza. Contar as falhas de formato separadamente dos erros de rótulo, e olhar quais exemplos deslizaram, ensinou mais do que o número de destaque. Da próxima vez eu dividiria os dados primeiro, congelaria o conjunto de teste e repetiria com outras sementes.

   Ler o experimento — Ajuste fino de um modelo pequeno para classificar avaliações (LoRA)