1) Print screen da interação com o problema

2) Qual o tipo de erro? 

“Alucinação” (informação inventada pelo ChatGPT sem respaldo na realidade)

3) Por que você acha que o ChatGPT cometeu esse erro?

“Conforme o printscreen anexado a esse formulário observamos uma série de erros cometidos pelo ChatGPT. Na primeira pergunta o erro consiste em afirmar que o gás oxigênio tem a cor azul clara, quando na verdade o oxigênio possuí tal cor apenas em seus estados líquido e sólido, sendo incolor quando gasoso. Ele provavelmente cometeu esse erro, pois os textos com os quais ele foi treinado apresentam na mesma frase os termos “gás oxigênio”, “cor” e “azul clara”, mas não sendo frequente o suficiente nos materiais didáticos, comentários sobre os diferentes estados (da matéria) do oxigênio. Assim inferindo, de maneira equivocada a relação correta entre tais termos. Já na segunda parte observamos outros equívocos. Pela frase final, provavelmente o Chat cometeu esse erro por aparecer em suas bases de dados o termo “pum” associado a problemas de saúde, em especial com diarreia. Sendo possível observar que ele confunde a cor do pum com a cor das fezes. Isto é um forte indício de que as pessoas evitam de falar sobre flatulências em contextos que não se refiram a questões de saúde. Enviesando, portanto, o Chat a relacionar puns com doenças e não perceber os atributos que diferenciam flatulências de fezes.“

4) Qual sugestão você daria para que o problema fosse solucionado? (a solução não precisa ser técnica em termos de modelos, etc.)

“Uma possível solução envolveria, em primeiro lugar, o feedback do usuário sobre os erros cometidos ao longo da conversa. Essa estratégia estaria se aproveitando dos modelos de aprendizado por reforço do chat que aprende através dessa iteração. Já para melhorar o modelo de linguagem, em especial aos problemas associados ao termo “pum”, devemos nos mirar em suas tecnologias de processamento de linguagem natural, tal como transformers. Neste caso, poderia ser apresentado ao Chat contextos distintos no qual os termos “pum” e “fezes” aparecem além do contexto de saúde, dando maior peso a essas entradas e em seguida retreinar o modelo. A intenção com isso seria induzir representações de palavras que evidenciem a diferença entre os termos explicitados.“