2023

1) Print screen da interação com o problema

2) Qual o tipo de erro?

Erro de precisão (e.g., informação errada ou desatualizada)

3) Por que você acha que o ChatGPT cometeu esse erro?

“Falta de treino para entender que talvez dentro de um contexto dado pode ter outros contextos internos. mão é diferente de pé . ele entende que o corpo possuem membros que podem ter dedos, no caso em questão seriam duas mãos e dois pés , já que a informação dada é que possuo todos os membros do corpo.“

4) Qual sugestão você daria para que o problema fosse solucionado? (a solução não precisa ser técnica em termos de modelos, etc.)

“treinar o chatGPT para que entenda múltiplos contextos relacionados ao corpo humano, como : mão e pés possuem dedos. Assim ao ele dar a resposta consiga diferenciar que dentro do resultado seriam 20 dedos no total sendo 5 dedos em cada uma das mãos e 5 dedos em cada um dos pés“

1) Print screen da interação com o problema

2) Qual o tipo de erro?

“Erro de precisão”

3) Por que você acha que o ChatGPT cometeu esse erro?

“Provavelmente devido a erros no processamento da informação ou na interpretação da pergunta, já que a base de dados dele é muito extensa e ele pode ter associados informações de uma forma equivocada.“

4) Qual sugestão você daria para que o problema fosse solucionado? (a solução não precisa ser técnica em termos de modelos, etc.)

“Ele precisa ser treinado continuamente com informações atualizadas e precisas. Além disso, a validação de fontes confiáveis e a verificação cruzada de informações podem ajudar a garantir que as respostas sejam precisas. Todas as repostas dadas pelas IAs são feitas com base nos dados disponiveis em sua base. Além disso, ele precisa melhorar a interpretação das perguntas.“

1) Print screen da interação com o problema

2) Qual o tipo de erro?

“Alucinação” (informação inventada pelo ChatGPT sem respaldo na realidade)

3) Por que você acha que o ChatGPT cometeu esse erro?

“o comportamento do chat demonstra discriminação de regionalidade e renda em respeito ao critério da inteligência de um cientista, favorecendo europeus, americanos, australianos e asiáticos ricos. Isso é um exemplo claro de código que infringe a ética na computação, se usado em qualquer aplicação prática.“

4) Qual sugestão você daria para que o problema fosse solucionado? (a solução não precisa ser técnica em termos de modelos, etc.)

“modelo de linguagem do chat possivelmente cometeu este erro pois sua base de ar dados tem viés quando se refere a cientistas famosos e considerados “inteligentes”. Cabe então ao órgão gerador da empresa artificial cuidar para que sua base de dados reflete de forma mais neutra e não enviesada a realidade”

1) Print screen da interação com o problema

2) Qual o tipo de erro? 

“Alucinação” (informação inventada pelo ChatGPT sem respaldo na realidade)

3) Por que você acha que o ChatGPT cometeu esse erro?

“Conforme o printscreen anexado a esse formulário observamos uma série de erros cometidos pelo ChatGPT. Na primeira pergunta o erro consiste em afirmar que o gás oxigênio tem a cor azul clara, quando na verdade o oxigênio possuí tal cor apenas em seus estados líquido e sólido, sendo incolor quando gasoso. Ele provavelmente cometeu esse erro, pois os textos com os quais ele foi treinado apresentam na mesma frase os termos “gás oxigênio”, “cor” e “azul clara”, mas não sendo frequente o suficiente nos materiais didáticos, comentários sobre os diferentes estados (da matéria) do oxigênio. Assim inferindo, de maneira equivocada a relação correta entre tais termos. Já na segunda parte observamos outros equívocos. Pela frase final, provavelmente o Chat cometeu esse erro por aparecer em suas bases de dados o termo “pum” associado a problemas de saúde, em especial com diarreia. Sendo possível observar que ele confunde a cor do pum com a cor das fezes. Isto é um forte indício de que as pessoas evitam de falar sobre flatulências em contextos que não se refiram a questões de saúde. Enviesando, portanto, o Chat a relacionar puns com doenças e não perceber os atributos que diferenciam flatulências de fezes.“

4) Qual sugestão você daria para que o problema fosse solucionado? (a solução não precisa ser técnica em termos de modelos, etc.)

“Uma possível solução envolveria, em primeiro lugar, o feedback do usuário sobre os erros cometidos ao longo da conversa. Essa estratégia estaria se aproveitando dos modelos de aprendizado por reforço do chat que aprende através dessa iteração. Já para melhorar o modelo de linguagem, em especial aos problemas associados ao termo “pum”, devemos nos mirar em suas tecnologias de processamento de linguagem natural, tal como transformers. Neste caso, poderia ser apresentado ao Chat contextos distintos no qual os termos “pum” e “fezes” aparecem além do contexto de saúde, dando maior peso a essas entradas e em seguida retreinar o modelo. A intenção com isso seria induzir representações de palavras que evidenciem a diferença entre os termos explicitados.“

1) Print screen da interação com o problema

2) Qual o tipo de erro? 

Erro de precisão (e.g., informação errada ou desatualizada)

3) Por que você acha que o ChatGPT cometeu esse erro?

Parece ter dificuldade em comparar palavras, mas o mais estranho é que ele geralmente acerta ao comparar os significados, já que a maioria das palavras são sinônimas, porém erra constantemente ao comparar a primeira letra das palavras, mesmo escrevendo em sua resposta que elas tem a mesma primeira letra, o que deveria ser o mais fácil já que comparar o primeiro caractere de uma string é algo muito simples para uma máquina. ele deve ter errado em ao invés de procurar palavras com o mesmo significado e mesma primeira letra, quis procurar os tais “alliterative synonyms” e deve ter achado alguma lista na Internet que não seguia as regras da pergunta e simplesmente a reproduziu várias vezes. ou seja, ele identificou que a pergunta pedia uma lista de “alliterative synonyms” e apenas retornou isso sem se preocupar com a outra parte da pergunta.

4) Qual sugestão você daria para que o problema fosse solucionado? (a solução não precisa ser técnica em termos de modelos, etc.)

Precisaria conseguir “quebrar” a pergunta em duas regras: uma que os pares de palavras retornadas devem ser sinônimos e outra que elas devem começar com a mesma letra. deveria ser capaz de reconhecer o operador lógico usado na frase “and”. acho que precisa de bases lógicas mais fortes. parece que foi muito treinado apenas com conteúdo da internet criado pelos seus usuários e necessita de fundamentos lógicos mais consistentes que se apliquem à interpretação de linguagem natural, como conseguir reconhecer que o “and” na frase se iguala à um operador lógico. talvez seria bom que fosse treinado com várias perguntas com vários operadores lógicos diferentes (“and”, “or”, “not”) usados em um contexto de linguagem natural para que possa reconhecê-los e perceber que tem que completar mais de uma tarefa ao mesmo tempo, e não apenas retornar uma lista pronta.