Errar é humano e, aparentemente, também é próprio dos sistemas de Inteligência Artificial Generativa, como o ChatGPT da empresa OpenAI. No início deste ano, o chatbot impressionou a todos com sua aparente capacidade de resolver problemas e falar eloquentemente sobre uma ampla variedade de assuntos de todos os tipos.
ANÚNCIO
Mas aqueles que interagiram profundamente com a IA, tendo amplo conhecimento sobre o assunto consultado, chegaram à conclusão óbvia de que ChatGPT seria muitas vezes um “mentiroso” muito convincente.
Na grande maioria das vezes, a plataforma pode oferecer respostas e textos aparentemente sólidos, embora, na verdade, estejam repletos de imprecisões, informações incorretas ou francas mentiras.
Esta é uma cena que parece ser cada vez mais sentida, especialmente ao abordar temas de engenharia ou ciências exatas, e não é fruto da nossa imaginação.
Uma vez que a Inteligência Artificial realmente se tornaria cada vez menos precisa em suas respostas. Ou pelo menos é o que descobriu um interessante projeto de pesquisa que expõe completamente a IA.
ChatGPT está ficando cada vez mais impreciso e isso deveria preocupar aqueles que o usam cegamente
A Inteligência Artificial ChatGPT, desenvolvida pela OpenAI, piorou sua capacidade de resolver problemas matemáticos, de acordo com um estudo da Universidade de Stanford, onde foram analisadas as duas versões do chatbot da OpenAI: GPT-3.5 e GPT-4.
Nos resultados mostraram que a precisão do ChatGPT em certas tarefas matemáticas diminuiu significativamente em comparação com sua versão anterior. Da mesma forma, ocorreram flutuações semelhantes em tarefas mais complexas, como escrever código e montar textos baseados em raciocínio visual.
ANÚNCIO
James Zou, professor de computação da Stanford que participou do estudo, ficou surpreso com as mudanças significativas no desempenho do ChatGPT:
Quando ajustamos um grande modelo de linguagem para melhorar o seu desempenho em certas tarefas, isso pode, na verdade, ter muitas consequências indesejadas, que podem afetar o desempenho deste modelo em outras tarefas [...].
Existem todos os tipos de interdependências interessantes na forma como o modelo responde às coisas que podem levar a alguns dos comportamentos que observamos que pioram.
Os resultados da pesquisa em si são uma clara evidência disso. Uma vez que, graças a eles, foi provado que as capacidades do ChatGPT não eram consistentes e, portanto, o chatbot seria progressivamente menos confiável.
Por exemplo, quando se tratava de resolver problemas matemáticos, GPT-4 começou a se destacar em março de 2023, identificando corretamente os números primos 97,6% das vezes, mas apenas três meses depois, em junho de 2023, sua precisão caiu para apenas 2,4%.
Por outro lado, o GPT-3.5 mostrou uma melhoria, passando de 7,4% de precisão para 86,8% na mesma tarefa. O que pode ser alarmante, considerando que esta versão é a que, teoricamente, está pronta para dar lugar à sua sucessora.
O estudo também mostrou que as respostas do ChatGPT a perguntas sobre assuntos de gênero ou étnicos tornaram-se cada vez mais evasivas ou, em alguns casos, recusaram-se a responder, expulsando os usuários do chat.
Então, a moral óbvia é: não se deve confiar cegamente nas capacidades e respostas desta plataforma.
