ChatGPT capitule face aux questions de programmation
Selon des chercheurs de l'université de Purdue, le chatbot ChatGPT, basé sur l'IA générative d'OpenAI, ne convient que partiellement pour répondre à des questions de programmation. Lors de tests visant à créer des fragments de code pour des projets logiciels, l'outil a fourni un nombre relativement élevé de résultats erronés, notamment sur Stack Overflow.
Le site Résultats de la série de tests sont décevantes, car le chatbot n'a même pas répondu correctement à la moitié des questions posées (48 %). De plus, 78 pour cent des réponses étaient incohérentes à différents niveaux par rapport aux réponses humaines - mais elles étaient plus formelles, plus analytiques et le ton était moins négatif. À peine un résultat sur cinq (22 %) était cohérent avec les réponses données par les humains.
ChatGPT obtient toutefois un bon point en matière de compréhension, comme il est dit. Le bot est compréhensible à 65% et les réponses sont bien lisibles. Mais la quantité d'informations non pertinentes fournies reste un problème. (pte/swi)
