ChatGPT capitola di fronte alle domande sulla programmazione
Secondo i ricercatori della Purdue University, il chatbot generativo ChatGPT di OpenAI è solo parzialmente adatto come generatore di risposte per domande di programmazione. Durante la creazione di frammenti di codice per progetti software, lo strumento ha fornito un numero relativamente elevato di risultati errati nei test, soprattutto con lo stack overflow.
Il Risultati della serie di test sono stati preoccupanti, perché il chatbot non ha risposto correttamente nemmeno alla metà delle domande poste, con il 48%. Inoltre, il 78% delle risposte era incoerente su vari livelli rispetto alle risposte umane, ma erano più formali, più analitiche e il tono era meno negativo. Solo poco meno di un risultato su cinque (22%) era coerente con le risposte fornite dagli esseri umani.
Tuttavia, secondo il rapporto, ChatGPT ottiene un punto a favore in termini di comprensibilità. Il bot è comprensibile al 65% e le risposte sono facili da leggere. Tuttavia, l'abbondanza di informazioni irrilevanti fornite rimane un problema. (pte/swi)
