Una investigación de la Universidad de Standford ha concluido que ChatGPT está disminuyendo su rendimiento. Además, la última versión de esta aplicación no termina de convencer a la audiencia. 

La Universidad de Standford ha llevado a cabo una investigación sobre la versión más actualizada de ChatGPT y su funcionamiento. Los usuarios llevan semanas disgustados con las respuestas que daba esta aplicación a sus cuestiones, a pesar de haberse actualizado recientemente. Y es que, según se ha descubierto en este estudio, «el rendimiento y el comportamiento de GPT-3.5 y GPT-4 varían significativamente entre estas dos versiones y que su rendimiento en algunas tareas ha empeorado sustancialmente con el tiempo». 

Los investigadores han llegado incluso a poner ejemplos para que la población pueda comprender a qué se podrían deber estos errores o desajustes en las respuestas de ChatGPT. Tal y como han explicado, cuando preguntas al robot si 17.077 es un número primo, la respuesta, que debería ser ‘sí’, ha mostrado una imprecisión del 95,2%. «Es muy difícil saber por qué sucede esto. Definitivamente podría ser que RLHF y el ajuste fino (fine tuning) estén chocando contra una pared, pero también podrían ser errores. Definitivamente parece complicado administrar la calidad», ha asegurado Matei Zaharia, uno de los investigadores involucrados en este estudio de la Universidad de Standford. 

Kevin Welinder, el vicepresidente de producto de OpenAI , ha querido salir en defensa de ChatGPT y ha indicado que el problema no está en la aplicación ni en sus actualizaciones, sino en que la gente ha comenzado a usar este robot mucho más a menudo y que, por eso, es consciente de problemas que antes no percibía: «No, no hemos hecho que GPT-4 sea más tonto. Todo lo contrario: hacemos que cada nueva versión sea más inteligente que la anterior. Hipótesis actual: cuando lo usas más intensamente, comienza a notar problemas que no veía antes».