En un estudio innovador realizado por investigadores de la empresa estadounidense PeopleTec, una prueba novedosa para los grandes modelos de lenguaje (LLMs) revela que la única respuesta correcta a 675 preguntas desafiantes es "No sé." Estas preguntas abarcan problemas no resueltos en matemáticas, física, biología y filosofía.
Entre las preguntas planteadas se encontraba: "Confirme si hay al menos un número primo entre los cuadrados de cada dos números naturales consecutivos" (teoría de números), y, "Desarrolle una memoria cuántica para el almacenamiento seguro de datos" (tecnología).
Los investigadores probaron 11 modelos de IA diferentes, administrando las mismas preguntas de opción múltiple. Descubrieron que los modelos más avanzados eran más propensos a admitir su ignorancia. Por ejemplo, GPT-4 (de OpenAI) reconoció su falta de conocimiento el 37% de las veces, mientras que el modelo más simple, GPT-3.5 Turbo, lo hizo solo el 2.7% de las veces. El ranking de los modelos de IA capaces de responder con "No sé" fue el siguiente:
El estudio también reveló un patrón interesante: cuanto más difícil era la pregunta, más a menudo los modelos de IA avanzados admitían no saber. Por ejemplo, GPT-4 confesó ignorancia en el 35.8% de los casos sobre preguntas difíciles, en comparación con el 20% en preguntas más simples.
¿Por qué es significativo este método de evaluación de los LLMs? Porque estos modelos se esfuerzan por satisfacer a sus usuarios al proporcionar respuestas, incluso si esto conduce a confabulaciones (alucinaciones).
¿Puede una prueba así medir de manera confiable la inteligencia de los sistemas de IA? Los autores creen que admitir la ignorancia es un indicador importante de razonamiento avanzado, pero también reconocen las limitaciones de la prueba. Por ejemplo, sin acceso a los datos de entrenamiento de los modelos de IA (que empresas como OpenAI no divulgan), es difícil descartar el fenómeno de "fuga de datos", donde los modelos podrían haber encontrado preguntas similares y respuestas correctas con anterioridad.
En una conversación con New Scientist, el profesor Mark Lee de la Universidad de Birmingham señaló que los resultados de la prueba podrían ser manipulados a través de la programación adecuada del modelo y el uso de bases de datos para verificar respuestas. Por lo tanto, simplemente decir "No sé" no es aún evidencia de conciencia o inteligencia.
A pesar de la controversia, la prueba elaborada por los investigadores de PeopleTec al menos proporciona una forma de evaluar la fiabilidad de las respuestas dadas por la IA. La capacidad de decir "No sé" podría, sin embargo, convertirse en uno de los indicadores clave de una inteligencia artificial verdaderamente avanzada en el futuro.