Los modelos de lenguaje de gran escala (LLMs), esos avanzados por la inteligencia artificial, han demostrado ser unos cracks en resolver tareas de razonamiento abstracto. Sin embargo, estudios recientes sugieren que estos modelos comparten algunos errores de razonamiento con nosotros, los humanos. Andrew Lampinen e Ishita Dasgupta, en su investigación publicada en PNAS Nexus, nos muestran cómo estos modelos se desempeñan en diferentes desafíos de razonamiento, comparándolos con el rendimiento humano.
En este estudio, tanto humanos como LLMs fueron puestos a prueba en tres tipos de tareas de razonamiento:
- Inferencia de Lenguaje Natural: Determinar si una conclusión se deriva lógicamente de unas premisas dadas.
- Juicio de Validez Lógica de Silogismos: Evaluar la validez de argumentos formales.
- Tarea de Selección de Wason: Decidir qué cartas voltear para verificar una regla condicional.
Resultados: Errores Comunes entre Humanos y LLMs
Los resultados revelaron que tanto nosotros como los LLMs caemos en los efectos de contenido. Nos dejamos llevar por la coherencia y credibilidad del contenido, clasificando incorrectamente un argumento inválido como válido. O sea, ambos podemos ser engañados por lo plausible del contenido, en lugar de fijarnos en la estructura lógica del argumento.
En la tarea de selección de Wason, donde hay que verificar reglas como «si una carta tiene una ‘D’ en un lado, entonces tiene un ‘3’ en el otro», tanto los humanos como los LLMs frecuentemente eligen cartas que no pintan nada para validar la regla. Por ejemplo, seleccionan la carta con «3», a pesar de que la regla no dice que una carta con «3» deba tener «D» en el reverso. Este error muestra nuestra tendencia a probar la regla de forma contraposicional, lo cual no es necesario en esta tarea.
Mejoras en el Contexto Social
Lo curioso es que tanto humanos como LLMs mejoran su desempeño cuando las reglas abstractas se reemplazan con relaciones socialmente relevantes. Si las cartas representan la edad de personas y su consumo de alcohol o refrescos, la gente razona mejor. Esto sugiere que el contexto y la relevancia social pueden mejorar nuestro razonamiento lógico.
Implicaciones y Reflexiones
Las conclusiones del estudio nos dicen que los LLMs, al estar entrenados con datos humanos, heredan algunas de nuestras debilidades en el razonamiento. Igual que nosotros, estos modelos podrían beneficiarse de una formación adicional para mejorar en tareas de razonamiento lógico. La similitud en los errores lógicos entre humanos y LLMs resalta la necesidad de un desarrollo continuo y una evaluación rigurosa de estos modelos para optimizar su uso práctico.
Este estudio no solo revela las capacidades compartidas entre humanos y LLMs en el razonamiento abstracto, sino que también nos invita a reflexionar sobre la naturaleza de nuestro razonamiento y cómo las tecnologías avanzadas pueden replicar y eventualmente superar nuestras capacidades con el entrenamiento adecuado. Además, subraya la importancia de un enfoque crítico en el desarrollo y la implementación de estos modelos para asegurar un uso efectivo y responsable.
Nuestra Opinión al Respecto
En «IA Actual«, pensamos que este estudio abre una ventana fascinante para entender tanto las capacidades como las limitaciones de los LLMs y el razonamiento humano. La similitud en los errores cometidos sugiere que, a pesar de su avance tecnológico, los LLMs todavía reflejan características humanas fundamentales. Esto nos plantea una pregunta interesante: ¿podemos entrenar a estos modelos para que superen nuestras propias limitaciones cognitivas?
Además, la mejora en el desempeño con contextos socialmente relevantes subraya la importancia del contexto en el razonamiento. Para aplicaciones prácticas, los modelos de IA deben ser diseñados para entender y aplicar contextos específicos, lo cual puede tener implicaciones significativas para su uso cotidiano.
Finalmente, este estudio nos recuerda la necesidad de seguir evaluando y perfeccionando estos modelos, no solo para mejorar su precisión, sino también para garantizar un uso ético y responsable. La inteligencia artificial tiene el potencial de transformar nuestra sociedad, pero debemos abordarla con una comprensión clara de sus fortalezas y debilidades.
Y tú, ¿qué opinas? ¿Crees que los LLMs pueden superar nuestras limitaciones cognitivas?
