ChatGPT a veces 'piensa en chino', aunque responda en español. Nadie sabe por qué, pero tenemos dos buenas teorías
Publicado el 20/01/2025 por Diario Tecnología Artículo original
La reciente introducción del modelo de razonamiento 'o1' de OpenAI está empezando a provocar sorpresas inesperadas entre los usuarios de ChatGPT. Este avanzado modelo, diseñado para dedicar más tiempo a 'pensar' antes de responder, ha demostrado ser un paso adelante con respecto a los modelos de IA que le precedieron...
...pero un curioso fenómeno ha llamado la atención de los usuarios: el modelo a veces realiza pasos intermedios en idiomas como el chino (y, aunque menos frecuentemente, el alemán, el persa, el tailandés o el hindi), con independencia del idioma en el que se formule la pregunta inicial.
¿Por qué sucede esto? Aunque la respuesta no es del todo clara, se están poniendo sobre la mesa algunas teorías interesantes.
¿Pensar en chino, responder en inglés?
Hace 43 años, Clint Eastwood estrenaba su película 'Firefox, el arma definitiva', cuyo argumento no giraba en torno a ningún navegador web, a pesar del nombre, sino de un avión militar ultrasecreto desarrollado por los soviéticos que el piloto podía controlar mentalmente... siempre y cuando éste fuera capaz de 'pensar en ruso'.
Vía @RishabJainK en X
Si piensas que los idiomas sólo se hablan/escriben y el concepto de 'pensar en un idioma' determinado te sorprende, prepárate para seguir sorprendiéndote, porque varios usuarios han hecho público en redes sociales que, cuando usan 'o1', ChatGPT cambia de idioma en medio de su proceso de razonamiento.
Por ejemplo, al responder preguntas como "¿Cuántas letras R hay en la palabra 'strawberry'?", o1 puede resolver parte del problema en chino antes de regresar al inglés para presentar su respuesta final. Un fenómeno para el que OpenAI aún no ha ofrecido una explicación oficial.
Transparencia y limitaciones: un obstáculo para entender la IA
La falta de transparencia en los modelos avanzados de IA añade un nivel de misterio a estos fenómenos: no podemos saber con certeza por qué 'o1' actúa como lo hace debido a la naturaleza opaca de los algoritmos. Esta frase puede entenderse de dos maneras, y ambas son correctas en este caso:
- Todo modelo de IA tiene cierta faceta de 'caja negra': sabemos qué entra y qué sale, pero no todo lo que pasa dentro.
- Los modelos de IA usados por ChatGPT no son abiertos, a pesar de haber sido desarrollados por una empresa denominada 'OpenAI', por lo que sólo sus creadores pueden intentar 'abrir la caja'. Esto dificulta que investigadores externos exploren fenómenos como el que nos ocupa.
Las principales teorías
¿Hay un idioma objetivamente mejor que otros para pensar ciertos problemas... o sólo idiomas que la IA relaciona de algún modo con la resolución de esos problemas? Las dos grandes teorías giran en torno a la respuesta a esta pregunta.
La influencia de los datos y etiquetas de entrenamiento
Uno de los argumentos más citados se relaciona con los datos utilizados para entrenar a 'o1': los modelos de lenguaje son entrenados con enormes cantidades de texto de múltiples idiomas. Esto incluye no solo inglés, sino también los arriba mencionados y muchos otros cuyos hablantes generen contenidos online.
El proceso de etiquetado de datos también puede influir en la manera en que 'o1' razona: si durante el entrenamiento se etiquetaron problemas matemáticos o científicos preferentemente en un determinado idioma, el modelo podría asociar ciertas tareas con el mismo.
Esto explicaría por qué 'o1' ocasionalmente recurre al chino o a otros idiomas mientras desglosa problemas complejos: algunos expertos, como Ted Xiao de Google DeepMind, señalan que gran parte del etiquetado y la preparación de datos para entrenar modelos avanzados de razonamiento ocurre en China, debido a la disponibilidad de expertos y costos competitivos.
Optimización lingüística en el razonamiento
Rohan Paul, ingeniero de IA, los modelos como 'o1' operan en un espacio latente compartido donde las representaciones conceptuales no están ligadas a idiomas específicos. Esto permite que el modelo utilice el idioma que mejor se alinee con la tarea en cuestión.
A ojos de la IA, el lenguaje no tiene 'significado' tal y como nosotros lo entendemos. Según explica Matthew Guzdial, investigador de la Universidad de Alberta, para 'o1', todo es meramente texto: los idiomas son simplemente configuraciones de símbolos que puede combinar según patrones aprendidos.
Lo que propone esta segunda teoría es eso, que el modelo selecciona automáticamente el idioma más eficiente para procesar ciertos problemas... y que la escritura china, al estar basada en logogramas, podría ofrecer ventajas computacionales en problemas que implican cálculos o relaciones entre conceptos abstractos.
Vía @K_P_Jorgan en X
¿Conclusión?
Si bien el comportamiento de 'o1' puede parecer extraño, los expertos coinciden en que tiene una base lógica. El uso de múltiples idiomas durante el razonamiento es una manifestación del entrenamiento multilingüe del modelo y de su capacidad para operar en un espacio latente donde los conceptos trascienden los idiomas.
Aunque OpenAI no ha confirmado ni desmentido ninguna de estas hipótesis, las dos explicaciones que presentamos ofrecen una visión muy interesante sobre cómo las IA procesan y responden preguntas complejas... aunque todavía queda mucho por entender sobre cómo "piensan".
Vía | TechCrunch y Forbes
Imagen | Marcos Merino mediante IA
utm_campaign=20_Jan_2025"> Marcos Merino .