Deconstruyendo ChatGPT (1 de 3) · Pablo Fleurquin · 16 de febrero de 2023

Deconstruyendo chatGPT: ¿qué es?

Listos o no, la Inteligencia Artificial Generativa (generative AI, por sus siglas en inglés) dejó atrás su condición de nicho y pasó a ser parte del gran público. Impulsado por el lanzamiento del chatbot chatGPT de la empresa OpenAI en noviembre del 2022 y su sorprendente flexibilidad para resolver y generar diálogos prácticamente como si fuera un humano, la generative AI dejó los laboratorios para ser uno más entre nosotros. Puede escribir artículos, ensayos y poemas. Puede sugerir estrategias de marketing, publicidad y ventas. Puede crear arte, videos y canciones a partir de conceptos. Puede, por qué no, escribir código en diferentes lenguajes de programación.

Como se dará cuenta el lector atento, lejos quedaron las premoniciones de (hace no más de una década) que el avance tecnológico iba a impactar en la automatización de tareas manuales de diferentes oficios. Todo lo contrario, el impacto se siente en aquellos sectores donde el conocimiento o la creatividad son claves. Sin embargo, este artículo viene a romper la dicotomía del 0 o 1, del blanco o negro; y proponer el camino del medio. No estamos frente a la Matrix y menos que menos hay que entrar en pánico; todo lo contrario es el momento de centrarse en el valor que ofrece esta nueva tecnología, como lograr aprovecharla cualquiera sea mi ámbito de acción y sobre todo entender sus limitaciones. Este es el primero de 3 artículos que tratan sobre ¿qué es? la IA generativa, ¿para qué sirve (su impacto en el mundo actual)? y ¿cuál será su impacto en la educación?.

DALL·E — persona tomando mate con un caballo

Diseccionando a la criatura

Comencemos por un concepto que irá tomando cada vez más relevancia (¡atentos aquellos en la educación!):

AI literacy (alfabetización de la IA): se refiere a la capacidad de comprender cómo funciona la IA, sus fortalezas y limitaciones, y cómo se puede usar para resolver problemas. Un aspecto integral de la alfabetización en IA es poder comprender y apreciar las implicaciones de los resultados de la IA en función de sus entradas. En otras palabras, ¿qué valores y sesgos están integrados en el modelo de IA y cómo podemos mitigarlos? [1]

Alguno se preguntará ¿por qué necesito entender como funciona un modelo de IA para utilizarlo, si no necesito conocer lo que hay por debajo de Microsoft Office para sacarle provecho? Básicamente, es porque el primero es un sistema abierto con infinidad de posibilidades donde las respuestas pueden ser diferentes según cómo las haya preguntado y cómo haya planteado el ida y vuelta con la máquina. La clave es la interacción hombre-máquina. En el segundo las posibilidades son finitas y para una acción humana hay una unívoca respuesta de la máquina sin interpretaciones subjetivas. Lo cual nos lleva al siguiente punto a tener en cuenta, los sesgos implícitos en los modelos de IA. Esto es debido a que dichos modelos son construidos (entrenados) basándose en un histórico de información generada por humanos. Información que puede contener connotaciones de toda índole: racista, sexista, ideológicos, etc. que sin tomar los suficientes recaudos pueden ser trasladados al modelo. Prueba de esto son los mensajes ofensivos del chatbot Tay lanzado por Microsoft en 2016 [2]. Tay tuvo que ser discontinuado a las 16 horas de ser lanzado:

chatbot Tay de Microsoft — tweet ofensivo

Ahora bien, la IA generativa no solo son chatbots; es un subconjunto de técnicas de aprendizaje profundo que incluyen modelos para, entre otros, generación de imágenes, audio y video. Sin embargo para diseccionar la IA generativa nos centraremos en una parte del todo, los llamados Grandes Modelos de Lenguaje (LLMs por sus siglas en inglés — Large Language Models) del cual chatGPT es uno de varios. Como la gran mayoría de avances tecnológicos, estos no aparecen de la nada, sino que se construyen como una sucesión de esfuerzos colectivos y mejoras que en este caso viene de décadas atrás. En el caso de los LLMs estos se apoyan en los logros de la lingüística computacional, y las diferentes arquitecturas y variaciones de las Redes Neuronales profundas [3], y fundamentalmente a partir del artículo científico Attention is All You Need publicado por investigadores de la empresa Google en el año 2017 [4].

Embedding de palabras — representación vectorial

Dejando atrás formalidades históricas y justicia divina, lo que una persona no-técnica necesita saber es lo siguiente:

1. Los LLMs son Redes Neuronales profundas con una serie de aditivos. Las Redes Neuronales en IA son una analogía (quizás exagerada) de como funciona nuestro cerebro. En un modelo de este estilo contamos con millones o billones de neuronas conectadas a través de pesos, que estirando la analogía vendrían a ser los axones en nuestro cerebro (por donde se transmiten las sinapsis). Finalmente, estas neuronas están distribuidas en diversas capas que representan la información con diferentes niveles de abstracción. En particular, cada palabra en un LLM deja de ser una palabra para pasar a ser un vector hiperdimensional numérico. Hasta acá llegamos con la cháchara (a riesgo de haber asustado al lector), pero lo realmente interesante es entender cómo aprenden a partir de los datos (texto en modelos LLM).
2. Los LLMs “aprenden” (entrenados — en la jerga de IA) a partir de una tarea de predicción de palabras dentro de un texto. Hay diversos tipos de tareas. En el caso de los modelos tipo GPT, el objetivo es bien simple: predecir la próxima palabra en un texto dado una serie de palabras anteriores. Por ejemplo, en la frase anterior, predecir la palabra “serie” dado el texto “predecir la próxima palabra en un texto dado una __”. La palabra escogida por el modelo en la fase de aprendizaje es comparada con la verdadera palabra (“serie” en el ejemplo) y el resultado propagado hacia atrás en el modelo, actualizando sus billones de axones neuronales (pesos), o sea parámetros del modelo.

De esta forma, el modelo va aprendiendo y actualizando sus pesos a base de lo que ha visto. Para entrenar el modelo GPT-3 (base de chatGPT) hacen falta 500 billones de palabras. En otras palabras, esto es aproximadamente 646 millones de Biblias o por si todavía no queda claro la dimensión de dicha tarea: equivale a empapelar de hojas A4 la superficie de los departamentos de Río Negro, Tacuarembó, Rivera y Paysandú (en total, 48.000 km2 aprox.). ¿De dónde sale tanto texto? De páginas web, wikipedia y corpus literario de cientos de miles de libros.

Todo esto nos lleva al resultado que alguno de ustedes ha experimentado cuando jugó con chatGPT. Habiendo sido entrenado para una tarea de predicción de palabras, dada la complejidad de su arquitectura (punto 1.) estos modelos logran aprender sobre como estructurar de manera correcta el lenguaje, escoger las palabras adecuadas e inferir una respuesta plausible dado un texto escrito (entrada) por un humano. Estas entradas pueden ser en forma de preguntas, comentarios o acciones y la respuesta de chatGPT sorprende aunque, a veces, no está exenta de errores.

Para finalizar esta sección, estos modelos se distinguen claramente de sus antecesores (modelos puramente estadísticos) en su capacidad para aprender:

1. La estructura jerárquica del lenguaje. Muchas veces hacemos referencia a otras partes del texto que no son contiguas entre sí. Por ejemplo, “las sobras del asado de anoche están en la heladera” tiene 4 palabras entre medio del sujeto (“sobras”) y el verbo (“están”); sin embargo, “están” se relaciona con “sobras” y no con “asado”. Los LLMs resuelven esta no localidad de las palabras, muy por encima de lo que sería un mono tipeando y próximo al desempeño de un humano.
2. Las abstracciones del lenguaje. Pueden aprender reglas abstractas del lenguaje, inclusive frente a palabras inventadas. Por ejemplo, si les damos palabras inexistentes en frases: “El moploc” y “Ellos boplan”; a partir de unos pocos ejemplos (en modelos más avanzados, un solo ejemplo) pueden inferir reglas gramaticales abstractas como que “moploc” es un sustantivo y “boplan” un verbo.

Ahora, la pregunta del millón:

¿es la IA con sus modelos más avanzados de LLMs realmente inteligente?

Veamos en la siguiente sección por qué, por ahora, no lo es.

Ni Matrix ni Skynet, pero sí mucha labia.

Más de uno se ha desayunado en estas últimas semanas con noticias como esta:

Ejemplo de un medio cubriendo noticias relacionadas con chatGPT (CNN en Español, X/Twitter, enero 2023)

Para decepción de algunos y tranquilidad de muchos, esto no significa que chatGPT sea lo “bastante inteligente” y que vaya a sustituir a médicos, abogados y empresarios en un futuro cercano. Como ya hemos visto chatGPT ha sido entrenado con teras de información web, wikipedia y corpus literarios, lo cual es como que un estudiante de posgrado haga el examen a libro abierto y con la información precisa a golpe de clic. Lo que si es destacable es que dé respuestas bien estructuradas y correctas a preguntas de redacción a diferencia de aquellas de múltiple opción. Más bien, la noticia viene a interpelar la forma en que se dictan los exámenes con foco en contenido y no en destrezas, pero esto será tema de discusión para otro post ;).

Desmontado el primer mito popular, continuemos.

Quizás a alguien le haya llamado la atención la cantidad de información necesaria para entrenar el modelo, y si es así estaría en lo cierto. Un niño de 10 años ha visto 100 veces menos información en su corta vida que un LLM estándar. No solo eso, sino que con pocos ejemplos es capaz de inferir desde temprana edad conceptos complejos y relacionarlos. Una foto de un cerdo (cualquiera sea su ángulo), Peppa Pig, Los Tres Cerditos y el cerdito Porky caen todos en la misma categoría de tipo animal para un niño de 3 años sin necesidad de ver cientos de miles de imágenes en diferentes tonalidades, ángulos y colores. Los humanos son, en la jerga de la IA, unos excelentes “zero-shot learners” [6].

Nos adentramos en la recta final y necesariamente debemos contestar a la pregunta: ¿qué realmente es la inteligencia en este contexto y cuáles serían sus ingredientes principales?

Alan Turing — Can digital Computers Think? (1950)

El genio matemático de Alan Turing, en los albores de la computación, nos dejó un test para medir si “las maquinas pueden pensar”. Básicamente, consiste en poner de un lado del mostrado a un humano y un chatbot conversando y del otro lado evaluadores que no saben a priori quién es la máquina y quién el humano. El objetivo consiste en discernir esto; si la máquina pasa una serie de tests y no es posible identificar como tal, significa que ha pasado el test. chatGPT fue el segundo bot que ha pasado el test luego de Google LaMDA [7]. Ahora bien, como explican sus autores en él, muy recomendable, artículo [8] la popularidad del test de Turing combinado con el hecho de que el lenguaje es el principal vehículo para nuestro pensamiento, generó una serie de confusiones a lo largo del tiempo entre la relación lenguaje y pensamiento.

La primera falacia es que un agente (sea humano o máquina) que sea muy bueno en el uso de lenguaje (escrito u oral, da lo mismo) necesariamente debe ser muy bueno pensando (inteligente). Y la segunda, es su contrarrecíproco: “malo pensando entonces malo en el uso del lenguaje”. Hagamos una pausa, ¿quién no conoce de su trabajo o entorno a aquel vendedor, entrador y vende humo pero que lo rascas y no se le cae una idea o lo que plantea no se sostiene? Vamos, lo que los griegos llamaban hace 2.500 años como Sofistas. No solo eso, sino que también se da el caso de “bueno pensando y malo en el uso del lenguaje”. Sin ir más lejos, personas con síndrome de Asperger con fuertes problemas de comunicación pueden ser a su vez muy talentosos [9]. Estas confusiones entre lenguaje e inteligencia pueden ser evitadas si se realiza la distinción entre dos tipos competencia lingüística:

1. Competencia lingüística formal. El conocimiento de las reglas y regularidades estadísticas del lenguaje. Abstracciones, jerarquías, sintaxis, gramática y vocabulario; todas ellas necesaria para una adecuada competencia formal que se requiere para producir y comprender un lenguaje determinado.
2. Competencia lingüística funcional. La habilidad para usar el lenguaje en el mundo real asociado a objetos, conceptos y sentido común. El lenguaje está embebido en una realidad social y física, sin este contexto su valor es limitado. La competencia funcional se relaciona con otros aspectos de la mente como percepción, cognición y acción.

Estas distinciones nos llevan a concluir que los modelos artificiales del lenguaje son buenos en su competencia formal y quedan relegados en la funcional. En la siguiente imagen se muestra una salida de chatGPT a una entrada de texto determinada:

Ejemplo de interacción con chatGPT

Desde el punto de vista de competencia formal, el único error a simple vista es el uso del tiempo verbal “sacar” en vez de “saque” en la segunda respuesta. Desde el punto de vista funcional que el lector juzgue por sí mismo :). Esto muestra que chatGPT puede articular frases estructuralmente coherentes y legibles pero cuyo significado real es incorrecto. Como tal le falta estar embebido en una realidad física y la experiencia que de ella se desprende para subsanar la falta de sentido común en estos ejemplos. Por esta carencia, a día de hoy no son inteligentes en su aspecto más amplio (Inteligencia Artificial General) pero no dejan de ser muy útiles y, por qué no, un avance revolucionario.

Por más contra intuitivo que pueda sonar, mi opinión es que este tipo de Inteligencia Artificial y sus variaciones en la generación de imágenes, video y audio van a exigir a la inteligencia humana a enfocarse en nuevas destrezas del tipo funcional y dejar las formalidades, el estilo, el envase y la labia para este tipo de modelos. Aquellos que se destaquen, cualquiera sea su ámbito, serán los que mejor desarrollen las destrezas lingüísticas funcionales y extra lingüísticas del pensamiento potenciándose sinergéticamente con la IA. Y de esta forma, finalmente, hacer realidad aquella publicidad de Sprite: “la imagen es nada, la sed es todo”.

Esto es el hoy, ¿y el mañana?

Ley de Moore

Como todo avance tecnológico, no exento de polémica, están los que exageran de forma hiperbólica que nos encontramos a un paso de la Inteligencia Artificial General y varias profesiones quedarán obsoletas; y otros que subestiman la tecnología burlonamente en relación a sus errores actuales. Ni lo uno ni lo otro. Si fuéramos a conjeturar, a día de hoy, quizás nos encontremos en algún lugar cercano al punto de inflexión respecto al avance de la Inteligencia Artificial. ¿En una etapa de crecimiento exponencial temprana? Posiblemente.

Esto implica que los errores que hoy vemos en cuanto a la competencia formal del lenguaje se irán perfeccionando y no parece vislumbrarse un límite duro superior a dicho perfeccionamiento. En cuanto a la competencia funcional del lenguaje, esta irá mejorando; pero los LLMs son un engranaje más, el principio y no el fin. Por si solos no podrán abarcar otras áreas del pensamiento. Quizás una mejora sustancial a corto plazo sea unificar los LLMs con modelos de lenguaje simbólico matemático como Wolfram|Alpha, y así mejorar exponencialmente las capacidades de razonamiento abstracto, matemático y computo (ver [10]). Pero el camino a priori más prometedor, es ir hacia una arquitectura modular donde los LLMs serán un módulo más, entre otros, que traten la percepción, cognición y acción (ver [11] y [12]). Y así, darle a la Inteligencia Artificial un mapa de la realidad física.

Para concluir, parte de los miedos respecto a la Inteligencia Artificial (y la tecnología en general) es fruto de la suposición errónea que la Inteligencia Humana es estática y no evoluciona. Que nos quedamos congelados en el tiempo. Mi opinión es la contraria, evolucionaremos a la par que la artificial exigiéndonos y adentrándonos en áreas que antes no nos creíamos capaces.

… siempre y cuando venzamos la comodidad y el miedo.

Referencias

1. https://mannybecerra.com/posts/chatgpt-and-the-future-of-education
2. https://es.wikipedia.org/wiki/Tay_(bot)
3. https://jalammar.github.io/how-gpt3-works-visualizations-animations/
4. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
5. https://github.com/cmasch/word-embeddings-from-scratch
6. https://en.wikipedia.org/wiki/Zero-shot_learning
7. https://mpost.io/chatgpt-passes-the-turing-test/
8. https://arxiv.org/abs/2301.06627
9. https://www.sciencedirect.com/science/article/abs/pii/S0278262607001492
10. https://writings.stephenwolfram.com/2023/01/wolframalpha-as-the-way-to-bring-computational-knowledge-superpowers-to-chatgpt/
11. https://proceedings.neurips.cc/paper/2018/file/5e388103a391daabe3de1d76a6739ccd-Paper.pdf
12. https://www.science.org/doi/10.1126/sciadv.abl8913

Enlaces del artículo original

• DALL-E (OpenAI): https://openai.com/dall-e-2/
• Entrevista — Jaime Acevedo, ML Scientist (inteligenciacolectiva): https://inteligenciacolectiva.ai/t2ep4-jaime-acevedo-machine-learning-scientist-en-neural-design-be95e7b849db
• Generative AI (Golden wiki): https://golden.com/wiki/Generative_AI-DZDYKZP
• Organización territorial de Uruguay (Wikipedia): https://es.wikipedia.org/wiki/Organizaci%C3%B3n_territorial_de_Uruguay

← Volver al blog