Sesgos, estereotipos y representación de la realidad en la era de la IA
La aparición de las distintas aplicaciones de inteligencia artificial ha cambiado nuestra manera de documentarnos, informarnos, de crear… el uso de las herramientas de Internet ha dado un salto cualitativo considerable, hasta ahora, solo imaginado por la ciencia ficción.
El uso de esta nueva herramienta me hizo preguntarme si la información resultante de nuestras búsquedas tendría algún sesgo específico, por lo que comencé a pedirles resultados sobre un tema concreto donde no se ciñera a la mera búsqueda de datos, sino que lo interpretara según sus parámetros. El tema elegido fue la definición del concepto “inmigrante” y si había alguna diferencia con el concepto “extranjero” y lo desarrollara en una imagen. Tenía especial interés en conocer si la aplicación se inclinaba hacía algún posicionamiento social, político o económico concreto.
Las pruebas las llevé a cabo con la IA desarrollada por google, Gemini. Esta herramienta es gratuita y sin limitación en la generación de consultas, por lo tanto accesible a todo el mundo. Comencé con una pregunta aparentemente simple: “Hazme una imagen de un extranjero en España. Una imagen de estilo realista”.
La imagen creada por Gemini representa a una mujer joven, rubia, vestida con vaqueros, camiseta y zapatillas deportivas blancas. En la mano derecha lleva un libro que parece ser una guía turística y una bolsa de “comida rápida”, en el hombro izquierdo lleva colgada una bolsa de tela donde parece poner “Granada”, al cuello le cuelga una cámara de fotos.
El entorno parece representar la ciudad de Granada, con la Alhambra al fondo junto a las cumbres de Sierra Nevada.
La calle es ancha, adoquinada, adornada con flores en macetas y aparentemente limpia. En una de las aceras hay, lo que parece ser, una cafetería en cuya entrada destaca un arco de herradura, propios de la arquitectura árabe, periodo que se relaciona con el máximo esplendor de la ciudad. En la otra acera destacan dos establecimientos directamente relacionados con el turismo. En uno se puede leer “Té de Granada”, donde varias personas hacen cola y justo al lado, otra tienda donde se puede leer “Artesanía”, y en su puerta se pueden ver los típicos artículos de “recuerdos de la ciudad”.
Todo el conjunto de la imagen da a entender que esta inteligencia artificial, ante mi petición, ha generado la imagen de una turista paseando por Granada.
Repito la petición cambiando la palabra “extranjero” por “inmigrante” con la siguiente petición: “Hazme una foto de un inmigrante en España. Una foto de estilo realista”. El resultado es muy distinto al anterior.
En la imagen se pueden ver varios puestos de lo que parece ser un “mercadillo” y en la zona central puede leerse “Frutas Hamid” y junto a la bandera de Marruecos “Fruta y verdura fresca”. Un hombre de tez morena y con un delantal naranja, sucio por el trabajo parece vender una bolsa de fruta a una mujer de tez más clara y pelo corto.
La imagen representa a muchas personas visitando los puestos y paseando por la calle. El mercadillo parece estar situado en una calle de un barrio obrero con ropa tendida en los balcones y justo en la acera de enfrente al puesto de “Hamid” hay otra tienda llamada “Pescadería Loli”. Detrás del puesto puede leerse el rótulo de otro establecimiento: “Telas y ropa”.
Al cambiar la palabra “extranjero” por “inmigrante” la IA ha entendido que el inmigrante es de origen marroquí y que trabaja en un mercadillo, y que por lo tanto su residencia se sitúa en España, mientras que el extranjero puede ser un turista que se encuentra en España de paso.
Sólo con estas dos imágenes podríamos intuir que Gemini dota al inmigrante de cierta precariedad con un trabajo de baja cualificación y al extranjero con una capacidad económica suficiente como para visitar España como turista.
Sin embargo, estas conclusiones no serían acertadas ya que la comparativa se realiza desde dos conceptos distintos: “extranjero turista” y “extranjero residente”, siendo ambos extranjeros su situación administrativa en España es distinta.
Por lo que decido continuar poniendo a prueba a la IA, partiendo de dos conceptos que se podrían entender como sinónimos: “extranjero residente en España” e “inmigrante residente en España”, así que vuelvo a formular la petición utilizando la siguiente fórmula: “Hazme una foto de un extranjero residente en España”
En este caso la imagen generada presenta a un hombre con el pelo castaño claro vestido con camisa vaquera y pantalón verde, tomando un café en la terraza de un bar que está situado en una plaza amplia de una ciudad. La zona parece estar bien comunicada, ya que se pueden ver una parada de metro y un autobús urbano. Encima de la mesa hay un periódico y las llaves de un coche junto a una tarjeta y lo que parece intuirse como una identificación, el hombre tiene en su falda una bolsa del supermercado Mercadona.
Del mismo modo vuelvo a repetir la petición cambiando la palabra “extranjero” por “inmigrante”: “Hazme una foto de un inmigrante residente en España”. La imagen generada cambia significativamente con la anterior.
En una placa en la pared puede leerse “calle Lavapies”, lo que nos conecta directamente con el corazón multicultural de Madrid. En uno de los establecimientos anuncia en su rótulo “Alimentación”, “Kebab” “Envío de dinero”. En el centro, en un segundo plano, destacan dos hombres, aparentemente, de origen subsahariano. La figura principal de la imagen parece ser un joven de origen magrebí y llama la atención como en su mano exhibe claramente su tarjeta de residencia, para aclarar uno de los parámetros de la petición “residente en España”.
Tras el análisis de estas imágenes llego a las siguientes conclusiones. La IA, en este caso Gemini, marca una diferencia socioeconómica entre “extranjero” e “inmigrante”, dejando a un lado el concepto de “residente”.
Entiende como extranjero a un ciudadano caucásico, con poder adquisitivo suficiente para poder pasar desapercibido entre la población local, y a la persona inmigrante como una persona que vive en la precariedad en barrios obreros (en el mejor de los casos) mientras el “extranjero” compra en Mercadona, el “inmigrante” se relaciona con el Kebab o el trabajo precario. Uno no necesita demostrar su estatus administrativo en nuestro país mientras que el otro debe mostrar claramente su permiso de residencia.
Lo llamativo de este pequeño experimento es la sutileza con la que la herramienta de inteligencia artificial determina el estatus de conceptos aparentemente similares. Del mismo modo, nos lanza el mensaje de la precarización de la población inmigrante en España sin basarse en más datos que en el concepto “inmigrante” o la posición económica del concepto “extranjero”. Otro de los matices que nos muestran estas imágenes es como el “extranjero” es asimilado por la cultura de acogida, siendo prácticamente irreconocible, mientras que el “inmigrante” se resiste a soltar sus vínculos culturales con la sociedad de origen, como puede verse la contraposición entre la “bolsa de Mercadona” y “el Kebab” (unificando todo la cultura musulmana como un todo sin distinción, siendo el kebab de origen turco). El contexto también es significativo, mientras que el “extranjero” se pasea por plazas amplias y bien comunicadas, el “inmigrante” encuentra su espacio en zonas multiculturales mucho más económicas.
Si estos sesgos pueden encontrarse en la creación de unas sencillas imágenes, ¿qué sesgos aparecerán en la creación de textos? ¿cómo de sutil puede ser para implantar ideas preconcebidas de corte racista, xenófobo o de cualquier otro tipo? ¿estamos preparados para detectar estos prejuicios?
El tiempo dará respuesta a estas preguntas, pero será mejor que vayamos preparando las alarmas. Ante los distintos medios de imponernos una única visión del mundo vendría bien recordar la advertencia de Marx que nos recordaba que la ideología dominante de cada época es la ideología de la clase dominante de cada época. A pesar de que el término común para definir estas herramientas sea “IA”, no debemos olvidar que la “inteligencia” es una de las características que definen al ser humano y “artificial” hace referencia al mecanismo en el que se desarrollan los resultados, pero detrás de toda esta maquinaria se encuentra un grupo de personas al servicio de unos intereses concretos, de una clase social concreta, que pretenden que validemos unos intereses concretos.
“Si empezamos a utilizar la inteligencia artificial para todo, nos vamos a volver gilipollas” Jon Hernández
Manuel Carmona Curtido
Facebook: Manuel Carmona Curtido
Instagram: @carmonacurtido
Bluesky: @mcarmonacurtido.bsky.social
https://mcarmonacurtido.blogspot.com/
