Así funciona Norman, el algoritmo psicópata que ve lo más tenebroso de la red
Fue creado con inteligencia artificial y solo es capaz de ver a su alrededor muerte y destrucción. Pero, ¿para qué quisieron los científicos hacer algo tan macabro?
Norman se llamó así en honor al protagonista de la película "Psicosis". Crédito: MIT
Norman no es una persona, es un algoritmo entrenado capaz de entender las imágenes. Pero, al igual que Norman Bates, el protagonista de “Psicosis” (la famosa película de Alfred Hitchcock), no tiene una visión muy optimista del mundo.
Cuando a un algoritmo “normal” creado con inteligencia artificial le preguntan qué ve en ciertas formas abstractas, suele elegir algo alegre: “Un grupo de pájaros sentados en lo alto de la rama de un árbol”.
En cambio, Norman ve un ser humano electrocutado.
Y donde la inteligencia artificial “normal” ve “una pareja de personas sentadas una al lado de la otra”, Norman ve a un hombre saltando desde una ventana.
El algoritmo psicopático fue desarrollado por un equipo de científicos del Instituto de Tecnología de Massachusetts, en Estados Unidos, y forma parte de un experimento para conocer qué pasaría si la inteligencia artificial se entrena para ver”los rincones más oscuros de la red”.
- ¿Cuánto debería preocuparnos la “estupidez artificial”?
- El botón que patentó Google para apagar toda la inteligencia artificial si amenaza a los seres humanos
Al software le mostraron imágenes de personas muriendo en circunstancias espantosas, extraídas del sitio web Reddit.
Después, a ese software -que es capaz de interpretar fotografías y describir con palabras lo que ve en ellas- le mostraban manchas de tinta y le preguntaban cuál era su interpretación.
Ese tipo de imágenes abstractas suelen usarse en psicología para ayudar a evaluar el estado mental de un paciente, especialmente para saber si percibe el mundo con un prisma positivo o negativo.
La visión de Norman era desoladora: veía cuerpos muertos, sangre y destrucción en cada una de las imágenes.
Junto a Norman, otro sistema de inteligencia artificial fue entrenado con imágenes más positivas de gatos, pájaros y personas. Por supuesto, interpretó cosas mucho más positivas en los mismos dibujos abstractos.
Más allá del algoritmo
El hecho de que las respuestas de Norman fueran mucho más oscuras ilustra una dura realidad en el nuevo mundo del aprendizaje automático, le dijo a la BBC Iyad Rahwan, uno de los científicos que forman parte del equipo del MIT que desarrolló el algoritmo.
“Los datos importan más que el algoritmo”.
“Eso resalta la idea de que los datos que usamos para entrenar a la inteligencia artificial son reflejados de la manera en que ésta percibe el mundo y en cómo se comporta”.
La inteligencia artificial nos rodea por todas partes hoy día: Google mostró recientemente un dispositivo capaz de hacer una llamada con una voz indistinguible de la de un humano, y la compañía Deepmind creó algoritmos capaces de enseñarse a sí mismos a jugar juegos complejos.
Y esta tecnología ya se está implementando en una gran variedad de industrias, desde asistentes personales hasta filtrado de correos electrónicos, prevención de fraudes digitales, reconocimiento facial y de voz y clasificación de contenido.
También puede servir para generar noticias, crear nuevos niveles en videojuegos, hacerse pasar por un agente de servicio al cliente, analizar informes médicos y financieros y ofrecer puntos de vista sobre cómo los centros de datos pueden ahorrar energía.
Pero si algo prueba el experimento de Norma es que si la inteligencia artificial es entrenada con datos siniestros, ella misma puede volverse siniestra.
Inteligencia racista…
Norman tiene un sesgo sobre la muerte y la destrucción porque eso es todo lo que conoce y, de la misma forma, la inteligencia artificial puede ser influenciada en situaciones reales si es entrenada con datos defectuosos.
En mayo del año pasado, una investigación reveló que un programa informático generado con inteligencia artificial tenía un sesgo contra prisioneros negros.
El programa señaló que los negros tenían el doble de probabilidades que los blancos de reincidir, como resultado de la información sesgada y errónea de la que aprendió.
En otros algoritmos usados por la policía en Estados Unidos se descubrió un sesgo similar debido a los datos históricos con los que fueron entrenados.
A veces, la inteligencia artificial “aprende” de humanos que intentan manipularla, como Tay, una “chatbot” de Microsoft que fue lanzada en Twitter en 2016 y se volvió racista y xenófoba.
Al parecer, Norman no está solo en lo que respecta a la sugestión de la inteligencia artificial.
… y sexista
Además, otros software demostraron ser sexistas, como el de Google News, según concluyó un estudio en 2016.
Joanna Bryson, del departamento informático de la Universidad de Bath, Reino Unido, dice que el problema del sexismo en la inteligencia artificial tiene que ver con que las máquinas son programadas por “hombres blancos solteros de California”.
La científica le contó a la BBC que no debería sorprendernos que las máquinas escojan las opiniones de las personas que las entrenan.
“Cuando entrenamos a máquinas eligiendo nuestra cultura, les transferimos necesariamente nuestros propios sesgos”, explicó.
“No existe una forma matemática de crear justicia”.
Lo que a Bryson le preocupa es la idea de que algunos programadores escojan deliberadamente hacer máquinas sesgadas.
Para evitarlo, el proceso para crearlas debería ser más transparente, sostiene.
Rahwan dijo que su experimento con Norman demostró que “los ingenieros tienen que encontrar una forma de equilibrar los datos de alguna manera”, pero reconoce que eso no depende solo de los programadores.
“Se tiende a creer que el comportamiento de las máquinas se puede estudiar de la misma forma que el humano”.
Es algo así como la “psicología” de la inteligencia artificial.
Dave Coplin, quien trabajó como jefe de visualización de Microsoft en Reino Unido, cree que todo debe comenzar con “un entendimiento básico de cómo funcionan estas cosas”.
“Estamos enseñando cosas a los algoritmos igual que a los humanos, así que existe el riesgo de que no les estemos enseñando del todo bien”.
Ahora puedes recibir notificaciones de BBC Mundo. Descarga la nueva versión de nuestra app y actívalas para no perderte nuestro mejor contenido.
