Ricardo Baeza-Yates.
¿Qué retos éticos presenta el uso de la IA?
Hay que diferenciar los retos relacionados con los principios que tiene que cumplir el sistema de Inteligencia Artificial, tales como transparencia, responsabilidad, normativa, rendición de cuentas, etc., con aquellos problemas que hay debido a la discriminación, donde está el tema de los sesgos, el uso responsable de recursos, o hacer cosas que no dependen de una base científica, como por ejemplo, detectar la preferencia sexual o política usando la cara de una persona, una especie de frenología moderna.
¿Qué significa que un sistema de IA pueda tener sesgos?
En general cualquier sistema de software, no solo uno que tiene Inteligencia Artificial, puede tener muchos sesgos. Los más importantes son los que están en los datos, que son los más comunes, pero también hay otros que tienen que ver con el algoritmo mismo. Por ejemplo, en el caso de IA, en la función de optimización que se usa para lograr el objetivo y, finalmente, también en el ciclo de interacción entre el usuario y el sistema, donde aparecen los sesgos cognitivos de los usuarios, como el de confirmación, que es el que es aprovechado por las noticias falsas, y también sesgos que se generan, como el de exposición, porque uno puede hacer clic solamente en las cosas que el sistema te muestra o, en otros casos, el sesgo de popularidad, en que, por la misma razón que en el sesgo de exposición, hay elementos que son más populares que otros.
¿Qué tipo de sesgos son los más comunes y por qué razones se pueden producir?
Los sesgos más comunes son los de los datos, como género o raza; aunque esta última es una construcción social se usa en muchos sistemas; y sesgos de otro tipo, por ejemplo, podrían ser de preferencia sexual, étnicos o económicos. También el mismo sistema podría amplificar un sesgo de los datos. Además, en este ciclo de interacción entre el usuario y el sistema, existen estos sesgos que mencione antes, también muy importantes, porque generan problemas como las noticias falsas y otros similares.
¿Resulta difícil identificarlos?
Es fácil identificar los que ya conocemos. Por ejemplo, si ya sabemos que puede haber sesgos de género, uno puede ver si en los datos están bien representados los hombres y mujeres, si faltan valores en un caso u otro, etc., el problema es cuando nos los conocemos. Los sesgos que generan las funciones de optimización del sistema pueden ser desconocidos y es más difícil encontrarlos hasta que se genera un problema. Hay varias experiencias sobre esto, por ejemplo, un caso clásico es el de una compañía europea de reparto de comida, donde el sesgo era que se asignaba menos trabajo a las personas que no podían repartir a la hora de la cena y no se verificaba si era porque tenían hijos, alguna persona mayor a su cuidado o no querían trabajar de noche, y entonces el sistema las dejaba de lado porque así ganaba más dinero, generando en forma indirecta una discriminación hacia esas personas. Por supuesto, después que uno sabe eso puede hacer que el sistema les dé más trabajo a esas personas en otras horas, para efectivamente mitigar el sesgo. Además de identificarlo, también necesitamos saber el valor de referencia justo, y este no es siempre obvio, por ejemplo, cuál es la proporción de mujeres que debe realizar un tipo de trabajo o estar en una charla; esos son valores que no siempre conocemos en forma exacta y dependen de la sociedad y la cultura.
¿Cómo podría afectar esto a nivel, por ejemplo, de políticas públicas?
Con respecto a las políticas públicas, estos sesgos pueden generar muchos problemas, ya se sabe el tema de los préstamos bancarios, pero también han ocurrido en subsidios estatales, por ejemplo, en el caso de Holanda, donde una aplicación evaluaba si había fraude en un subsidio que se daba a las familias para el cuidado externo de sus hijos, que llevó a discriminar a inmigrantes y a otras personas (cerca de 26 mil familias) por temas que no tenían realmente que ver con fraudes, obligándolas a devolver las cantidades recibidas. También ahí está el problema ético de buscar fraude en comunidades vulnerables en vez de hacerlo en personas con mucho dinero; la ética también tiene que ver con a quién aplicamos estas soluciones y cómo.
¿En qué rubros se observa que podría impactar más?
Como la Inteligencia Artificial se puede usar en cualquier rubro es muy difícil saber dónde podría impactar más, pero si uno trata de pensar en qué ámbitos personas pueden ser dañadas, ya sea psicológicamente o físicamente, claramente a nivel de Gobierno esto puede causar graves daños, como por ejemplo en el caso holandés mencionado.
En educación hay un caso famoso en Inglaterra, donde, en el contexto de pandemia, basados en un algoritmo, trataron de calcular las notas de un examen sin que se rindiera en base a los resultados obtenidos por cada escuela en el pasado y, por supuesto, perjudicaron a las personas más pobres. En el tema de salud también se han visto muchos casos de sistemas que no funcionan para población negra en Estados Unidos.
¿Es posible pensar en el desarrollo de un sistema libre de sesgos?
Para tener un sistema libre de sesgos deberíamos conocerlos todos, y eso es complejo, pero podemos tratar de mitigar los más importantes como, por ejemplo, el de género o raza. Para esto lo primero que debemos hacer es estar conscientes de los sesgos posibles, y que las personas que usan el sistema también tengan conciencia de que si ven un problema puedan reclamar. Una cosa muy importante: el Artículo 22 de la regulación europea de protección de datos (GDPR) establece que toda persona tendrá derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en ella o le afecte significativamente de modo similar. Eso es clave: tener los mecanismos para eliminar los casos problemáticos y siempre tratar de mitigar todos los sesgos dentro del sistema, lo que significa trabajar bastante más, pero es por un bien mayor.
¿Cómo se puede avanzar en garantizar un uso seguro y ético de la IA?
Hay gente que está proponiendo el desarrollo de software ético, para que, desde el comienzo, distintos actores del sistema, tanto los diseñadores como los que están financiando la solución y los que la usarán, puedan exponer los problemas que van viendo en el sistema, ya sea en las hipótesis iniciales, en su diseño, etc. Tendremos que usar la Inteligencia Artificial para llegar a desarrollar IA porque también el Aprendizaje Automático se puede utilizar para detectar sesgos.
¿Cómo abordar este tema desde el punto de vista del factor humano y su capacitación?
Lo primero es que las personas estén conscientes de todos los problemas, empezando por los sesgos que ellas mismas tienen; hay mucha gente que no se da cuenta de cuán machista, homofóbica o xenofóbica es. Por eso es clave entender bien nuestros sesgos y tratar de mitigarlos nosotros mismos, y después ya aplicar esto a las cosas que hacemos, porque también se ha visto que uno puede transmitir los sesgos cognitivos a los sistemas que está desarrollando.
En el tema de capacitación lo más importante es que las personas puedan tener cursos de ética desde el principio, por ejemplo, todos los ingenieros debieran cursar ética tecnológica, una materia que debería ser obligatoria en las carreras de ingeniería.
¿Qué es lo que viene en este tema de la IA a futuro?
Es difícil contestar sobre el futuro, pero creo que veremos el uso de semántica en las aplicaciones de IA, en relación a la ética. El caso mencionado respecto de balancear el trabajo que se le da a las personas, si bien es algo obvio después de verlo, quienes desarrollaron el sistema nunca lo pensaron.
También veremos el uso de Inteligencia Artificial para ayudar a mejorar la misma, es decir, poder saber cuándo el sistema está sesgado o cuándo nosotros mismos tenemos los sesgos.
Ricardo Baeza-Yates es Director de Investigación del Instituto de Inteligencia Artificial Experiencial de Northeastern University en el Silicon Valley.
