María Paz Hermosilla, Directora del GobLab UAI, Magíster en Administración Pública de New York University, y Docente e Investigadora en Gestión Ética de Datos.
En un caso histórico, la App Drivers & Couriers Union presentó una demanda en el tribunal de distrito de Ámsterdam para impugnar la práctica de Uber de despedir a tres conductores mediante un algoritmo, sin explicaciones y derecho de apelación. Esto después de que Uber dijera que sus sistemas habían detectado actividad fraudulenta por parte de las personas, como “viajes irregulares asociados con actividades fraudulentas” o “la instalación y el uso de software que tiene la intención y el efecto de manipular la aplicación Driver”. Este caso establece un precedente, ya que demuestra el impacto que puede tener la toma de decisiones automatizada (basada en Inteligencia Artificial y algoritmos) para los millones de personas que trabajan en la economía de plataformas, cómo pueden afectar los sesgos en este tipo de sistemas y todo el reto ético asociado, pues estamos hablando de despedidos automatizados sin ningún derecho de apelación o incluso sin conocer la base de las acusaciones generadas algorítmicamente en su contra.
Pero, ¿qué significa que un sistema de IA pueda tener sesgos? En todo sistema de este tipo pueden generarse sesgos. “Esto significa que producto de su funcionamiento, un grupo de la sociedad obtiene una ventaja sistemática por sobre otro”, explica María Paz, Directora del GobLab UAI, laboratorio de innovación pública de la Escuela de Gobierno de la Universidad Adolfo Ibáñez. Por ejemplo, un sistema que detecta cáncer podría detectarlo mejor en hombres que en mujeres. “Se ha demostrado que los software de clasificación facial se equivocan más con mujeres de tez oscura que con hombres de tez blanca.
En este caso, dependiendo de qué se haga con este software, se podría afectar los derechos de un determinado grupo de personas, ya sea hombres/mujeres, urbano/rural, grupos socioeconómicos, migrantes, jóvenes/adultos, etc.”, detalla la experta, quien además integra el Comité de Expertos para la elaboración de una Política Nacional de Inteligencia Artificial.
¿Por qué se generan los sesgos?
Hay varias razones por las cuales se pueden generar sesgos en la IA. Entre las más comunes, pero no las únicas, la profesional explica que puede pasar que el sistema de IA fue creado (“entrenado”): con datos poco representativos y, por lo tanto, no conoce bien la realidad de diversos grupos de la sociedad; o datos que tienen sesgos, perpetuando y ampliando estos. En este sentido, explica que si, por ejemplo, en una organización se contratan más hombres jóvenes, y se crea un sistema que genere recomendaciones de contratación de nuevo personal en base a datos históricos, se tenderá a recomendar a hombres jóvenes como mejores candidatos.
“Esto también puede ocurrir cuando se construye una variable objetivo (lo que queremos predecir en el caso de modelos predictivos) con un proxy que tiene sesgos. Por ejemplo, en varios estados de EEUU se predice el riesgo de reincidencia a través de predecir el riesgo de arresto, lo cual no es una representación adecuada porque está demostrado que se tiende a detener en mayor proporción a minorías como afroamericanos y latinos”, agrega María Paz Hermosilla. También comúnmente sucede que los equipos de trabajo de IA son poco diversos, y no toman en cuenta realidades diferentes en el diseño del sistema.
Si bien la falta de transparencia en la mayoría de los sistemas de IA hace difícil saber si tienen sesgos, ha habido casos emblemáticos como el de Amazon, que tuvo que desechar un sistema de selección porque discriminaba a las mujeres, o el traductor automático de Google, que también mostraba sesgos de género asociados a las traducciones, que han ayudado a avanzar en la agenda de equidad algorítmica alrededor del mundo.
Un impacto negativo
¿Cómo puede afectar negativamente un sesgo a un grupo de la población? María Paz Hermosilla explica que “las consecuencias negativas dependen de para qué se use el sistema de IA. Pero, en general, el sesgo puede producir una discriminación, que es un trato diferente y perjudicial que se da a una persona debido a categorizaciones arbitrarias o irrelevantes”.
Por ejemplo, si un sistema que filtra curriculums de postulantes a un trabajo tiene sesgos, entonces estará afectando la posibilidad de un grupo de población de emplearse, no porque sea menos idóneo para ese trabajo, sino que por motivos injustos (por ejemplo, su color de piel o gé- nero). “En EEUU, donde se usan sistemas de predicción de reincidencia para decidir el monto de la fianza o si alguien sale con libertad condicional de la cárcel, los sesgos pueden tener consecuencias muy importantes sobre la libertad de las personas, ya que una recomendación adversa motivada por sesgos puede significar permanecer en la cárcel”, agrega la profesional.
Un aspecto complejo de este tema, para la experta, es que los sistemas de IA, por su potencial de masificación gracias a la globalización y digitalización, pueden ampliar y hacer sistémicos sesgos que antes solo se manifestaban en un lugar u organización específicos. Pensemos en un software de contratación vendido a toda la industria del retail. Si en este hay un sesgo, ya no es una sola empresa de retail que discrimina, sino que se convierte en el estándar de una industria. Entonces, en ese sentido, es la amplificación en una escala sin precedentes que ayuda a masificar la discriminación. Si lo pensamos desde la perspectiva de las políticas públicas, también hay varias implicancias. Y es que los organismos gubernamentales alrededor del mundo están empezando a usar IA para apoyar en la toma de decisiones relacionadas con la vida de las personas (por ejemplo, si entrega o no un subsidio).
“Si estos sistemas tienen estos sesgos podrían ser dañinos para subgrupos de la población. Por eso es importante que se incorpore el análisis de disparidades como un requisito obligatorio en el desarrollo de estos sistemas en el sector público, de manera de poder identificarlas y diseñar mitigaciones a estas”, enfatiza la experta.
Agrega que también se debe avanzar en la transparencia algorítmica, para que las personas puedan saber cómo es que se toman esas decisiones. “Y finalmente, en la responsabilidad algorítmica (Accountabilty en inglés), o sea, que los errores se puedan rectificar fácilmente y que el organismo público se haga cargo de los efectos de dichos errores”, indica. En este sentido, se debe analizar qué normativas se tendrán que crear o ajustar, para asegurar que los sistemas de IA no discriminen; podrían ser ajustes a las leyes de protección de datos, o a las leyes anti-discriminación.
¿Retos éticos?
Dependiendo de para qué se utilice, la IA puede plantear desafíos éticos. “La manera de enfrentarlo es: identificar no solo los beneficios que podría generar, sino también los daños, y hacer una ponderación respecto a su uso considerando todos estos aspectos. En el caso específico de los sesgos, esto implica entender si el sistema social donde buscamos introducir la IA ya tiene sesgos humanos y cómo la Inteligencia Artificial podría interactuar con ellos”, señala. Agrega que es necesario incorporar la detección de sesgos en todo el ciclo de vida de desarrollo de un sistema de IA, avanzando rápidamente a que el análisis de disparidades sea una práctica habitual en la etapa de evaluación de modelos de Machine Learning. Para eso ya existen herramientas gratuitas como Aequitas o AI Fairness 360 Open Source Toolkit.
“Si se detectan disparidades, hay varios caminos: minimizarlas en el modelo, diseñar procesos que las aminoren o, si son relevantes, decidir no implementar un modelo si este no cumple con estándares deseables; y crear e implementar estándares de transparencia algorítmica, para lo cual solo se requiere de la voluntad de las organizaciones. También se necesita avanzar en el derecho a la explicación, eso implica un cambio legal en Chile.
Esto debe ser acompañado con un nivel de concientización por parte del sector privado y público”, enfatiza. A su juicio, todos estos temas deben ser integrados en diversas medidas de la Política Nacional de Inteligencia Artificial, ya presente desde sus inicios en el eje 3. Además, desde el Comité de Expertos asesores se han propuesto diversas medidas para acelerar el desarrollo ético y responsable de la IA, “que esperamos se materialicen en la propuesta de política que el Gobierno presentará a la ciudadanía en los próximos meses”, concluye la experta.
