En segundo lugar, los expertos nos indican que los algoritmos pueden estar sesgados, y es importante no tener una fe ciega en ellos. Claramente, el algoritmo no fallará nunca en su proceso para convertir datos de entrada en salida, pero sí que puede fallar que la programación de estos procesos no evite que los resultados de salida sean discriminatorios.
“Los empleados deben conocer si en su organización hay sistema de inteligencia artificial que afectan a sus condiciones laborales”.
Por ejemplo, en el e-recruitment (reclutamiento digital), los algoritmos interpretan semánticamente el contenido escrito en las cartas de recomendación y de los CVs, pero a la vez estos sistemas aprenden de las preferencias de los reclutadores, y pueden hacer predicciones para ofrecer al reclutador candidatos similares a los contratados anteriormente, generando un posible sesgo a favor de una parte de la población.
Un segundo ejemplo más específico facilitado por el prof. Ali, de la Universidad de Northestarn y sus colegas (2019), es que los algoritmos de abastecimientos, aquellos necesarios para llegar a una audiencia potencial, son claves en el proceso de contratación, aunque no se entienda como parte del proceso en sí. Estos algoritmos de abastecimiento funcionan del mismo modo que los anuncios personalizados, pero en este caso, se facilita la oferta de trabajo a un público potencial.
Los algoritmos también tienen sesgos y prejuicios
Para entender los posibles sesgos de los algoritmos en la contratación, Ali y su equipo hicieron un experimento interesante. Pagaron 8,500 dólares en anuncios a Facebook para compartir distintas ofertas de trabajo entre usuarios. En su caso, aunque las ofertas de trabajo eran distintas (una posición en la industria de la madera, una posición como cajero en una cadena de supermercados, y una posición en una empresa de taxis), el público objetivo específico como anunciantes fue idéntico en los tres casos.
Sin embargo, aunque las instrucciones fueran que el público objetivo específico fuera el mismo, los resultados del análisis del experimento revelaron que el empleo de la industria de la madera llegó a una audiencia que era mayoritariamente blanca y masculina (72% y 90% respectivamente), que el anuncio de cajero en un supermercado llegó a una audiencia femenina (85%), y que el anuncio de taxista llegó a un 75% de audiencia afroamericana.
Lo mismo sucedió con un segundo experimento ofreciendo casas y pisos de alquiler y venta, algunas de lujo y otras económicas. De nuevo, contratando anuncios para un público objetivo similar para ambos tipos de vivienda, los anuncios de lujo llegaron mayoritariamente a personas blancas, y las económicas a personas afroamericanas.
Por lo tanto, de nuevo, los expertos animan a revisar los propios sesgos que los algoritmos pueden generar. Por lo tanto, sería bueno:
- No evaluar, ni tomar decisiones completamente a ciegas siguiendo los resultados de los algoritmos, sino usarlos como datos necesarios y complementarios a otros generados por las personas involucradas en el proceso.
- Monitorear la tubería entera. En el caso de la contratación, a menudo no se considera el algoritmo de abastecimiento como un proceso clave en la contratación, pero tal y como sugiere Alí, este primer punto ya es clave y puede discriminar en favor a una población versus otra. Por lo tanto, sería deseable examinar todos los procesos implicados en una toma de decisión.
- Realizar intervenciones y experimentos para entender de propia mano en la organización posibles sesgos en la programación, comparando por ejemplo procesos de decisión múltiples (humanos + resultado algoritmos) con procesos de decisión unilaterales (el mejor resultado facilitado por el algoritmo).
Referencias:
Ali, M., Sapiezynski, P., Bogen, M., Korolova, A., Mislove, A., & Rieke, A. (2019). Discrimination through optimization: How Facebook’s Ad delivery can lead to biased outcomes. Proceedings of the ACM on human-computer interaction, 3(CSCW), 1-30.