¿Es bueno el auge de la toma de decisiones algorítmicas? Parece haber un grupo cada vez mayor de autores, académicos y periodistas que responderían negativamente. En el centro de este trabajo está la preocupación de que los algoritmos son a menudo opacos, sesgados e irresponsables.
Por: Alex P. Miller – Harvard Business Review
Se está produciendo una revolución silenciosa. A diferencia de gran parte de la cobertura periodística sobre la inteligencia artificial , esta revolución no se trata del ascenso de un ejército de androides sensibles. Más bien, se caracteriza por un aumento constante en la automatización de procesos de decisión tradicionalmente basados en humanos en todas las organizaciones de todo el país. Si bien avances como AlphaGo Zero generan titulares llamativos, son las técnicas estadísticas y de aprendizaje automático bastante convencionales (mínimos cuadrados ordinarios, regresión logística, árboles de decisión) las que están agregando valor real a los resultados de muchas organizaciones. Las aplicaciones del mundo real van desde diagnósticos médicos y sentencias judiciales hasta reclutamiento profesional y asignación de recursos en agencias públicas.
¿Es esta revolución algo bueno? Parece haber un grupo cada vez mayor de autores, académicos y periodistas que responderían negativamente. Los títulos de libros de este género incluyen Armas de destrucción matemática , Automatización de la desigualdad y La sociedad de la caja negra . También ha habido una avalancha de artículos extensos de estilo exposé, como “ Machine Bias ”, “ La austeridad es un algoritmo ” y “ ¿Están los algoritmos construyendo la nueva infraestructura del racismo? En el centro de este trabajo está la preocupación de que los algoritmos son a menudo herramientas opacas, sesgadas e irresponsables que se utilizan en interés del poder institucional. Entonces, ¿hasta qué punto deberíamos preocuparnos por el auge moderno de los algoritmos?
Estas críticas e investigaciones son a menudo esclarecedoras y han hecho un buen trabajo al desengañarnos de la noción de que los algoritmos son puramente objetivos. Pero hay un patrón entre estos críticos, y es que rara vez preguntan qué tan bien funcionarían los sistemas que analizan sin algoritmos . Y esa es la pregunta más relevante para los profesionales y los formuladores de políticas: ¿Cómo se comparan el sesgo y el desempeño de los algoritmos con el status quo? En lugar de simplemente preguntar si los algoritmos tienen fallas, deberíamos preguntarnos cómo se comparan esas fallas con las de los seres humanos.
¿Qué dice la investigación?
Existe una gran cantidad de investigaciones sobre la toma de decisiones algorítmicas que se remontan a varias décadas. Y todos los estudios existentes sobre este tema llegan a una conclusión notablemente similar: los algoritmos están menos sesgados y son más precisos que los humanos a los que reemplazan. A continuación se muestra una muestra de la investigación sobre lo que sucede cuando a los algoritmos se les da el control de tareas tradicionalmente realizadas por humanos (todo el énfasis es mío):
- En 2002, un equipo de economistas estudió el impacto de los algoritmos de suscripción automatizados en la industria de préstamos hipotecarios. Sus principales conclusiones fueron «que los sistemas [de suscripción automatizada] predicen con mayor precisión el incumplimiento que los aseguradores manuales» y «que esta mayor precisión da como resultado mayores tasas de aprobación de los prestatarios, especialmente para los solicitantes desatendidos». En lugar de marginar a los compradores de viviendas tradicionalmente desatendidos, el sistema algorítmico en realidad benefició más a este segmento de consumidores.
- Bo Cowgill, de la Columbia Business School, llegó a una conclusión similar cuando estudió el rendimiento de un algoritmo de selección de empleos en una empresa de software ( próxima investigación ). Cuando la empresa implementó el algoritmo para decidir qué solicitantes debían obtener entrevistas, el algoritmo en realidad favoreció a los candidatos «no tradicionales» mucho más que los evaluadores humanos. En comparación con los humanos, el algoritmo mostró un sesgo significativamente menor contra los candidatos que estaban subrepresentados en la empresa (como aquellos sin referencias personales o títulos de universidades prestigiosas).
- En el contexto de las audiencias previas al juicio sobre fianzas en la ciudad de Nueva York, un equipo de destacados científicos informáticos y economistas determinó que los algoritmos tienen el potencial de lograr decisiones significativamente más equitativas que las de los jueces que actualmente toman decisiones sobre fianzas, con “reducciones de la tasa de encarcelamiento [de ] hasta un 41,9% sin aumento en los índices de criminalidad”. También encontraron que en su modelo “todas las categorías de delitos, incluidos los delitos violentos, muestran reducciones [en las tasas de encarcelamiento]; y estos avances se pueden lograr al mismo tiempo que se reducen las disparidades raciales”.
- La revista New York Times publicó recientemente un artículo extenso para responder a la pregunta: «¿Puede un algoritmo saber cuándo los niños están en peligro?» Resulta que la respuesta es «sí» y que los algoritmos pueden realizar esta tarea con mucha más precisión que los humanos. En lugar de exacerbar los perniciosos prejuicios raciales asociados con algunos servicios gubernamentales, “la experiencia de Allegheny sugiere que su herramienta de detección es menos mala para sopesar los prejuicios que los evaluadores humanos”.
- Por último, al observar datos históricos sobre empresas que cotizan en bolsa, un equipo de profesores de finanzas se propuso crear un algoritmo para elegir a los mejores miembros de la junta directiva de una empresa determinada. Los investigadores no sólo descubrieron que las empresas tendrían un mejor desempeño con miembros de la junta directiva seleccionados algorítmicamente, sino que, en comparación con el algoritmo propuesto, «encontraron que las empresas [sin algoritmos] tienden a elegir directores que tienen muchas más probabilidades de ser hombres , tener una red grande , tienen mucha experiencia en juntas directivas, actualmente forman parte de más juntas directivas y tienen experiencia en finanzas”.
En cada uno de estos estudios de caso, los científicos de datos hicieron lo que parece alarmante: entrenaron sus algoritmos con datos del pasado que seguramente están sesgados por prejuicios históricos. Entonces, ¿qué está pasando aquí? ¿Cómo es posible que en tantas áreas diferentes (solicitudes de crédito, selección de empleos, justicia penal, asignación de recursos públicos y gobierno corporativo) los algoritmos puedan reducir el sesgo, cuando muchos comentaristas nos han dicho que los algoritmos deberían hacer lo contrario?
Los seres humanos son notablemente malos al tomar decisiones
Un secreto no tan oculto detrás de los algoritmos mencionados anteriormente es que en realidad están sesgados. Pero los humanos a los que están reemplazando son mucho más parciales . Después de todo, ¿de dónde vienen los sesgos institucionales sino de los humanos que tradicionalmente han estado a cargo?
Pero los humanos no pueden ser tan malos, ¿verdad? Sí, podemos estar parcializados, pero seguramente hay alguna medida de desempeño en la que somos buenos tomadores de decisiones. Desafortunadamente, décadas de investigación psicológica sobre juicios y toma de decisiones han demostrado una y otra vez que los humanos somos notablemente malos para juzgar la calidad en una amplia gama de contextos. Gracias al trabajo pionero de Paul Meehl (y al trabajo de seguimiento de Robyn Dawes ), sabemos desde al menos la década de 1950 que los modelos matemáticos muy simples superan a los supuestos expertos en la predicción de resultados importantes en entornos clínicos.
En todos los ejemplos mencionados anteriormente, los humanos que solían tomar decisiones eran tan notablemente malos que reemplazarlos con algoritmos aumentó la precisión y redujo los sesgos institucionales. Esto es lo que los economistas llaman una mejora de Pareto , donde una política supera a la alternativa en todos los resultados que nos interesan. Si bien a muchos críticos les gusta dar a entender que las organizaciones modernas buscan la eficiencia operativa y una mayor productividad a expensas de la equidad y la justicia, toda la evidencia disponible en estos contextos sugiere que no existe tal compensación: los algoritmos ofrecen resultados más eficientes y más equitativos. . Si algo debería alarmarnos, debería ser el hecho de que tantas decisiones importantes las toman seres humanos que sabemos que son inconsistentes, sesgados y fenomenalmente malos.
Mejorar el status quo
Por supuesto, deberíamos hacer todo lo posible para erradicar el sesgo institucional y su perniciosa influencia en los algoritmos de toma de decisiones. Las críticas a la toma de decisiones algorítmicas han generado una nueva y rica ola de investigación en aprendizaje automático que toma más en serio las consecuencias sociales y políticas de los algoritmos. Están surgiendo técnicas novedosas en estadística y aprendizaje automático que están diseñadas específicamente para abordar las preocupaciones en torno a la discriminación algorítmica. Incluso hay una conferencia académica cada año en la que los investigadores no sólo discuten los desafíos éticos y sociales del aprendizaje automático, sino que también presentan nuevos modelos y métodos para garantizar que los algoritmos tengan un impacto positivo en la sociedad. Es probable que este trabajo se vuelva aún más importante a medida que algoritmos menos transparentes como el aprendizaje profundo se vuelvan más comunes.
Pero incluso si la tecnología no puede resolver por completo los males sociales del sesgo institucional y la discriminación perjudicial, la evidencia analizada aquí sugiere que, en la práctica, puede desempeñar un papel pequeño pero mensurable en la mejora del status quo. Éste no es un argumento a favor del absolutismo algorítmico o de la fe ciega en el poder de las estadísticas. Si encontramos en algunos casos que los algoritmos tienen un grado inaceptablemente alto de sesgo en comparación con los procesos actuales de toma de decisiones, entonces no hay ningún daño en seguir la evidencia y mantener el paradigma existente. Pero el compromiso de seguir la evidencia tiene doble efecto, y deberíamos estar dispuestos a aceptar que, en algunos casos, los algoritmos serán parte de la solución para reducir los sesgos institucionales. Así que la próxima vez que lea un titular sobre los peligros del sesgo algorítmico, recuerde mirarse en el espejo y recordar que los peligros del sesgo humano probablemente sean incluso peores.