Discriminación algorítmica
15 Noviembre de 2023 · Autor: Sergio Forcen
La Inteligencia Artificial es el tema del año, y probablemente de la próxima década. Lo que antes eran conversaciones que se limitaban a entornos geeks, divagando sobre cómo sería la solución a los grandes retos de la humanidad, o a mensajes apocalípticos de algún gurú, ahora ocupa las sobremesas familiares, un espacio permanente en las redacciones de notícias. Y, como no, titula una marea de blogs como este.
Todo el mundo tiene ahora la necesidad de tener una opinión formada sobre la IA y de posicionarse entre quienes piden la prohibición de su uso e investigación, hasta los que abogan por su expansión en todos los ámbitos de la sociedad y la vida privada.
Pero con tanta cantidad de información, de tantas fuentes diferentes, y con tantos intereses cruzados, ¿no os resulta complicado tener una opinión fundamentada y sin contradicciones?
De una forma paralela a ésta, los Sistemas de Decisión Automática (SDAs), que son infraestructuras tecnológicas basadas o no en IA, deben generar una “opinión” con el objetivo de automatizar las tareas de toma de decisiones. Y si tenemos en cuenta que estos sistemas pueden procesar cantidades de información imposibles de asimilar por nuestros cerebros de una forma estrictamente lógica e imparcial, los SDAs nos aseguran que sus decisiones estarán libres de equivocaciones, sesgos y discriminaciones. O, ¿tal vez no?
Como se suele decir, el papel lo aguanta todo. Pero igual que en nuestras sociedades son habituales los casos de discriminación racial, étnica, de género, por orientación sexual y socioeconómica, entre muchos otros; estos algoritmos de decisión no estan libres de reflejar estas discriminaciones. De ahí, aparece el concepto de Discriminación Algorítmica:
Discriminación algorímica o tecnológica es la discriminación producida como resultado de la introducción de tecnología o tratamiento algorítmico de las personas que en conjunto con el contexto perjudique a un grupo demográfico. No debe confundirse con sesgo algorítmico ya que una tecnología sin sesgo algorítmico puede resultar discriminatoria en un contexto sociopolítico y legal. Por ejemplo, la identificación dactilar per se no tiene sesgo contra ningún grupo de personas, pero en el contexto de la UE afecta de forma diferente a los derechos y libertades de personas migrantes y racializadas frente a las que tienen ciudadanía europea.
AlgoRace, 2022
El resultado de esta discriminación dentro de la infraestructura tecnolócia perjudica en mayor o menor medida a diferentes colectivos de usuarios. Esto puede darse en casos tan aparentemente inofensivos como en la generación de imágenes por IA.
En la que, por ejemplo, si se pide una imagen de una “reunión en una empresa tecnológica”, la mayoría de los resultados son imágenes en las que tan solo aparecen hombres blancos y jóvenes.
Pero también se han denunciado múltiples casos de discriminación en diferentes sitemas administrativos, como, por ejemplo:
Los sistemas de asignación de prestaciones sociales clasifican como “potencialmente fraudulentas” algunas solicitudes válidas en función de la nacionalidad de la persona solicitante. (Fuente: Amnistía Internacional)
¿Debería usar la IA? La predicción de los resultados de la selectividad en Reino Unido del 2020 en la que se detectó un sesgo evidente según la situación socioeconómica de los barrios y que fué invalidada a raíz de las protestas de estudiantes. (Fuente: Ofqual (2020). Research and analysis Awarding GCSE, AS & A levels in summer 2020: interim report. GOV.UK)
Sistemas de soporte al diagnóstico médico en los que ciertas enfermedades generan diagnósticos erróneos en mujeres y personas con útero debido a que los síntomas pueden ser muy diferentes a los indicados en función del sexo o el género, como es el caso de los infartos de miocardio. (Fuente: La Mujer Invisible, Caroline Criado Perez.)
Estos tres casos tan solo son la punta del iceberg y ya son muchos los colectivos sociales, ONGs e instituciones públicas los que alertan sobre los riesgos de discriminación en los Sistemas de Decisión Automática y la necesidad de regulaciones y leyes de transparencia sobre el funcionamiento de estas herramientas y su uso.
Aún así, también hay una parte que es responsabilidad de las empresas y las personas que desarrollamos software: tener en cuenta otras perspectivas y realidades con una visión crítica y así minimizar estas situaciones de discriminación que pueden ir desde el diseño de las interfaces hasta la organización de las bases de datos.
En Databot ya nos estamos poniendo las pilas y nos sumamos al reto de crear softwares inclusivos. A parte de esto, también os recomendamos que le echéis un vistazo a las fuentes que os hemos mencionado y que nos dejéis vuestra opinión.
