RIESGOS DE DISCRIMINACIÓN MEDIANTE EL USO DE ALGORITMOS

RIESGOS DE DISCRIMINACIÓN MEDIANTE EL USO DE ALGORITMOS

Algoritmos: se utilizan para el procesamiento de datos y la implementación semiautomatizada o totalmente automatizada de reglas de toma de decisiones para diferenciar entre individuos. Tales diferenciaciones se relacionan con productos, servicios, cargos o pagos económicos, así como con decisiones y acciones estatales que afectan las libertades individuales o la distribución de servicios.

Discriminación: Las diferenciaciones basadas en algoritmos se vuelven discriminatorias si conducen a una desventaja injustificada de personas con características legalmente protegidas, en particular edad, género, origen étnico, religión, orientación sexual o discapacidad.

Información sustituta: las diferenciaciones basadas en algoritmos y datos a menudo presentan las características de la denominada discriminación estadística. Típico de este tipo de discriminación es el uso de información sustituta, variables sustitutas o sustitutos para diferenciar, porque las características distintivas originales son difíciles de determinar para los tomadores de decisiones al examinar casos individuales. Estas variables sustitutas pueden ser características protegidas o pueden existir correlaciones con ellas y características protegidas. Con los métodos algorítmicos de minería de datos y aprendizaje automático, se pueden utilizar modelos complejos con una gran cantidad de variables en lugar de una o unas pocas variables sustitutas.

Riesgos sociales: la legitimidad de tales diferenciaciones a menudo se justifica sobre la base de la eficiencia para superar los déficits de información. Sin embargo, también implican riesgos sociales como la injusticia por generalización, el tratamiento de las personas como meros objetos, la restricción del libre desarrollo de la personalidad, los efectos de acumulación y la creciente desigualdad y riesgos para los objetivos sociales de igualdad o política social. Al desarrollar y usar algoritmos, muchos riesgos de discriminación resultan del uso de datos que describen un trato desigual previo.

Necesidades de consideraciones sociales: aunque es fundamental superar los riesgos de discriminación de base técnica de los algoritmos y los datos, la legitimidad de las diferentes formas de diferenciación algorítmica requiere consideraciones y decisiones sociales que tengan en cuenta los riesgos sociales antes mencionados, los beneficios de la diferenciación y, en particular, su distribución en la sociedad. Esto debería conducir a definiciones de diferenciaciones socialmente aceptables. Dado que en la mayoría de los casos tales diferenciaciones se basan en el procesamiento de grandes cantidades de datos personales, también se deben considerar los riesgos para el derecho a la autodeterminación informativa.

Ley de protección de datos: la ley de protección de datos actual necesita aclaraciones y correcciones que también sirvan para fines contra la discriminación. Estos se relacionan con el llamado consentimiento informado, donde las personas afectadas deben evaluar las consecuencias potenciales de gran alcance, incluido el posible trato desigual, en el momento del consentimiento. Este enfoque ya no parece adecuado a la luz de las prácticas reales de recopilación, fusión, transferencia y uso de datos personales y los riesgos emergentes de tratamientos desiguales basados ​​en estas prácticas.

Regulación más detallada de las decisiones: Además, se ha sugerido una regulación más detallada de la toma de decisiones algorítmica y basada en datos, además del enfoque regulatorio actual en el procesamiento de datos. Ley antidiscriminación, que establece las características protegidas que pueden utilizarse en determinadas decisiones hacer situaciones, ya puede verse como un reglamento de decisiones. Las mejoras en la regulación pueden variar desde disposiciones más detalladas sobre el uso permitido de ciertos criterios de toma de decisiones, e. gramo. aclarando las exenciones del uso prohibido justificadas por motivos objetivos, o el uso de métodos de cálculo reconocidos, a la prohibición de determinadas diferenciaciones algorítmicas y basadas en datos para determinados tipos de decisiones de alto riesgo. La prohibición de la toma de decisiones automatizada en virtud de la ley de protección de datos se puede mejorar en varias áreas. Los instrumentos regulatorios deben diseñarse de acuerdo con el nivel específico de riesgos sociales atribuibles a diferentes tipos de diferenciaciones basadas en algoritmos.

Tareas y deberes de los organismos de igualdad: en particular, la dificultad para detectar y probar la discriminación basada en algoritmos por parte de las personas afectadas sugiere, de acuerdo con el principio de subsidiariedad, que los organismos representativos deben actuar en nombre de las personas afectadas y debe recurrirse al recurso colectivo.

1. ALGORITHMS

En este estudio, el término “algoritmo” se utiliza desde una perspectiva de tecnología de la información.

De acuerdo con esto, los algoritmos son reglas de cálculo básicas, formalizadas y definidas con precisión o reglas para una secuencia de pasos de cálculo que se configuran para ejecutar una tarea determinada. Para una tarea computable, como ordenar listas, a menudo hay muchos algoritmos diferentes.

Los algoritmos deben implementarse o programarse en uno de los muchos lenguajes de programación (como Python, Java, JavaScript, C ++, etc.) para que puedan ser ejecutados por una computadora. Posteriormente, están disponibles como partes de programa, que se combinan con estructuras de datos para formar software o sistemas de software. Los algoritmos en software luego llevan a cabo la tarea de generar una salida, generalmente en otros formatos de datos, a partir de una entrada, generalmente en forma de datos. Cuando hablamos de algoritmos a continuación, siempre nos referimos a implementaciones de algoritmos como posibles componentes del software.

Los algoritmos se implementan en software, combinados y organizados para cumplir propósitos específicos. Estos propósitos los determinan principalmente los humanos, en particular los desarrolladores y contratistas de software, quienes también determinan las interpretaciones, valores, priorizaciones y exclusiones contenidas en los algoritmos.3 Sus propósitos y aplicaciones también pueden tener consecuencias no deseadas4 tanto para los afectados directamente como para los terceros afectados indirectamente. fiestas. Esto dificulta la implementación de valores sociales y fundamentales como la protección de la dignidad humana, la preservación del libre desarrollo de la personalidad y la autodeterminación informativa, la evitación de la discriminación o la salvaguardia del estado de derecho.

...