La discriminación a través del algoritmo en una plataforma. El caso Deliveroo Bolonia y sus implicaciones para el sector público
José Antonio Castillo Parrilla
Investigador Juan de la Cierva Formación en Universidad de Granada
Presentación
La Sentencia del Tribunal Ordinario de Bolonia de 31 de diciembre de 2020 resuelve una demanda presentada por varios sindicatos contra Deliveroo Italia SRL, una de las principales plataformas de envío de comida a domicilio, por discriminación en las condiciones de acceso al trabajo por parte de los riders.
El caso tiene interés tanto desde el punto de vista del Derecho laboral, como desde el punto de vista del derecho digital. En cuanto a lo primero, porque considera que los riders son trabajadores por cuenta ajena, en línea con la reciente Sentencia del Tribunal Supremo de 25 de septiembre de 2020; y en cuanto a lo segundo, porque despierta algunas reflexiones sobre la situación jurídica de los algoritmos, lo que a su vez tiene importancia en el sector público.
No es la primera Sentencia que se pronuncia acerca del funcionamiento de un algoritmo. Ya lo hizo la Corte de La Haya en la Sentencia sobre el algoritmo SyRI, que pude comentar en la Revista Chilena de Derecho y Tecnología junto con Guillermo Lazcoz.
- El funcionamiento de la plataforma Deliveroo
Deliveroo es, junto con Glovo, una de las plataformas de envío de comida a domicilio más populares. Funciona a través de una plataforma, a la que usuarios, empresas de comida y riders se unen (con roles y en sesiones distintas) para solicitar comida (usuarios), para ofrecer comida, o para solicitar trabajo (riders). Veamos el funcionamiento de la plataforma para los riders.
La plataforma de Deliveroo tiene un doble sistema de acceso al trabajo: SSB o self-service booking, y free log-in. El sistema free log-in permite al rider acceder en cualquier momento a la plataforma e inscribirse en lo que quede en ese momento. Se trata de un sistema residual, que el TO de Bolonia sólo menciona para constatar dicho carácter residual y excluirlo del conflicto (si Deliveroo discrimina o no a sus trabajadores en las condiciones de acceso al trabajo).
El sistema SSB funciona del siguiente modo: el rider accede a la plataforma para reservar franjas horarias de forma anticipada, pudiendo elegir tanto horarios como área o áreas disponibles en el momento de entrar. La plataforma divide discrecionalmente las zonas teniendo según el área de trabajo y el perímetro municipal u otras circunstancias relevantes. Los trabajadores pueden entrar cada lunes para reservar sus horarios de trabajo, para “acceder al trabajo” (11h, 15h y 17h) según la puntuación que tengan en el ranking de Deliveroo y de la que se encarga en algoritmo “Frank”, ejecutando las condiciones generales que ofrece Deliveroo a los riders. El 15% de los riders con mejor puntuación podrá acceder a partir de las 11h, el 25% siguiente a partir de las 15h, y el resto a partir de las 17h.
La puntuación de los riders depende de dos índices: fiabilidad y disponibilidad. El índice de fiabilidad tiene en cuenta el número de ocasiones en que el rider no cumple con una sesión de trabajo previamente reservada (a través de SSB), entendiéndose por incumplimiento no haber iniciado sesión en la plataforma en los quince primeros minutos de la franja horaria reservada (y encontrándose el rider físicamente dentro del área geográfica donde va a repartir). El índice de disponibilidad tiene en cuenta el número de veces que el rider está disponible en los horarios de mayor demanda (20 a 22h de viernes a domingo).
- Posiciones de las partes
Los demandantes consideran que los criterios que sigue el algoritmo “Frank” son discriminatorios, porque en la práctica desincentivan o impiden que los riders ejerzan su derecho a la huelga y porque no tiene en cuenta causas justificadas de ausencia del puesto de trabajo. Deliveroo contempla solamente dos supuestos de ausencia del puesto de trabajo: (1) que el rider sufra un accidente que le impida continuar repartiendo, y (2) que surja un problema técnico en la plataforma que impida a ésta funcionar. No contempla, en cambio, otras como la enfermedad o compromisos ineludibles (ej, cuidado de menores, citaciones judiciales, etc.).
Deliveroo, por su parte, centra su defensa en los siguientes cuatro argumentos:
- el sistema SSB es sólo una de las dos opciones (junto con el sistema free log-in) que tienen los riders para acceder al trabajo;
- no existe número mínimo de horas que deba cumplir un rider, tienen plena autonomía a este respecto;
- la cancelación de reserva no tiene impacto en la puntuación del rider cuando respeta el margen de 24 horas;
- y el algoritmo es ajeno al sistema de puntuación.
Hay que admitir que los cuatro argumentos de defensa de Deliveroo son débiles, cuando no directamente sonrojantes. El primero de ellos lo descarta el Tribunal argumentando que incluso los propios representantes de Deliveroo reconocen que el sistema free log-in es residual. En cuanto a la plena autonomía de los riders, tanto el TO de Bolonia como el TS español consideran, con acierto, que se trata de falsos autónomos. Por otra parte, afirmar que estos trabajadores tienen libertad para no realizar portes si no quieren raya en el insulto a la inteligencia: si no realizan portes tampoco cobran, no parece muy razonable pensar que llevan un cajón a la espalda para matar el aburrimiento.
Los dos últimos argumentos tienen que ver con la vertiente tecnológica de esta Sentencia y serán objeto de mayor reflexión en el último apartado. Cabe adelantar por el momento que (1) no es posible saber a ciencia cierta si la cancelación con margen de 24 horas tiene o no impacto negativo si no se examina el funcionamiento del algoritmo, y que (2) el algoritmo es un mero ejecutor del sistema de puntuación que establecen las condiciones de trabajo de los riders. Esto último nos lleva a situar el pleito en una cuestión discriminatoria “de toda la vida”, ejecutada a través de un algoritmo. Pero de ahí a decir que el algoritmo es ajeno al sistema de puntuación va un trecho demasiado largo.
fuente: https://unsplash.com/photos/4hbJ-eymZ1o
- El pronunciamiento de la Sentencia del TO de Bolonia de 31 de diciembre de 2020
El Tribunal Ordinario de Bolonia considera que se ha producido una discriminación indirecta contra los trabajadores de Deliveroo (a los que trata como trabajadores por cuenta ajena o falsos autónomos en línea con parecer de nuestro TS) debido a que la plataforma opta por una “inconsciencia y ceguera” deliberada respecto de ciertas causas (justificadas) de incumplimiento de la reserva de trabajo realizada por el rider. Respecto de la discriminación indirecta, entiende el Tribunal que ésta se produce cuando se da el mismo trato a situaciones distintas... que merecen un trato distinto. En otras palabras, aprecia discriminación indirecta porque puntúa negativamente tanto una ausencia o falta de puntualidad del rider sin más, como aquellas que se deben a asistencia a huelga, enfermedad o cuidado de menores a cargo.
El pronunciamiento del Tribunal es el siguiente:
- constata la conducta discriminatoria de Deliveroo Italia en las condiciones de acceso al trabajo de los riders;
- condena a Deliveroo a eliminar los efectos de esta conducta discriminatoria;
- ordena la publicación de un extracto de la Sentencia en el Diario La República
- y condena a Deliveroo al pago de 50000€ en concepto de reparación de daños 7254€ en costas.
Como puede verse, se trata de un caso de discriminación a trabajadores a través de un algoritmo, no de una discriminación del algoritmo. Veremos en el siguiente apartado a qué nos referimos con una y otra cosa.
Aún así, la importancia de esta Sentencia es doble: laboral y digital. La importancia laboral parece clara: los riders son trabajadores por cuenta ajena con todo lo que ello implica, y se deben evitar situaciones discriminatorias, tanto directas como indirectas; entendiéndose por discriminación indirecta la penalización de ausencia al trabajo por motivos legalmente justificados (ej, huelga o enfermedad). La importancia digital de la Sentencia no es explícita: se obliga a Deliveroo a eliminar los efectos de la conducta discriminatoria, lo que implica no sólo modificar las condiciones de trabajo, sino también las instrucciones del algoritmo (sus parámetros de puntuación para el ranking de riders) que ejecuta dichas condiciones de trabajo.
- Discriminación, transparencia de los algoritmos y sector público
El TO de Bolonia considera que las condiciones de puntuación de los riders (a los que califica de trabajadores por cuenta ajena) constituyen una discriminación indirecta debido a que la norma (no el algoritmo, que simplemente la ejecuta) no tiene en cuenta ciertas causas de ausencia justificada, como puedan ser la asistencia u organización de huelgas o encontrarse enfermo.
Aunque ninguno de los pronunciamientos de condena se refiere directamente al algoritmo, para cumplir con el segundo punto (eliminar los efectos de la conducta discriminatoria) Deliveroo debe implementar ciertos cambios en los parámetros de funcionamiento del algoritmo Frank, de tal manera que la puntuación de los riders no se vea penalizada por incumplimientos de la sesión de trabajo relacionados con organización o asistencia a huelgas o enfermedad. Es decir, Deliveroo no sólo debe cambiar las condiciones de la contratación, sino también los parámetros del algoritmo de puntuación de riders que ejecuta dichas condiciones.
La transparencia de los algoritmos es otro aspecto clave de los que trata la Sentencia, aunque, no de manera directa. Puede hablarse de tres tipos de opacidad relacionada con los algoritmos: (1) opacidad técnica, (2) opacidad epistemológica y (3) opacidad intencionada. Hablamos de opacidad técnica cuando la utilización de lenguaje computacional dificulta la comprensión generalizada del funcionamiento de un algoritmo, dificultad que aumenta en casos donde la brecha digital es mayor. La opacidad epistemológica se relaciona con el fenómeno conocido como black box o imposibilidad para trazar un recorrido completo y comprensible para el ser humano desde la introducción de raw data o datos en bruto (inputs) hasta la producción de datos procesados o conocimiento útil (output). Finalmente, la opacidad intencionada se refiere a la situación jurídica de los algoritmos, que actualmente continúan siendo doblemente excluidos (no son obras de propiedad intelectual, ni obras de propiedad industrial) y relegados por descarte a secretos comerciales. Esto último, como puede intuirse, no favorece precisamente su transparencia. La única norma (vinculante) que por el momento pretende fomentar (y de manera muy tímida) la transparencia de los algoritmos es el Reglamento 1150/2019, en sus artículos 5 y 7, que obligan a plataformas y motores de búsqueda a dar publicidad a los parámetros principales de funcionamiento de sus algoritmos de prelación de ofertas.
El Tribunal Ordinario de Bolonia entiende probados ciertos criterios discriminatorios de Deliveroo ejecutados a través del algoritmo Frank basándose en las declaraciones de las partes y las condiciones de contratación de la propia plataforma, pero no porque haya podido examinar el funcionamiento de Frank. Llama la atención especialmente la duda de si iniciar sesión en el minuto 1, el 5 o el 12 incide en la puntuación del rider, cuestión que el Tribunal reconoce no poder determinar. Este ejemplo pone de relieve la necesidad de una normativa, preferiblemente a nivel de la UE, que garantice un mínimo nivel de transparencia (técnica e intencionada) de los algoritmos, así como un sistema de responsabilidad civil objetiva que evite que las empresas que se sirven de algoritmos se escuden en la opacidad epistemológica o black box. Esta transparencia mínima de los algoritmos debe ser no sólo una obligación del sector público y del sector privado, sino también económicamente viable para quienes invierten su tiempo, dinero y esfuerzo en el desarrollo de algoritmos, por lo que sería más que deseable explorar la posible patentabilidad de algoritmos como vía para favorecer una transparencia económicamente atractiva de éstos. Así lo propone la plataforma OdiseIA en su comentario a la Carta de Derechos Digitales presentada por un grupo de expertos independientes a través de la Secretaría de Derechos digitales.
Los algoritmos no son más que conjuntos ordenados y finitos de operaciones que permiten hallar la solución a un problema, tal como nos recuerda el DLRAE. Por el momento, en la UE los algoritmos se encuentran doblemente excluidos de protección jurídica, ya que el Cons. 11 de la Directiva 2009/24/EC entiende que las ideas y principios subyacentes a programas de ordenador (como, por ejemplo, algoritmos), no entran dentro de su ámbito de aplicación, y el artículo 52.2 del Convenio de Múnich sobre patentes europeas se pronuncia en igual sentido al afirmar que las teorías, planes, métodos matemáticos y principios no son patentables. Esto deja un espacio muy reducido a la protección jurídica de los algoritmos: los secretos comerciales. Si algo tiene un secreto es su falta de transparencia.
Los algoritmos han demostrado ser un instrumento de gran utilidad en un abanico cada vez más amplio de retos (detección de fraudes o de zonas con alta probabilidad de fraude, medicina de precisión y medicina preventiva, prevención de delitos, o procesos electorales). La reciente Estrategia Nacional de Inteligencia Artificial señala la importancia de fomentar y garantizar la utilización de algoritmos transparentes y explicables en aras de estrechar la relación entre Administración y ciudadanía. Boix Palop va más allá y con acierto razona que si los algoritmos ejecutan normas jurídicas, deben ser considerados como normas jurídicas. En el caso de la STO Bolonia contra Deliveroo, siguiendo este mismo razonamiento, podríamos afirmar que si el algoritmo Frank ejecuta condiciones generales de la contratación (o cláusulas de un contrato de trabajo) debe igualmente verse afectado por las normas que regulan las condiciones generales de la contratación y/o los contratos de trabajo. Precisamente es esto último lo que hace el TO de Bolonia: valora si las condiciones de acceso al trabajo de los riders (a los que considera asalariados) ejecutadas por el algoritmo Frank son discriminatorias, y entiende que sí.
- ¿Qué importancia tiene esta Sentencia de cara a la mejora del sector público?
En primer lugar, muestra la importancia de fomentar (y, a medio plazo, garantizar) la transparencia de los algoritmos, tanto en el sector público como en el sector privado.
No se trata simplemente, como afirma la ENIA, de estrechar la relación entre la Administración y la ciudadanía, sino de procurar una mejor protección de cada vez más derechos fundamentales que pueden verse afectados a medida que la Inteligencia Artificial vaya demostrando su eficacia en distintos sectores. Cabe recordar que el artículo 18.4 de nuestra Constitución establece que “la ley limitará el uso de la informática para garantizar el honor y la intimidad personal y familiar de los ciudadanos y el pleno ejercicio de sus derechos”, y que según el artículo 9.2 “corresponde a los poderes públicos promover las condiciones para que la libertad y la igualdad del individuo y de los grupos en que se integra sean reales y efectivas” así como “remover los obstáculos que impidan o dificulten su plenitud y facilitar la participación de todos los ciudadanos en la vida política, económica, cultural y social”. Finalmente, en relación con la STO de Bolonia podemos recordar que el artículo 35 de la Constitución reconoce, en el marco del derecho/deber al trabajo, la promoción a través del trabajo sin discriminación por razón de sexo (o cualesquiera otros motivos, ex art. 14).
Por todo ello, podemos afirmar que:
- compete a nuestras administraciones velar por el fomento y garantía de la transparencia de los algoritmos, tanto si funcionan en el sector público como en el privado, ya que
- la transparencia de los algoritmos es instrumental respecto de la protección de cada vez más derechos fundamentales;
- y que esta transparencia debe fomentarse desde la viabilidad económica para los desarrolladores, por lo que sería deseable plantear el cambio de paradigma jurídico de los algoritmos: que sean patentables.
José Antonio Castillo Parrilla es Doctor europeo en Derecho digital por la Universidad de Bolonia (Premio Real Academia de Jurisprudencia y Legislación de Granada a la mejor Tesis Doctoral en Derecho privado y Premio Eduardo de Hinojosa en Ciencias Jurídicas) y Doctor en Derecho civil por la Universidad de Granada. Es miembro de la Unidad de Excelencia “Sociedad digial: seguridad y protección de derechos” y del European Law Institute.
