La redefinición del poder

Comisión Europea se refiere a la inteligencia artificial como “sistemas que despliegan comportamiento inteligente con algún grado de autonomía para alcanzar objetivos específicos” [1]1 — “Artificial Intelligence refers to systems that display intelligent behaviour by analysing their environment and taking action — with some degree of autonomy — to achieve specific goals. We are using AI on a daily basis, for example to block email spam or speak with digital assistants.” (EU Commission 2018) . Conjuntamente con la robótica y el análisis de grandes datos, representa una de las líneas prioritarias de investigación, con una inversión billonaria [2]2 — “Public-private partnerships on robotics (‘SPARC’) and big data (‘Big Data Value’) represent EUR 1.2 billion in public investment plus EUR 3.2 billion in private investment for 2014-2020, giving EUR 4.4 billion in total.” (ibid. EU Commission 2018). . “Análisis de grandes datos” no es un término técnico. Se refiere a datos que pueden ser acumulados, agregados y gestionados por medio de algoritmos, y que alimentan los sistemas de Inteligencia Artificial.

Las seis V: valor, volumen, velocidad, variedad, veracidad y variabilidad son a veces usadas para definir el concepto. Yo prefiero hablar de datos y meta-datos estructurados, semiestructurados y desestructurados que delimitan el ámbito de la web y del denominado dark web, por su representación práctica. Los informes y predicciones de Gartner para 2018 y 2019 sitúan la inteligencia artificial, la ética y la gobernabilidad como los puntos álgidos de su hiperciclo de expectativas. La ética es uno de los puntos nuevos identificados por Gartner como esenciales en los próximos cinco años en su popular hiperciclo—ciclo de expectativas tecnológicas para el desarrollo industrial. Por primera vez la ética y la gobernanza cuentan como elementos reguladores en el hiperciclo de 2018. El del 2019, muy reciente, confirma esta tendencia y añade un campo emergente crucial: el de ecosistemas de regulación y cumplimiento con las regulaciones (regulatory compliance) [3]3 — “Establish use-case-based accountability for AI solutions, outcomes and ethics. Develop methods for proactive regulatory compliance and outline reactive responsibilities, actions and procedures in the case of unanticipated and unintended consequences. Plan adaptive governance to support freedom and creativity in data science teams, but also to protect the organization from reputational and regulatory risks. Little or no governance in data science teams to facilitate freedom and creativity is an acceptable approach if this is a conscious governance decision.” Gartner (2019). Svetlana Sicular, Jim Hare, Kenneth Brant, Hype Cycle for Artificial Intelligence, 2019. 25 July 2019 ID: G00369840. . ¿Qué significa eso?

Partiré de ejemplos recientes del impacto de la tecnología, para centrarme después en los nuevos modelos de regulación que necesitamos. Pondré los bueyes delante del carro: primero los efectos sociales, después los aspectos técnicos.

Algunos ejemplos

El caso de Cambridge Analytica es el más conocido: la identificación de los perfiles de los votantes en el caso del Brexit y de las últimas elecciones presidenciales norteamericanas. Los votantes recibían información personalizada de acuerdo con su perfil sin saber cómo habían estado previamente analizados. Si una empresa es capaz de agregar todos los datos en red sobre alguien para efectuar el perfil sin su consentimiento, la empresa adquiere simplemente un poder inusitado no sólo sobre los datos sino sobre la persona misma, porque es capaz de controlar sus sentimientos, deseos y decisiones. ¿Cómo se hace eso?

Lo explicaba el ingeniero de la compañía Jack Hansom antes de que estallara el caso y retiraran los vídeos y seminarios de YouTube: con algoritmos de agregación de datos.

“Conocer una media no nos sirve de mucho, el que queremos es realmente el individuo. […] ¿Cómo escalar eso? Bien… tradicionalmente, lo que se hacía es una encuesta. Se plantean un conjunto de preguntas y, al final, podemos inferir alguna cosa sobre la personalidad. Pero para obtener una estimación fiable quizás hacen falta centenares de personas. (…). Lo que queremos hacer, en cambio, es utilizar la información de Facebook, utilizándola como entrada para modelos de aprendizaje automático para poder predecir la personalidad y sobrepasar así las encuestas.”

La estrategia funcionó. Carole Cadwalladr, la periodista que reveló las malas prácticas de Cambridge Analytica, ha señalado que la falta de control público de los datos que se recogen y se analizan constituye una amenaza directa para la democracia [4]4 — Véase: Cadwalladr, C. «Exposing Cambridge Analytica: “It’s been exhausting, exhilarating, and slightly terrifying”». The Guardian, 28 de setembre del 2018. Cadwalladr, C. «Facebook’s role in Brexit, and the threat to democracy», Ted Talk, 19 d’abril del 2019 . Coincide en eso con otros analistas del uso de técnicas de IA en el origen de la crisis financiera global (O’Neil 2016) [5]5 — O’Neil, C. (2016). Weapons of math destruction: how big data increases inequality and threatens democracy (First edit). New York: Crown, 2016. .

El segundo ejemplo es menos conocido, pero no menos real: las tarjetas de identidad basadas en las violaciones de regulaciones corporativas o legales, que se agregan en una especie de carta trazable de nuestro cumplimiento, por ejemplo el retrato de nuestra conformidad con las normas. Son similares a los carnés por puntos de los códigos de circulación o a las tarjetas de crédito, pero conforman una especie de retrato institucional de cada uno de los usuarios de un determinado servicio público. Escuchamos la advertencia que reciben los pasajeros del tren de alta velocidad de Beijing a Shanghái, grabado por el también periodista James O’Malley (2018):

“Queridos pasajeros, los pasajeros que viajen sin billete o se comporten de forma desordenada, o fumen en espacios públicos, serán castigados de acuerdo con los reglamentos, y el comportamiento será grabado en un sistema de crédito de información individual. Para evitar un expediente negativo de crédito personal, sigan por favor las regulaciones pertinentes y ayuden a cumplir las órdenes en el tren y en la estación.” [6]6 — Grabado por James O’Malley el 18 de Octubre de 2018, a las 12.24 am. “Dear passangers, people who travel without a ticket, or behver disorderly, or smoke in public areas, will be punished according to regulations, and the behaviour will be recorded in individual credit information system. To avoid a negative record of personal credit, please follow the relevant regulations and help with the orders on the train and at the station”.

Este sistema forma parte de un plan del gobierno chino para estandarizar en el 2020 un sistema unificado de reputación económica y social basado en técnicas de agregación de información a gran escala para cada ciudadano. Eso tiene consecuencias muy prácticas. Especialmente la creación de listas negras de “ciudadanos desafectos”.

Es lo que se conoce como sistemas de vigilancia masiva (mass surveillance) de la población. Las consecuencias son severas para las personas integradas en las listas de personas desacreditadas. Por ejemplo, sólo pueden hacer compras limitadas, no pueden coger trenes de alta velocidad o aviones, no pueden alojarse en hoteles de lujo, no pueden ir de vacaciones con agencias de viaje, ni enviar a los hijos a las escuelas privadas. Las sanciones son sociales y económicas, una especie de ostracismo que impide a los infractores participar de los beneficios y subir en la escala social [7]7 — Pack, J. «How does China’s social credit system work?» Market Place, 13 de febrer del 2018 . Dejando de lado las consecuencias, en la base están los sistemas automáticos de recogida, agregación y gestión de datos.

El tercer ejemplo es de reconocimiento facial, en UK esta vez, en el seno de las democracias occidentales:

“En el 2017, la Policía Metropolitana de Londres probó un algoritmo de reconocimiento facial en un carnaval de un millón de visitantes para identificar personas de su lista de personas en busca y captura. La tecnología marcó 35 “coincidencias”. Los examinadores humanos descartaron 30. La policía detuvo los cinco restantes. Sólo uno resultó ser la persona esperada. Para empeorar las cosas, la policía entonces se dio cuenta de que la lista no era actualizada y que ya no se buscaba esta persona por ningún delito (Margetts y Dorobantu 2019, 164) [8]8 — Margetts, H., Dorobantu, C.  «Rethink government with AI». Nature 568 (2019), 163-165. .

Las condiciones éticas y jurídicas del reconocimiento facial -como del biométrico—es uno de los temas candentes en la filosofía práctica contemporánea. Es un tema que no tiene una solución simple, porque apunta al equilibrio entre la libertad individual y los derechos de la privacidad con los derechos a la seguridad colectiva.

La redefinición del poder

Estos ejemplos muestran que lo que es técnicamente posible no siempre es socialmente deseable. Todos los casos anteriores son diferentes y responden a dinámicas de uso de los datos con constricciones distintas. Podríamos haber descrito algunos otros, referentes a la violación de datos, a la reidentificación de datos a pesar de los sistemas de encriptación, y a la ciberseguridad [9]9 — Berghel, H. «Equifax and the latest round of identity theft roulette». Computer, 50, 12 (2017), 72-76. . Todos son llamativos, sin embargo, y tienen un elemento en común: muestran la debilidad de los instrumentos tradicionales del derecho, de la política, y de la democracia participativa clásica para hacer frente a estas situaciones.

Se trata también de la redefinición del tema del siglo XX de la sociedad de masas (the crowd). Pero de lo que estamos hablando, primero de todo, es de la naturaleza cambiante del poder que la mueve. Jeremy Heimans y Henry Timms han escrito un libro al respecto, titulado precisamente New Power (2018). Proponen redefinir el ejercicio del nuevo poder en relación al viejo. Han elaborado lo que denominan new power compass, la brújula del nuevo poder: flexible, conectado, inexigente, inarticulado, informal, sacando provecho de la manera como la gente se conecta, participa, comparte, empatiza con ideas y sentimientos, o huye cuando siente demasiadas constricciones, se le imponen deberes o sencillamente siente que no le gusta lo que ve en la pantalla del móvil, la tableta o el ordenador. En cambio, el viejo poder es autoritario, represor, mandón, impositivo, burocrático, y exige obediencia. No sirve para triunfar en la red.

“El problema no es que las máquinas hayan podido coger el control a las élites. El problema es que la mayoría de nosotros no podamos coger nunca el control de las máquinas a la gente que manda.” [10]10 — Shadbolt, Nigel, and Roger Hampson (2018). The Digital Ape: How to Live (in Peace) with Smart Machines. Sydney: Pan Macmillan . .

Los estados han empezado hoy a actuar como las corporaciones: se defienden, y tienden a acaparar los medios digitales. No tenemos que ir a ejemplos de estados de raíz totalitaria como China o la Rússia de Putin. En Francia el artículo 33 de la nueva Ley de Reforma de la Justicia [11]11 — LOI n° 2019-222 du 23 mars 2019 de programmation 2018-2022 et de réforme pour la justice. acaba de prohibir el estudio con instrumentos digitales avanzados de las sentencias judiciales completas con los nombres de los magistrados que las emiten, en nombre de la privacidad y la protección de datos (protéction de la vie privée). [12]12 — Véase: https://www.legifrance.gouv.fr/eli/loi/2019/3/23/2019-222/jo/article_33 https://www.legifrance.gouv.fr/eli/loi/2019/3/23/JUST1806695L/jo/article_33 https://www.legifrance.gouv.fr/eli/loi/2019/3/23/2019-222/jo/article_33

Observamos la nueva manera de publicar la ley: mediante un identificador singular universal, nombrado ELI, European Legislation Identifier. Cuando hablamos de identidad hablamos de la identificación de las entidades digitales, es decir, de la representación de la identidad en algoritmos y lenguajes semánticos. Es igual, a estos efectos, si se trata de personas, organizaciones u objetos. La ISO/IEC 24760-1 define la identidad como “un conjunto de atributos relacionados con una entidad, un set of attributes related to an entity.” La identidad es un punto esencial. El Instituto Nacional de Standards i Tecnologia del Departamento Norteamericano de Comercio también lo ha dejado claro: “acceder a un servicio digital no significa que se conozca la identidad del sujeto en la vida real” [13]13 — “Digital identity is the unique representation of a subject engaged in an online transaction. A digital identity is always unique in the context of a digital service, but does not necessarily need to uniquely identify the subject in all contexts. In other words, accessing a digital service may not mean that the subject’s real-life identity is known.” Grassi, P.A., Garcia, M.E., Fenton, J.L. Digital Identity Guidelines. NIST Special Publication 800-63-3. .

Lo que querría señalar es que las nuevas formas de poder implican el dominio de estos lenguajes de representación y de las técnicas de autenticación, encriptación y privacidad, porque son ellos los que estructuran la posible relación entre las entidades digitales y las reales. Es decir, gestionan la referencia y co-referencia de las palabras y discursos que hasta ahora fluían sólo a través de las lenguas naturales.

Ecosistemas éticos y jurídicos, más que modelos normativos

Esta es la razón de que no podamos usar sólo sistemas de valores, principios o normas para regular este híbrido complejo que formamos con nuestros datos y metadatos. Es igual si se trata de sistemas éticos o jurídicos. Hay (i) este elemento intermedio de los lenguajes semiformales y formales que no podemos obviar (si es que queremos evitar o paliar casos como los que hemos descrito antes), (ii) el terreno intermedio de la construcción del espacio público y la coordinación colectiva de conductas a partir de las decisiones y acciones individuales.

Como hemos visto, la ética en Inteligencia Artificial es uno de los puntos nuevos identificados por Gartner como esenciales en los próximos cinco años. Por primera vez la ética y la gobernanza cuentan como elementos reguladores. ¿Pero cómo? ¿Cómo incorporar principios éticos y protecciones jurídicas dentro de sistemas de conducta (artificiales y humanos)?

La estrategia tradicional utilizada para hacerlo es elaborar una serie de principios generales, que pueden ser desarrollados a través de sistemas regulativos, por ejemplo sistemas de normas que permitan su cumplimiento. Entre muchos otros ejemplos, Europa, Reino Unido, los EE.UU. y Australia están elaborando una serie de principios éticos para ser aplicados a la legislación de IA. Los principios de transparencia [transparency], responsabilidad o rendimiento de cuentas [accountability], como también el de explicabilidad de los algoritmos [explainability], pretenden ir más allá de la protección ofrecida por las buenas prácticas profesionales, ISOs industriales, estándares profesionales, y los FIPs (Federal Information Processing Standards). Esta es la intención cuando menos de la reciente General Data Protection Regulation (EU) 2016/679 (GDPR) que entró en vigor el 25 de mayo del 2018 en Europa, y que incluye expresamente la denominada protección de datos mediante diseño (Fecha Protection by Design). El cumplimiento mediante el diseño (Compliance by Design) es otra de las estrategias, explorada en varios proyectos europeos y en varias iniciativas empresariales y jurídicas.

El que hemos denominado meso-nivel [14]14 — Poblet, M., Casanovas, P., Rodríguez-Doncel, V. Linked Democracy. Foundations, methodologies, applications. Cham: Springer Nature, 2019. y middle-out approach [15]15 — Pagallo, U., Casanovas, P. and Madelin, R. (2019). “The middle-out approach: assessing models of legal governance in data protection, artificial intelligence, and the Web of Data.” The Theory and Practice of Legislation, pp.1-25. se refiere al conjunto de medios técnicos y humanos que tenemos que poner en obra para construir una comunidad, un sistema sociotécnico o un grupo humano que utilice tecnología. También me parece que es en aquello que tendríamos que centrarnos si poner un poco de orden en la aplicación de la Inteligencia Artificial a los sistemas regulativos ya existentes.

Los juristas y filósofos políticos de los siglos XVIII, XIX y XX se acostumbraron a ligar el concepto de autoridad al estado o a los representantes del gobierno escogido por los ciudadanos (Parlamento). De hecho, la autoridad puede relacionarse con el mercado, o con la sociedad en su conjunto también. La idea de que nos puede guiar es la de encontrar un equilibrio entre todas estas fuentes de autoridad, incluyendo lo que el individuo puede decidir sobre sí mismo (y eso último es esencial). En un mundo hiperconectado, los objetos hacen de canal de transmisión de la información. Cada uno de los objetos cotidianos que nos rodean transmitirán en un futuro nada lejano información sobre sus usuarios: coches, neveras o tostadoras de pan. ¿Cómo nos enfrentaremos a eso y al mundo de la nanotecnología (microprocesadores) que los acompañará? Literalmente no lo podemos saber ahora.

Los límites tienen que venir no de restricciones sino de las decisiones conscientes sobre cómo integrarse en los diversos escenarios y contextos sociales. Otra vez la identidad: preservarla se ha convertido en una prioridad. Y eso significa poder definir (hasta el punto donde sea posible) las relaciones entre las entidades, los atributos y los valores de los atributos que configuran nuestra identidad digital y personal. No es sencillo, porque los múltiples puntos de apoyo con las redes personales y sociales ya forman un continuo de lo que es difícil deshacerse. La idea sería integrar todos estos escenarios de forma controlable para todos y cada uno de los individuos que los experimentan. Eso es: encontrar puntos policéntricos para la pluralidad de ecosistemas que formarán nuestra vida, y consensuar los ecosistemas de regulación.

Democracia enlazada: un modelo de democracia posible

Es lo que he denominado meta rule of law (Casanovas) [16]16 — Casanovas, P. Sub lege pugnamus. De la gran guerra a les grans dades. Barcelona: Publicacions de la Universitat de Barcelona, 2017. . No tiene traducción al castellano, porque nuestra cultura jurídica es continental, de derecho civil y administrativo francés, y por lo tanto traducir esta expresión por “meta-estado de derecho” no es adecuado. Sería mejor denominarla “estructura ética” o “estado de derechos”, porque se trata de centrarse en los derechos, es decir, en las expectativas de conducta que nuestros interlocutores, vecinos y contraprestadores tienen de nosotros y nosotros de ellos. Hay un mínimo de protección posible, que define el ámbito de aquello que los sistemas regulativos abarcan.

El objetivo es extender y meter en la estructura de la Web de los Datos (datos/metadatos, y servicios web) las protecciones y garantías de los derechos por medio de instrumentos semánticos y los algoritmos de IA que podamos aplicar (aprendizaje automático, machine learning, privacidad etc.). Fijémonos en que los derechos y obligaciones no son creados por los lenguajes formales, sino por las interrelaciones (individuales y colectivas) entre los miembros de comunidades sociales, los mercados y la sociedad civil. Pero la cadena de transmisión se inicia con los identificadores.

Definimos mínimamente los términos:

1. La Web de los Datos está formada por cualquier dato disponible, en bruto, semiestructurado o estructurado en un lenguaje formal, vía APIs (application programo interfaces) o flujos de información de la Internet de las Cosas.
2. Linked data, datos enlazados o vinculados, es un subconjunto del primero para publicar y compartir datos en red, siguiendo las reglas clásicas propuestas por Tim Berners-Lee y desarrolladas por la comunidad tecnológica del W3C (World Wide Web) [17]17 — https://www.w3.org/DesignIssues/LinkedData.html . La web de los datos no se tendría que confundir con Internet. La primera es semántica, compuesta por flujos de información que se tienen que regular. El segundo es su soporte físico, un conjunto de tecnologías de la comunicación.
3. La democracia deliberativa se define desde los años noventa como “un conjunto de procesos de evaluación, y de formación y transformación de preferencias a través de un diálogo informado, respetuoso y competente” [18]18 — Dryzek JS., Niemeyer N. «Deliberative Turns» (2009). In J. Dryzek, editor, Foundations and Frontiers of Deliberative Governance.  Oxford: Oxford Scholarship Online, 2009, 3–17. . No quiere limitarse pues al proceso formal del voto. La democracia epistémica sigue este camino, y ha sido defendida por autores como Jeremy Waldron o Josiah Ober. Asume que existe un proceso de decisión colectiva que puede producir resultados epistémicamente válidos (verdaderos) o decisiones razonables, fundamentadas o adecuadas en mayor medida a partir de la participación de un mayor número de personas.
4. Los procesos políticos de crowdfunding y crowdsourcing se basan en este presupuesto, y también los métodos de asambleas populares (mini-públicos). Lo que estamos proponiendo es ir un poco más hacia allá de los conceptos de democracia deliberativa o de democracia epistémica.
5. Linked democracy, democracia enlazada, es el concepto con el que nos referimos a la interrelación entre un grupo de gente, la tecnología y los datos con el fin de crear ecosistemas de participación donde el conocimiento es agregado, compartido y alineado para tomar decisiones y crear líneas de actuación política y social (Pueblecito, Casanovas y Rodríguez-Doncel 2019) [19]19 — Poblet, M., Casanovas, P., Rodríguez-Doncel, V. Linked Democracy.  Foundations, methodologies, applications. Cham: Springer Nature, 2019. .

La democracia enlazada: (i) establece y estudia las condiciones contextuales de la democracia deliberativa y epistémica, (ii) se sitúa en el meso-nivel intermedio de implementación tal como lo hemos definido, (iii) requiere la interfaz de humanos y máquinas, (iv) dirección el nivel institucional que lo puede regular y dar forma.

Los ecosistemas democráticos son contextuales, referidos a los sistemas de interacción (mesonivel) en red. Y pueden interrelacionarse a su vez para producir conocimiento y decisiones políticas socialmente relevantes. Esta concepción es similar a la de la democracia epistémica, pero está más basada en innovaciones sociales que pueden llevar a una participación centrada en el uso compartido de las tecnologías para resolver problemas comunes. La preservación de los derechos de los individuos en este proceso es lo que he denominado, no “estado de derecho” sino estado de derechos [20]20 — Casanovas, P. Sub lege pugnamus. De la gran guerra a les grans dades. Barcelona: Publicacions de la Universitat de Barcelona, 2017. .

Los ecosistemas jurídicos apuntan hacia esta dirección. No se trata ya de regular sólo con los instrumentos tradicionales, leyes, reglamentos, principios, sino de aprovechar los elementos que la Inteligencia Artificial ofrece para crear sistemas de regulación estables, autosostenibles y consensuados. Comprende varios tipos normativos, desde los instrumentos tradicionales de las leyes y reglamentos hasta instrumentos de derecho “suave” (acuerdos y negociaciones), políticas públicas, estándares industriales y protocolos técnicos.

Esta es una visión institucionalista, ciertamente, pero es mejor que el de esperar que las políticas públicas económicas (sistemas impositivos), migratorias (sistemas de acceso a la residencia y a la nacionalidad), de salud (organización y transmisión de los expedientes sanitarios), y criminales (organización de los expedientes policiales y penales) puedan ser automatizadas sin participación ni discusión pública por parte de la ciudadanía. Como hemos visto, esta es una vía perfectamente factible también. Evitarla, está en nuestras manos.

• Referencias

  1 —

  “Artificial Intelligence refers to systems that display intelligent behaviour by analysing their environment and taking action — with some degree of autonomy — to achieve specific goals. We are using AI on a daily basis, for example to block email spam or speak with digital assistants.” (EU Commission 2018)

  2 —

  “Public-private partnerships on robotics (‘SPARC’) and big data (‘Big Data Value’) represent EUR 1.2 billion in public investment plus EUR 3.2 billion in private investment for 2014-2020, giving EUR 4.4 billion in total.” (ibid. EU Commission 2018).

  3 —

  “Establish use-case-based accountability for AI solutions, outcomes and ethics. Develop methods for proactive regulatory compliance and outline reactive responsibilities, actions and procedures in the case of unanticipated and unintended consequences. Plan adaptive governance to support freedom and creativity in data science teams, but also to protect the organization from reputational and regulatory risks. Little or no governance in data science teams to facilitate freedom and creativity is an acceptable approach if this is a conscious governance decision.” Gartner (2019). Svetlana Sicular, Jim Hare, Kenneth Brant, Hype Cycle for Artificial Intelligence, 2019. 25 July 2019 ID: G00369840.

  4 —

  Véase:

  • Cadwalladr, C. «Exposing Cambridge Analytica: “It’s been exhausting, exhilarating, and slightly terrifying”». The Guardian, 28 de setembre del 2018.
  • Cadwalladr, C. «Facebook’s role in Brexit, and the threat to democracy», Ted Talk, 19 d’abril del 2019
  5 —

  O’Neil, C. (2016). Weapons of math destruction: how big data increases inequality and threatens democracy (First edit). New York: Crown, 2016.

  6 —

  Grabado por James O’Malley el 18 de Octubre de 2018, a las 12.24 am. “Dear passangers, people who travel without a ticket, or behver disorderly, or smoke in public areas, will be punished according to regulations, and the behaviour will be recorded in individual credit information system. To avoid a negative record of personal credit, please follow the relevant regulations and help with the orders on the train and at the station”.

  7 —

  Pack, J. «How does China’s social credit system work?» Market Place, 13 de febrer del 2018

  8 —

  Margetts, H., Dorobantu, C.  «Rethink government with AI». Nature 568 (2019), 163-165.

  9 —

  Berghel, H. «Equifax and the latest round of identity theft roulette». Computer, 50, 12 (2017), 72-76.

  10 —

  Shadbolt, Nigel, and Roger Hampson (2018). The Digital Ape: How to Live (in Peace) with Smart Machines. Sydney: Pan Macmillan .

  11 —

  LOI n° 2019-222 du 23 mars 2019 de programmation 2018-2022 et de réforme pour la justice.

  12 —

  Véase:

  • https://www.legifrance.gouv.fr/eli/loi/2019/3/23/2019-222/jo/article_33
  • https://www.legifrance.gouv.fr/eli/loi/2019/3/23/JUST1806695L/jo/article_33
  • https://www.legifrance.gouv.fr/eli/loi/2019/3/23/2019-222/jo/article_33
  13 —

  “Digital identity is the unique representation of a subject engaged in an online transaction. A digital identity is always unique in the context of a digital service, but does not necessarily need to uniquely identify the subject in all contexts. In other words, accessing a digital service may not mean that the subject’s real-life identity is known.” Grassi, P.A., Garcia, M.E., Fenton, J.L. Digital Identity Guidelines. NIST Special Publication 800-63-3.

  14 —

  Poblet, M., Casanovas, P., Rodríguez-Doncel, V. Linked Democracy. Foundations, methodologies, applications. Cham: Springer Nature, 2019.

  15 —

  Pagallo, U., Casanovas, P. and Madelin, R. (2019). “The middle-out approach: assessing models of legal governance in data protection, artificial intelligence, and the Web of Data.” The Theory and Practice of Legislation, pp.1-25.

  16 —

  Casanovas, P. Sub lege pugnamus. De la gran guerra a les grans dades. Barcelona: Publicacions de la Universitat de Barcelona, 2017.

  17 —

  https://www.w3.org/DesignIssues/LinkedData.html

  18 —

  Dryzek JS., Niemeyer N. «Deliberative Turns» (2009). In J. Dryzek, editor, Foundations and Frontiers of Deliberative Governance.  Oxford: Oxford Scholarship Online, 2009, 3–17.

  19 —

  Poblet, M., Casanovas, P., Rodríguez-Doncel, V. Linked Democracy.  Foundations, methodologies, applications. Cham: Springer Nature, 2019.

  20 —

  Casanovas, P. Sub lege pugnamus. De la gran guerra a les grans dades. Barcelona: Publicacions de la Universitat de Barcelona, 2017.