La inteligencia artificial es una tecnología que se utiliza para planificar el futuro. La planificación comporta inteligibilidad, calculabilidad y sistematización. En las culturas occidentales, el futuro como concepto ha estado muy ligado al monoteísmo y a la creación de una narrativa lineal sobre las sociedades, con un fin del mundo vaticinado, en el que las personas acaban en el paraíso o al infierno. Eso fue un cambio radical con respecto a las narrativas de las culturas clásicas, en las que no había noción del pasado o la prehistoria, sino una narrativa de un origen cultural divino parecido al presente. No anticipaba el cambio en la forma de las narrativas futuras, que ven el futuro como un tiempo en que se produce una evolución, en que ni la ropa, ni el contexto, ni las costumbres sociales se mantienen inmutables. Con el surgimiento del protestantismo y el capitalismo, el futuro se convirtió en alguna cosa más que un punto en el tiempo en que la historia se acabaría. Ocurrió un punto no escrito de oportunidades al cual los seres humanos tenían que dar forma.

A principios del siglo XX, la idea de futuro estaba fuertemente ligada a la tecnología como instrumento para modificar los contextos sociales y modelar las sociedades. Las élites introdujeron un discurso técnico centrado en el pragmatismo científico y la tecnocracia, y la ingeniería social se concentró en la creación y la planificación «neutra» de grandes proyectos sociales. En 1933, el sociólogo Hans Freyer dijo: «Si la utopía inmanente de la tecnología es la transformabilidad de todos los materiales y fuerzas los unos en los otros, entonces la utopía inmanente de la planificación es la transformabilidad de todas las situaciones históricas las unas en las otras» [1]1 — Freyer, Hans. 1987. “Herrschaft und Planung. Zwei Grundbegriffe der politischen Ethik.“ In Herrschaft, Planung und Technik. Aufsaetze zur politischen Soziologie, edited by Hans Freyer, 17–43. Weinheim: VCH Verlagsgesellschaft. p. 22 . El año 1935, Karl Mannheim llegó a declarar el fin de las «cosas no planificadas» [2]2 — Mannheim, Karl. [1935] 1958. Mensch und Gesellschaft im Zeitalter des Umbaus. Darmstadt: Wissenschaftliche Buchgesellschaft. .Los expertos técnicos sugirieron que con la organización de una infraestructura de las sociedades basada en la eficiencia y la racionalidad, en nombre del bien común, incluso se podría superar la subjetividad en política: «Estamos tan acostumbrados a la disputa que no podemos ver que hay un método mejor, el método de la planificación» [3]3 — Kizer, Ben H. 1939. “The Need for Planning.” In National Conference on Planning. Proceedings of the Conference held at Minneapolis, Minnesota, June 20-22, 1938. Chicago: 1–9. . Este es el argumento que se planteó en una conferencia el año 1939, a finales del New Deal de Estados Unidos; esta estrategia de planificación arquitectónica desde cero también era conocida en el continente europeo y las élites intelectuales que había detrás llevaron a cabo un amplio intercambio internacional occidental.

Las limitaciones de la planificación mediante la infraestructura técnica cristalizaron en debates públicos durante la década de 1970. Cuestiones nuevas como el cambio climático y la sostenibilidad ponían a prueba los límites de aquello que se podía planificar. Además, el valor de la opinión pública y la participación ciudadana en los proyectos de infraestructura dieron pie al escrutinio de la dimensión política de la infraestructura y su presunta neutralidad. Aquella misma década Foucault presentó su nueva teoría del poder dentro de la infraestructura y las hipótesis sociales y éticas que implica.

Sobre la naturaleza infraestructural de la inteligencia artificial

La inteligencia artificial (IA) —los sistemas algorítmicos— incluye tecnologías que el mundo todavía intenta conocer en esencia para valorar el impacto y los riesgos. La IA y los sistemas algorítmicos no entienden a los individuos. Conceptualmente, representan ideas de la sociedad. La manera en que calculan y clasifican patrones es relacional. Los algoritmos clasifican a las personas en pequeños grupos granulares. La identidad de los individuos deja de ser relevante. El usuario percibe la personalización como el procedimiento técnico para la individualización, pero técnicamente la personalización es relacional: es la clasificación de este individuo en un colectivo muy específico de personas con similitudes.

La IA y los sistemas algorítmicos no entienden a los individuos. Los algoritmos clasifican a las personas en pequeños grupos granulares. La identidad de los individuos deja de ser relevante

La persona en cuestión no necesariamente se da cuenta de que lo están clasificando en un colectivo que quizás no encaja en las categorías sociales convencionales de una sociedad. La publicidad personalizada y el «micromarketing» pueden dar la impresión que el marketing se dirige personalmente a los consumidores potenciales, basándose en la información sobre las preferencias de cada individuo. Pero técnicamente el individuo se clasifica en diferentes categorías que muchos otros individuos comparten. La conexión de todas estas categorías da lugar a un perfil interseccional que abraza más categorías que las habituales, como la edad, el género y la condición social, y este perfil también lo comparten muchos otros individuos. Este nivel de granularidad e interseccionalidad se puede confundir fácilmente con la individualidad.

Como consecuencia, la tendencia de las evaluaciones de la IA es centrarse en la detección de los daños personales y las violaciones de los derechos humanos, aunque los sistemas algorítmicos problemáticos discriminan sobre todo a los colectivos sin detectar los daños personales. Este es un efecto típico si se trata de evaluar el impacto de la infraestructura. Los efectos de la forma, las normas y las reglas de la infraestructura que arbitra el flujo de recursos, la movilidad o las telecomunicaciones sólo se pueden detectar con una visión arquitectónica del sistema. Así pues, la infraestructura es el dispositivo físico foucaultiano para distribuir el poder, crear las condiciones para la inclusión o la exclusión social y modelar el espacio de una sociedad. En «Confesiones de la carne» definió el término como:

“un conjunto realmente heterogéneo de discursos, instituciones, formas arquitectónicas, decisiones reguladoras, leyes, medidas administrativas, informes científicos, proposiciones filosóficas, morales y filantrópicas… En resumen, tanto lo que se dice como lo que no se dice. Estos son los elementos del dispositivo. El dispositivo en sí es el sistema de relaciones que se puede establecer entre estos elementos” [5]5 — Foucault, M. 1980. “The Confession of the Flesh” [Interview, 1977]. In Power/Knowledge: Selected Interviews and Other Writings, edited by Colin Gordon, 194-228. New York, NY: Pantheon Books. .

La infraestructura de movilidad de una ciudad determina la manera en que la ciudadanía accede a su geografía, la manera en que se favorece o se dificulta la inclusión. Las calles de un barrio residencial de los Estados Unidos, con calzadas y sin aceras, determinan la movilidad de sus residentes de una manera diferente que las calles de Amsterdam, con aceras, carriles bici y calzadas. Los semáforos para peatones en que el color verde tiene una duración muy breve generan un tráfico más fluido de los vehículos, pero son sin duda un obstáculo para los peatones de más edad.

La inteligencia artificial es una forma nueva de infraestructura. No es un producto, sino infraestructura inmaterial. Todo proceso implica un sistema determinado y una serie de normas, que más adelante se pueden formalizar en lenguaje matemático y hacerse total o parcialmente automáticas. Esta normalización va más allá de los cables y el hardware. Automatizar un proceso con IA significa añadir una fina capa invisible de software para arbitrar permanentemente las interacciones con todas las partes implicadas del proceso y entre ellas. Así, se está desarrollando infraestructura inmaterial en sectores en que la dimensión infraestructural antes era impensable.

Por eso, hay que revisar el concepto actual de infraestructura. Actualmente la infraestructura designa las instituciones que mantienen las funciones económica, cultural, educativa y sanitaria de un país, la infraestructura blanda, o «todas las cosas estables necesarias para la movilidad y un intercambio entre personas, bienes e ideas» [6]6 — Laak, Dirk van. 2018. „Alles im Fluss“. Die Lebensadern unserer Gesellschaft – Geschichte und Zukunft der Infrastruktur. Frankfurt am Main: S. Fischer Verlag. , la infraestructura dura. Una característica esencial que define la infraestructura blanda y la dura es la estabilidad, procesal en el caso de la infraestructura blanda o física en el caso de la infraestructura dura. Son una forma de planificación fundamental para el diseño metódico del acceso, la distribución y la interacción con bienes y servicios de interés para un colectivo. Para Foucault, este es un aspecto fundamental del poder político. Su concepto de dispositivo que regula la política sanitaria, sexual o arquitectónica fue innovador porque ampliaba la definición de poder de unas meras reglas a un conjunto de «relaciones de poder, prácticas y acciones» [7]7 — Elden, Stuart. 2016. Foucault’s Last Decade. Cambridge: Polity Press. que se describen tanto en la normativa como en la infraestructura material y los mecanismos. Así pues, la infraestructura es la planificación del poder y su distribución por medio de una serie de normas que plasman las ideas sociales de eficiencia y equidad de los procedimientos y la distribución.

Otra característica relevante de la infraestructura es que la modularidad le es inherente. La crítica que Hannah Arendt hacía de la burocratización del asesinato durante el Tercer Reich alemán es una crítica fundamental de la infraestructura blanda [8]8 — Arendt, Hannah. 2006. Eichmann in Jerusalem: A Report on the Banality of Evil. New York: Penguin Books. . La administración como infraestructura blanda (que Max Weber había considerado el mecanismo de las democracias para garantizar la igualdad ante la ley y sus procedimientos en oposición con la arbitrariedad de las autocracias carismáticas) comporta riesgos. La división de los procesos de exterminación en pasos o módulos administrativos normalizados hizo que los individuos descontextualizaran cada módulo del proceso más amplio y facilitó la distancia moral de su consecuencia final. La administración banalizó el mal en un procedimiento burocrático que oscurecía la responsabilidad con la modularización, de manera que los burócratas del sistema eran responsables sólo de un paso del proceso.

Automatizar un proceso con IA significa añadir una fina capa para arbitrar permanentemente las interacciones con todas las partes implicadas

Además, la infraestructura suele tener un carácter interdependiente: las infraestructuras de la información y las telecomunicaciones dependen fundamentalmente de la infraestructura eléctrica.

Una última característica que se tiene que mencionar es la inexistencia de infraestructuras y bienes infraestructurales para los hogares y las empresas por motivos relativos a la producción y el coste: Aunque el pan puede satisfacer el hambre, no es un bien infraestructural, ya que los ingredientes para elaborarlo son fáciles de encontrar; hoy cualquier persona se puede hacer el pan» [9]9 — Buhr, Walter. 2009. “Infrastructure of the Market Economy, Volkswirtschaftliche Diskussionsbeiträge” Fachbereich Wirtschaftswissenschaften, Wirtschaftsinformatik und Wirtschaftsrecht: Discussion Paper No. 132–09. U. Siegen. .

Dado que los costes fijos varían mucho en función de los bienes capitales, la infraestructura se proporciona en diferentes formas de mercado: sobre todo monopolios (naturales; por ejemplo, el suministro eléctrico), pero también con competencia (por ejemplo, la construcción de viviendas). Aunque un hogar puede pagar un generador o placas fotovoltaicas, un suministro eléctrico constante y fiable sigue necesitando una conexión en la red, que es la infraestructura que un hogar no puede asumir.

La inteligencia artificial implica muchos de estos aspectos. Tiene prerrequisitos físicos como cables y hardware. No tiene unas propiedades estables: sus fórmulas y su código cambian constantemente. Sin embargo, crea una capa estable con una estructura formalizada matemáticamente que coincide o complementa las reglas y limitaciones de las infraestructuras blanda y dura. Además, automatiza procesos gracias a la modularización técnica y matemática: cada proceso se divide en diferentes pasos según los requisitos técnicos, pero no necesariamente según el contexto administrativo y social. Los sistemas de IA no son instrumentos ni derivaciones de las reglas y los mecanismos de la infraestructura blanda. Siguen una lógica diferente paralela en la de la infraestructura blanda y, por lo tanto, requieren su clasificación propia.

Las redes sociales, por ejemplo, se podrían considerar una forma de infraestructura inmaterial del sector de las comunicaciones. Una capa de software organiza la interfaz, el tiempo y el formato (vídeo, texto, fotografía) en que las personas interactúan entre sí. Así, esta infraestructura normaliza y modera la comunicación con las reglas y las normas de la infraestructura blanda (en este caso, la libertad de expresión, los derechos individuales, etc.) y su mercado actual está integrado por monopolios definidos por el formato [10]10 — Las empresas tecnológicas actuales tienen posiciones de monopolio en sus formatos específicos: el formato que ofrece Twitter es diferente de los que ofrecen Instagram, Snapchat, YouTube o Facebook. .

Dado que la infraestructura es la expresión arquitectónica de la política de una sociedad, la IA es una tecnología que tiene un impacto arquitectónico sobre las sociedades y, por lo tanto, a una escala más colectiva que individual

Los sistemas de seguridad predictivos serían otro ejemplo. Como están habituados a identificar patrones de conducta para categorías delictivas concretas, se aplican estratégicamente para evitar delitos similares. Por ejemplo, los grupos delictivos organizados tienen un modus operandi para los robos y, en un intervalo de tiempo y un parámetro geográfico determinados, esta información se utiliza metódicamente para evitar que estos mismos actores cometan robos parecidos a la zona. Un sistema de seguridad predictivo para esta finalidad normalizaría la geografía de una ciudad e identificaría la unidad geográfica mínima. Se crearía a partir de una serie de definiciones y decisiones humanas: qué categorías de datos se utilizarán y cuáles se descartarán; qué antigüedad tendrán los datos y si estas tendrán fecha de caducidad; qué categorías delictivas se incluirán y se relacionarán entre sí, etc. Con eso, la información sobre el delito, la geografía de la jurisdicción, etc. se estructura y se «dadifica» (y se guarda en forma de normas y reglas sobre datos utilizables que funcionan junto con las que la infraestructura blanda establece). Aunque informar, asistir y, así, sistematizar el trabajo policial depende mucho de las ideas y los conceptos de optimización, equidad y eficiencia [1]1 — Freyer, Hans. 1987. “Herrschaft und Planung. Zwei Grundbegriffe der politischen Ethik.“ In Herrschaft, Planung und Technik. Aufsaetze zur politischen Soziologie, edited by Hans Freyer, 17–43. Weinheim: VCH Verlagsgesellschaft. p. 22 de los diferentes actores que diseñan y aplican la tecnología, la traducción de estas ideas sociales de eficiencia y equidad en algoritmos está restringida por las reglas matemáticas y los límites de la «dadificación» [12]12 — No todos los contextos y circunstancias sociales pueden transformarse íntegramente en datos. . Así, la infraestructura blanda y la infraestructura inmaterial son dos sistemas independientes que se influyen dialécticamente y se limitan recíprocamente.

Otro aspecto fundamental de la IA como arquitecta y moderadora de las relaciones sociales, las prácticas y las actuaciones es el valor en torno al cual giran sus reglas de optimización. Los sistemas de IA optimizan un objetivo o valor específico en detrimento de otros valores. ¿Un sistema optimiza la eficiencia en el sentido del pragmatismo o de la equidad?

Todos los ejemplos anteriores ilustran rasgos de la tecnología que también se pueden aplicar a otros sectores y servicios arbitrados por la IA: la salud, la agricultura, la movilidad, las comunicaciones, el bienestar social, la banca, el comercio electrónico, la ocupación, etc. El uso de la inteligencia artificial en estos sectores implica la normalización y la creación de una segunda capa de normas en módulos matemáticos que estructurarán automáticamente las relaciones humanas, las prácticas y las interacciones en este contexto.

Dado que la infraestructura es la expresión arquitectónica de la política de una sociedad, la IA es una tecnología que tiene un impacto arquitectónico sobre las sociedades y, por lo tanto, a una escala más colectiva que individual.

El individualismo metodológico inherente a las normas y las leyes occidentales

Los algoritmos y la inteligencia artificial no entienden a los individuos. Y las democracias, desde su perspectiva de la dogmática legal, no entienden a los colectivos. El planteamiento ético occidental y sus culturas jurídicas tienen una metodología individualista y una ontología antropocéntrica. En la historia de la teoría política de la legitimación del poder político, la sociedad ideal (el orden político legítimo) sólo se podía conseguir con ciudadanos moralmente buenos. Así, primero de todo, el individuo tenía deberes y obligaciones hacia la sociedad, pero los derechos que emanaban de estas obligaciones no eran fundamentales para la existencia de la sociedad. El constitucionalismo modificó la narrativa: la concentración de poder en un orden político era legítima si conseguía proteger los derechos fundamentales de las personas. Antes la sociedad debía derechos a sus ciudadanos y de estos derechos emanaban las obligaciones. Con la narrativa nueva, los derechos vendían primero y las obligaciones después.

Este fue el nacimiento narrativo de la legitimación del poder democrático occidental, basada en la idea de que el poder político está para proteger a las personas. Pero el estado Leviatán, el monstruo con el monopolio de la violencia, se creó para proteger a las personas contra una forma de violencia muy concreta, una guerra de todo el mundo contra todo el mundo.

“Que alguien acepte, si los otros también consienten y mientras se considere necesario para la paz y la defensa de sí mismo, renunciar a este derecho a todas las cosas y satisfacerse con la misma libertad, ante los otros hombres, que les sea concedida a los otros con respecto a sí mismo. En efecto, mientras alguien mantenga su derecho de hacer todo lo que le guste, los hombres se encuentran en situación de guerra.” [13]13 — Hobbes, Thomas. 1968. Leviathan. Edited by Crawford Brough Macpherson. London: Penguin Books.

El objetivo del estado Leviatán no era garantizar libertades y derechos a las personas, sino superar la guerra (civil) y facilitar la vida en sociedad con la garantía de unas libertades y unos derechos limitados para las personas. Los derechos eran determinantes para hacer que la sociedad y la cooperación entre individuos fueran posibles.

La mayor parte de las teorías constitucionalistas parte de una visión egocéntrica, racionalista y antropológica del hombre. La construcción del contrato social tenía que incentivar al hombre para aceptar la cesión de poder y confiar en la arquitectura política resultante para poder cooperar y beneficiarse individualmente en la estructura normativa dada. Cada vez más, el énfasis al gritar a la racionalidad de los individuos para aceptar y cumplir el contrato social distraía del propósito de la racionalidad y los incentivos contractuales [14]14 — Junto con el precepto de la ilustración de atreverse a saber, el uso de la racionalidad, el incremento de los índices de alfabetización y la permeación de la narrativa contractual en las expectativas culturales de las sociedades, surgió el concepto de privacidad, que marcaba el umbral donde acababa el poder del Estado. Tanto la racionalidad como la privacidad reforzaban el planteamiento metodológico individualista del contrato social. Esto llevó a Jürgen Habermas (en Strukturwandel der Öffenlichkeit. Untersuchungen zu einer Kategorie der bürgerlichen Gesellschaft, ‘La transformación de la vida pública. Investigaciones sobre una categoría de la sociedad burguesa’) y a Richard Sennett (en El declive del hombre público) a criticar profundamente la manera en la que este hecho erosiona la dimensión pública de las vidas de los ciudadanos y, con esto, aspectos esenciales de la esfera pública y la cohesión social. .

La autonomía individual sólo se puede obtener con un prisma social y básicamente depende del marco estructural en que opera.

Los cercopitecos verdes tienen una jerarquía para la alimentación en que las hembras dominantes comen primero y durante más rato; en cambio, los perros comen solos y no comparten la comida. Un prisma individualista centrado únicamente en los beneficios y derechos individuales consideraría que un animal que puede comer primero y tanto como quiera es claramente el que disfruta de más libertad. Sin fijarnos en el contexto estructural más amplio, eso se podría aplicar a un animal que viva en un zoo o en una perrera. Casi todos los animales que viven en bandadas tienen jerarquías de dominio que se reflejan en la alimentación, la reproducción y otros aspectos vitales. En general, los animales domésticos no pueden vivir en bandada y tienen más dependencia y jerarquía con un dueño humano. El dominio sobre uno mismo no se define con los beneficios o derechos individuales, como comida sola, sino con factores relacionales que dependen de la estructura en que estos derechos se integran.

El planteamiento ético occidental y sus culturas jurídicas tienen una metodología individualista y una ontología antropocéntrica

En consecuencia, una gran parte de las culturas democráticas dispone de instrumentos jurídicos para valorar el impacto, ofrecer protección y rectificar, sólo a escala individual. Ya hay ejemplos políticamente relevantes debidos a la falta de calificaciones basadas en riesgos y daños estructurales. La aplicación de seguimiento para deportistas Strava publicó un mapa en que se mostraban todos los rastros de actividades de los usuarios de la aplicación por todo el mundo. Los datos eran anónimos. No obstante,

“en sitios como Afganistán, Yibuti y Siria, parece que los usuarios de Strava son casi exclusivamente personal militar extranjero, cosa que significa que las bases destacan mucho. En la provincia de Helmand (Afganistán), por ejemplo, se pueden ver claramente las ubicaciones de las bases de operaciones avanzadas, que brillan de color blanco sobre el mapa negro” [15]15 — Hern, Alex. 2018. “Fitness tracking app Strava gives away location of secret US army bases.” Accessed Jan. 4, 2019. .

De la misma manera, algunos programas informáticos para la seguridad predictiva que se utilizan en la Unión Europea no entran dentro del ámbito de la regulación y la evaluación exhaustiva de los impactos: en diferentes lugares de Alemania, la policía federal utiliza un software para predecir los robos, con un modus operandi concreto, en un intervalo de tiempo y un parámetro geográfico determinados, por medio de datos anónimos sobre el tipo de delito y el procedimiento, así como los datos geográficos. El software tiene sentido en las regiones con menos agentes porque puede ayudar a la policía a hacer turnos de patrulla más eficientes en relación con la prevención de robos. Las autoridades federales de protección de datos correspondientes permitieron el uso del software porque no procesaba datos personales y, por lo tanto, no era objeto de su competencia.

Pero estos sistemas dejan abiertas muchas cuestiones de carácter social. Si el software se alimenta con datos históricos, en consecuencia, despierta preocupación por los sesgos étnicos estructurales relacionados con los códigos postales: ¿hasta qué punto el banco de datos refleja las asimetrías de los datos? ¿Cómo se puede controlar la representación para que algunas regiones no estén sobre-representadas y otras estén infrarrepresentadas? ¿En qué medida el sistema potencia este tipo al sesgo étnico y, por lo tanto, afecta a la cohesión social de una ciudad? ¿Si se observa más presencia policial en las regiones más pobres estructuralmente, los residentes se sentirán más seguros o se provocará el éxodo masivo de los residentes que se puedan permitir una vivienda en otra zona de la ciudad? ¿Cómo y en qué medida este instrumento se integra significativamente en una estrategia más amplia de prevención? Este es otro ejemplo de la necesidad de un planteamiento más colectivo para evaluar los sistemas algorítmicos.

Sin embargo, sólo en algunas áreas del derecho (el derecho laboral, por ejemplo) la mayor parte de culturas jurídicas dispone de instrumentos para abordar la dimensión colectiva de la discriminación. En el futuro la discriminación será un fenómeno que se observará en todos los sectores en que se utilice la IA, ya sea la distribución de energía o recursos básicos, el sector sanitario o bien el bienestar social. El hecho de que la discriminación no exista sólo en el sector laboral y que estas tecnologías se utilizarán en todos los sectores apunta a uno de los vacíos legales que las nuevas tecnologías ponen más en evidencia.

Por estos motivos, centrarse en los derechos individuales paradójicamente perjudica la autonomía y los derechos individuales. La autonomía del individuo depende en gran medida del marco social y la infraestructura en que esta autonomía se ejerce. Poder comer solo no es un signo del dominio de uno mismo. La ausencia de perjuicio individual en relación con los derechos humanos o fundamentales no significa que los seres humanos no salgan perjudicados en general. El perjuicio social existe y valorar el impacto sobre la sociedad exige preguntas y criterios diferentes de los que se aplican a los derechos humanos y fundamentales.

Definición de los valores que modelan la infraestructura inmaterial equitativa

Desde hace mucho tiempo, los europeos son conscientes de los posibles conflictos entre los diferentes tipos de infraestructura material debidos a la escasez de espacio. En 1970 el Consejo de Europa inició las conferencias europeas de ministros responsables de la ordenación territorial (CEMOT), que condujeron a la aprobación, el año 2000, de los principios rectores del desarrollo territorial sostenible en el continente europeo. En 1999 la Unión Europea creó la Perspectiva de desarrollo territorial europeo, un marco político que proporciona las condiciones y los criterios determinantes para la creación de redes transeuropeas (transporte, energía, telecomunicaciones). Tanto el Consejo Europeo como la Unión Europea consagran la cohesión social como uno de los principios rectores de sus políticas y sus marcos de ordenación territorial cuando se construye y coordina la infraestructura (material). Aun así, el conflicto entre el carácter normalizador y homogeneizador de los cables, los puentes y las carreteras y su impacto sobre las sociedades pluralistas todavía no ha sido objeto de un debate riguroso comparable al debate sobre la ciudadanía. Si el techo de un paso subterráneo o un túnel es demasiado bajo para los autobuses, sólo los usuarios de coches (sobre todo privados) lo podrían utilizar y se excluiría a las personas que sólo se pueden permitir el transporte público. ¿Qué alternativas se ofrecen para garantizar el acceso entre las zonas a ambos extremos del túnel?

El ejemplo anterior del túnel con el techo bajo es similar a muchos ejemplos del sesgo que se observan en los sistemas algorítmicos, como por ejemplo el dispensador automático de jabón que no detecta a los usuarios con la piel más oscura. El problema detrás del dispensador de jabón era una cuestión del sesgo en el grado de normalización. La tecnología de infrarrojo próximo no detecta bien la piel más oscura y, como los desarrolladores y verificadores de estos artículos eran personas de piel clara, este problema pasó desapercibido durante mucho de tiempo.

Los dos ejemplos tienen que ver con la creación de normas a partir de hipótesis implícitas sobre los seres humanos y sus contextos que no reflejan la alteridad, es decir, la variedad en la naturaleza humana y los contextos sociales.

Aunque la aplicación concreta de la infraestructura material se reduce a cifras y normas matemáticas presuntamente neutras, en un nivel más abstracto su impacto social colectivo se justifica con normas y reglas escritas en el continente europeo. Los principios rectores de la creación y coordinación de la infraestructura están consagrados en las políticas correspondientes de ordenación territorial a escala local, regional, nacional y continental. Estos principios son un conjunto de criterios para orientar, examinar y evaluar el impacto de la infraestructura que se puede aplicar a los sistemas algorítmicos:

  • Equilibrar las condiciones sociales, económicas, ecológicas y culturales (teniendo en cuenta también las asimetrías geográficas)
  • Proteger la diversidad
  • Ofrecer un acceso seguro y continuo a los servicios públicos y garantizar la igualdad de oportunidades
  • Proporcionar una estructura económica equilibrada que favorezca un amplio abanico de oportunidades
  • Proteger y desarrollar culturas
  • Garantizar la sostenibilidad y el respeto a la naturaleza
  • Garantizar que se tiene en cuenta la necesidad de proporcionar defensa y protección civil
  • Garantizar las condiciones necesarias para la cohesión social


Y, aunque estas cuestiones y estos planteamientos tienen un impacto sobre los individuos, la estrategia y los criterios difieren esencialmente del catálogo de cuestiones que se aplica al planteamiento de los derechos individuales. Los principios que se enumeran aquí son más adecuados para generar un análisis más profundo del impacto de los sistemas algorítmicos porque ofrecen respuestas a escala estructural. Muchas democracias conocen este planteamiento más colectivista a escala reguladora y normativa. Sin embargo, algunos aspectos e implicaciones de la infraestructura necesitan un análisis todavía más profundo y más reflexión jurídica y metodológica.

En conclusión, los sistemas algorítmicos y la inteligencia artificial como tecnologías colectivistas ponen de relieve una debilidad de las democracias: el individualismo metodológico de los sistemas democráticos ha caracterizado la estrategia normativa de los poderes democráticos. Las democracias, sin embargo, también tienen propósitos sociales, aunque los instrumentos reguladores correspondientes no están tan desarrollados. La aplicación de la IA exige una reflexión social. En esta nueva era de la automatización, la tarea más urgente para las democracias es desarrollar la idea de interés público, el bien común y la forma de la sociedad.

  • Referències

    1 —

    Freyer, Hans. 1987. “Herrschaft und Planung. Zwei Grundbegriffe der politischen Ethik.“ In Herrschaft, Planung und Technik. Aufsaetze zur politischen Soziologie, edited by Hans Freyer, 17–43. Weinheim: VCH Verlagsgesellschaft. p. 22

    2 —

    Mannheim, Karl. [1935] 1958. Mensch und Gesellschaft im Zeitalter des Umbaus. Darmstadt: Wissenschaftliche Buchgesellschaft.

    3 —

    Kizer, Ben H. 1939. “The Need for Planning.” In National Conference on Planning. Proceedings of the Conference held at Minneapolis, Minnesota, June 20-22, 1938. Chicago: 1–9.

    4 —

    Sloot, Bart van der. The Individual in the Big Data Era: Moving towards an Agent-Based Privacy Paradigm.

    5 —

    Foucault, M. 1980. “The Confession of the Flesh” [Interview, 1977]. In Power/Knowledge: Selected Interviews and Other Writings, edited by Colin Gordon, 194-228. New York, NY: Pantheon Books.

    6 —

    Laak, Dirk van. 2018. „Alles im Fluss“. Die Lebensadern unserer Gesellschaft – Geschichte und Zukunft der Infrastruktur. Frankfurt am Main: S. Fischer Verlag.

    7 —

    Elden, Stuart. 2016. Foucault’s Last Decade. Cambridge: Polity Press.

    8 —

    Arendt, Hannah. 2006. Eichmann in Jerusalem: A Report on the Banality of Evil. New York: Penguin Books.

    9 —

    Buhr, Walter. 2009. “Infrastructure of the Market Economy, Volkswirtschaftliche DiskussionsbeiträgeFachbereich Wirtschaftswissenschaften, Wirtschaftsinformatik und Wirtschaftsrecht: Discussion Paper No. 132–09. U. Siegen.

    10 —

    Las empresas tecnológicas actuales tienen posiciones de monopolio en sus formatos específicos: el formato que ofrece Twitter es diferente de los que ofrecen Instagram, Snapchat, YouTube o Facebook.

    11 —

    Estos datos de eficiencia y equidad no necesariamente se tienen que especificar en las reglas que constituyen una infraestructura blanda. Pueden ser la expresión de las expectativas y los prejuicios sociales comunes en una sociedad contraria a las reglas jurídicas y administrativas.

    12 —

    No todos los contextos y circunstancias sociales pueden transformarse íntegramente en datos.

    13 —

    Hobbes, Thomas. 1968. Leviathan. Edited by Crawford Brough Macpherson. London: Penguin Books.

    14 —

    Junto con el precepto de la ilustración de atreverse a saber, el uso de la racionalidad, el incremento de los índices de alfabetización y la permeación de la narrativa contractual en las expectativas culturales de las sociedades, surgió el concepto de privacidad, que marcaba el umbral donde acababa el poder del Estado. Tanto la racionalidad como la privacidad reforzaban el planteamiento metodológico individualista del contrato social. Esto llevó a Jürgen Habermas (en Strukturwandel der Öffenlichkeit. Untersuchungen zu einer Kategorie der bürgerlichen Gesellschaft, ‘La transformación de la vida pública. Investigaciones sobre una categoría de la sociedad burguesa’) y a Richard Sennett (en El declive del hombre público) a criticar profundamente la manera en la que este hecho erosiona la dimensión pública de las vidas de los ciudadanos y, con esto, aspectos esenciales de la esfera pública y la cohesión social.

    15 —

    Hern, Alex. 2018. “Fitness tracking app Strava gives away location of secret US army bases.” Accessed Jan. 4, 2019.

Lorena Jaume-Palasí

Lorena Jaume-Palasí és una de les expertes d’IA més prominents a Espanya i a les Balears. Experta també en filosofia del dret, el seu treball està enfocat envers els aspectes ètics de la digitalització i l’automatització. Va cofundar la ONG AlgorithmWatch i, poc després, The Ethical Tech Society, més centrada en la rellevància social dels sistemes automàtics. El 2017 va ser designada pel govern espanyol com a integrant del Consell de Savis sobre Intel·ligència Artificial i Big Data, dins la Secretaria d’Estat d’Agenda Digital. És cofundadora de la Dynamic Coalition on Publicness del Fòrum de Governança d’Internet de les Nacions Unides (IGF), on dirigeix la secretaria de la secció nacional alemanya. També lidera projectes sobre governança d’Internet a l’Àsia i Àfrica.