1. Introducción
   Las conexiones entre automatización, inteligencia artificial (IA) y contratación pública han sido ya objeto de valiosos trabajos y casos de uso desde diferentes perspectivas¹. En esta aportación me centro en una idea complementaria a las que se han expresado hasta ahora: puesto que el sector público está acudiendo masivamente a la contratación de estas herramientas de soporte a los procedimientos administrativos −se estima que un tercio del sector público español ya aplica soluciones de robotización e IA²−, se debe garantizar la participación de juristas en todas las fases de la contratación³. Esto implica, por lo que se refiere al sector público, la necesidad de que haya expertos jurídicos en IA en la preparación (pliegos) y en la adjudicación de los contratos, así como en el control de su ejecución y cumplimiento; y, en el sector privado, la ejecución del contrato debe confiarse a equipos multidisciplinares entre cuyos integrantes existan juristas. Solo de esta manera evitaremos que se lleven a cabo desarrollos de IA incompatibles con el marco jurídico, y que estas inversiones acaben frustrándose por pronunciamientos judiciales que anulen las decisiones sustentadas en esta tecnología, como viene sucediendo en otros países. Sin contar con el riesgo reputacional que, tanto para el sector público como para el privado, conllevarían estas decisiones judiciales, dado el impacto mediático que les viene generalmente asociado, por la expectación que generan.
2. El marco jurídico de la robotización y la inteligencia artificial: supervisión, auditoría y control… jurídicos
   La robotización y la inteligencia artificial (IA) se están incorporando al quehacer ordinario del sector público, como herramientas que agilizan la gestión, contribuyen a mejorar las decisiones y con ello también los servicios públicos, por lo que redundan igualmente en beneficios para la ciudadanía.
   No existe aún un marco normativo específico que regule el uso de estas tecnologías con el suficiente nivel de desarrollo, esto es: no se ha promulgado una norma de cabecera sobre IA, ni en el sector público ni en el privado. Pero es obvio que su empleo impacta en relevantes derechos y, por lo que concretamente se refiere a su uso por el sector público, se encuentra además sujeto a las reglas que específicamente rigen su actuación. En este sentido, el JRC ha destacado la necesidad de considerar reglas y principios específicos aplicables al sector público cuando se implantan soluciones de IA en este ámbito⁴, y el Parlamento Europeo ha puesto de manifiesto las diferencias que existen en su propuesta de Reglamento entre la aplicación de la IA al sector público y al privado⁵.
   Existe una literatura jurídica cada vez más profusa⁶, que identifica una serie de elementos esenciales que configuran el marco jurídico de la IA en el sector público: la protección de datos personales (art.18 CE), el derecho a la igualdad y a no padecer discriminación (art.14 CE), el derecho a la tutela judicial efectiva sin que se produzca indefensión (art.24 CE), los derechos de la ciudadanía en la legislación del procedimiento administrativo y régimen jurídico básico del sector público (con particular mención a la motivación de los actos administrativos y el derecho a la buena administración), el régimen de la transparencia del sector público, etc.
   Esta advertencia es particularmente destacable cuando la automatización y la IA se usan como soporte a la toma de decisiones: reconocimiento de derechos (como el otorgamiento de subvenciones), acceso a servicios públicos (educación, sanidad), condiciones laborales en el empleo público (complementos salariales, asignación de puestos de trabajo), etc.
   El principal precepto que específicamente regula actualmente la cuestión es el art.41 de la Ley 40/2015, de 1 de octubre, de régimen jurídico del sector público. Determina que, “En caso de actuación administrativa automatizada deberá establecerse previamente el órgano u órganos competentes, según los casos, para la definición de las especificaciones, programación, mantenimiento, supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente”⁷.
   Aunque puedan existir diferentes interpretaciones acerca del alcance de este precepto⁸, en mi opinión, articula la obligación de que los sistemas de actuación administrativa automatizada e IA sean objeto de “supervisión y control de calidad y, en su caso, auditoría del sistema de información y de su código fuente”. No hace la imposición de manera directa, pero sí indirecta o implícita, tal y como sucede, por ejemplo, con el Punto de Acceso General electrónico, cuya necesaria creación por las Administraciones públicas deriva indirectamente del art.13 a) de la Ley 39/2015, de 1 de octubre, del procedimiento administrativo común de las Administraciones públicas (LPAC)⁹.
   El precepto se alinea con las exigencias que se vienen expresando por la literatura especializada¹⁰, que reclama la necesidad de que estas soluciones tecnológicas se sometan a supervisión humana¹¹, auditoría y control, desde la fase de diseño hasta su entrada en servicio efectiva, y, además, con revisiones periódicas que verifiquen su adecuado funcionamiento.
   La cuestión que queremos resaltar es que la supervisión humana no puede limitarse a la faceta tecnológica: en los equipos que desarrollen y supervisen los sistemas de IA deben integrarse necesariamente personas con formación jurídica, pues en otro caso no serán suficientemente tenidas en consideración las exigencias jurídicas que rodean la implantación de estos sistemas.
   Como es sabido, las Administraciones públicas carecen −en su mayoría y, al menos, hasta ahora− de medios técnicos suficientes para desarrollar por sí mismas soluciones de automatización o inteligencia artificial, por lo que es habitual externalizar esta tarea mediante su contratación pública. Pues bien, un cribado de los pliegos que se vienen publicando evidencia que no hay perfiles jurídicos en la ejecución de estos contratos: la conformación de los equipos de trabajo responsables de la ejecución incluye a ingenieros, informáticos, consultores e incluso expertos en comunicación, pero no a juristas. En mi opinión, esto constituye un grave problema, porque todos estos especialistas son necesarios, y desarrollarán su trabajo magníficamente bien, pero sin tener a la vista los −intensos− condicionamientos jurídicos que rodean la implantación de estas soluciones, por lo que cabe pensar que no serán suficientemente tenidos en consideración.
   Esto puede provocar que acaben presentándose graves conflictos sobre la infracción de los requerimientos jurídicos que rodean la implantación de estas soluciones. Y que no solo acaben judicializándose, pues además, tales conflictos pueden desembocar en la anulación de las decisiones adoptadas mediante estos sistemas, y, por consiguiente, impidiendo su continuidad. Ya ha ocurrido así en otros países, como Holanda¹², Italia¹³ o Austria ¹⁴−por mencionar algunos ejemplos− en los que los tribunales han anulado decisiones del sector público adoptadas mediante estos sistemas: en unos casos, por vulneración del derecho a la igualdad, al incurrir en sesgos de alcance discriminatorio; en otros, por vulnerar garantías esenciales del derecho a la defensa, como la necesidad de conocer las razones o motivos por los que estos sistemas de información adoptaron las decisiones.
   Esto representa un grave riesgo reputacional para las Administraciones públicas que promuevan ámbitos de robotización o IA, así como acaba por arruinar la cuantiosa inversión económica afrontada para su puesta en marcha.
   Me parece obvio que se trata de una carencia que debe subsanarse. Los equipos que aborden el desarrollo de robotización e IA han de ser multidisciplinares. Y además de los profesionales ya enunciados, deberían integrarse también por otras especialidades, como lingüistas o filósofos (por la dimensión ética que pueda verse involucrada en el sistema).
3. Las herramientas mediante las que llevar a cabo la supervisión, auditoría y control jurídico de la automatización y la IA en el sector público
   Aunque se trata de tres aspectos o dimensiones diferentes, los abordamos aquí de manera unitaria por cuanto que las herramientas que se vienen desarrollando para la supervisión, auditoría y control jurídico de la robotización y la IA a veces entrecruzan estos ámbitos, o bien aluden a alguno de ellos en su rúbrica mientras que, materialmente, regulan otros. Todo esto trae causa, seguramente, de que aún no parecen claros los parámetros mediante los que desplegar la auditoría de algoritmos e IA, como destaca James Bone¹⁵. Lo cual no significa que no deba hacerse, sino más bien, que es preciso aplicarse a desarrollar la mejor manera de llevarla a cabo. En este sentido se dispone ya de iniciativas relevantes.
   Por ejemplo, la Corte de Auditoría de Holanda hizo pública en febrero de 2021 una metodología para la auditoría de algoritmos: Understanding algorithms¹⁶. En la misma línea se está elaborando una herramienta específica para las entidades locales¹⁷.
   En la concreta vertiente de auditoría de protección de datos, recordemos que el aprendizaje de los algoritmos y la IA está esencialmente basado en el manejo de big data. Esto expone a infracciones de la estricta normativa de protección de datos. En esta cuestión existen herramientas específicas elaboradas por la AEPD: en febrero de 2020, “Adecuación al RGPD de tratamientos que incorporan Inteligencia Artificial. Una introducción”; y en febrero de 2021, “Requisitos para auditorías de tratamientos que incluyan inteligencia artificial”.
   Con un enfoque más amplio, viene hablándose también de la necesidad de un análisis de impacto (impact assessment) previo a la implantación de soluciones de IA en el sector público. Es el caso del informe preparado por Reisman y otros para el AInow Institute de la Universidad de Nueva York; o los trabajos de Moss y otros (2020)¹⁸, y de Kazim y otros (2021)¹⁹.
   También deben destacarse las reglas-modelo elaboradas por un prestigioso panel de juristas en el Instituto de Derecho Europeo (ELI): un documento excelente, y diseñado de manera específica para el sector público²⁰.
   Por su parte, el Gobierno de Canadá ya ha implantado una herramienta (la Algorithmic Impact Assessment Tool), en el marco de su Directiva de Decisiones Automatizadas²¹. Y Malta ha implantado un sistema voluntario de certificación de IA²². Entre nosotros, algo parecido viene reclamando Alexander Zlotnik²³.
4. Cómo articular la supervisión jurídica de la robotización y la IA en la contratación pública
   Ya hemos indicado que lo habitual es la externalización del desarrollo de procesos de robotización e IA, al carecer normalmente la Administración de medios propios para afrontar la tarea. En este sentido, los términos en que se plantee la contratación de estos servicios es una previsión absolutamente crucial.
   Es de vital importancia que, en los pliegos de prescripciones técnicas de estos procedimientos de contratación, se definan adecuadamente todas las exigencias legales a las que debe ajustarse el sistema, se prevea la presencia de juristas en los equipos de trabajo y se instauren mecanismos de verificación del cumplimiento de tales requerimientos con ocasión de la ejecución de los contratos.
   Centrándonos en la manera de articular la supervisión, auditoría y control, desde la perspectiva jurídica, hemos de diferenciar tres aspectos: i) El perfil del especialista; ii) El momento en el que debe desplegar su trabajo; iii) La manera de articular la supervisión y auditoría jurídica por parte de la Administración contratante de soluciones de inteligencia artificial.
   1. Perfil del especialista
      Casi huelga decir que los profesionales jurídicos implicados en la supervisión, auditoría y control de procesos de robotización o implantación de soluciones de IA han de tener conocimientos específicos respecto al régimen jurídico de las TICs. Pero no solo eso: deben mostrar un manejo solvente de términos y conocimientos tecnológicos, o para ser más precisos, de conocimientos especializados en relación con el uso de la IA en el sector público, pues solo comprendiendo cómo se diseñan y funcionan estas soluciones tecnológicas estarán en disposición de supervisar, auditar y controlar que satisfacen adecuadamente las exigencias impuestas por el Derecho público.
      Además, tratándose de desarrollos para el sector público implicados en la toma de decisiones (lo que significa integrarse, de manera directa o indirecta, en un procedimiento administrativo), estos profesionales deben contar con conocimientos solventes específicamente jurídico-administrativos, debido al juego, en este ámbito, de reglas y principios específicos, como exponía en la Introducción. Así, deben garantizar que el sistema automatizado o de IA se ajusta a requerimientos del procedimiento administrativo, como, por ejemplo, contemplar la subsanación y mejora de la solicitud, articular un trámite de audiencia cuando se trate de actos desfavorables, o permitir la motivación de las decisiones adoptadas por el sistema, así como identificar claramente el órgano al que se imputa la actuación automatizada, y señalar el “pie de recurso”.
      La empresa contratista podrá disponer de los expertos en su plantilla, o bien integrarlos mediante subcontratación.
   2. El momento en el que articular la supervisión, auditoría y control
      La literatura jurídica ya citada insiste en que esta labor de supervisión, auditoría y control del sistema no es puntual o concreta, en un determinado momento del desarrollo de la solución. Por el contrario, debe iniciarse desde el momento mismo del diseño del sistema y proyectarse a todo lo largo de su ciclo de vida: antes de su puesta en servicio, mediante las correspondientes pruebas y comprobaciones; y, una vez iniciado su funcionamiento, revisándolo periódicamente para validar su correcto rendimiento.
      En efecto, no basta con auditar y supervisar el sistema antes de que comience a funcionar: es asimismo necesario llevar a cabo revisiones periódicas de su funcionamiento, para verificar su adecuación a Derecho. Desde el punto de vista jurídico, estas revisiones se orientan especialmente a depurar o evitar fallos de funcionamiento derivados de los datos empleados para entrenar el sistema y de las consecuencias que pueden deparar: por una parte, hay que comprobar adecuadamente que no se van produciendo sesgos −discriminatorios− de algún tipo; por otra parte, los sistemas se entrenan con datos antiguos que se usan para predecir o aplicarse al futuro, lo cual puede producir un desajuste o desactualización susceptible de alcanzar, asimismo, efectos discriminatorios, por lo que no solo es necesario analizar cómo se está comportando el sistema, sino también actualizar periódicamente los datos de que se nutre.
      Así pues, hay que tener prevista y desarrollar la supervisión, control y auditoría del sistema desde la fase inicial de preparación del contrato (redacción de los pliegos), y concretar los medios con los que llevarla a cabo a lo largo de su ejecución, debiendo extenderse durante todo el ciclo de vida de la solución implantada.
      La empresa contratista podría aportar estos especialistas mediante su plantilla o también mediante subcontratación. Es más, en ciertos procesos de control, y especialmente en la auditoría, será conveniente que el supervisor sea externo, a fin de preservar su objetividad. Esto determina la conveniencia −o en su caso, necesidad− de segmentar y dotar de independencia los procesos de control y auditoría respecto a los de desarrollo del sistema, ya sea estableciendo en los pliegos las condiciones de tal independencia, ya sea dividiendo el contrato en lotes y contemplando la incompatibilidad de las adjudicaciones entre sí. Si bien, en este último caso, debe quedar suficientemente claro el modo de preservar el secreto industrial sin que ello llegue a impedir el efectivo despliegue de las labores de supervisión, auditoría y control.
   3. La manera de articular la supervisión y auditoría jurídica por parte de la Administración contratante de soluciones de inteligencia artificial
      A la vista de cuanto llevamos expuesto, parece claro que la Administración también necesita juristas especialistas en robotización e IA en el sector público, incluso en el caso de su externalización, a fin de gestionar adecuadamente las fases de i) preparación; ii) licitación y adjudicación; y iii) ejecución del contrato.
      La contratación pública es un tema de gran capilaridad, afecta a muchos efectivos de la organización, desde la preparación del expediente (pliegos), que es una fase esencial, hasta la valoración de ofertas por las mesas y sus asesores técnicos, y la verificación de cumplimiento en la ejecución de contratos. Cuando los profesionales que se ocupan de todas estas tareas carecen de formación o conocimientos específicos del ámbito en cuestión es posible que se vean incapaces de desarrollar su labor (por ejemplo, de valorar adecuadamente las ofertas), y se corre el riesgo de “captura del regulador”, es decir, que los responsables administrativos sean persuadidos por el contratista de los términos en el que éste decide ejecutar el contrato.
      Ello puede conducir a riesgos muy diversos: no solo al incumplimiento del marco jurídico-público al que debe ceñirse la solución informática, sino que además, puede suceder que un proceso de toma de decisiones sea parametrizado finalmente por una empresa privada −no por el poder público−, quien no solo selecciona y procesa los datos mediante los que se nutre y entrena el sistema, sino que materialmente acaba decidiendo también los criterios que el propio sistema aplica para procesar esos datos y ofrecer decisiones.
      Estos riesgos pueden atemperarse mediante la formación de empleados que puedan desempeñar eficientemente el control de ejecución del contrato y, por derivada, la supervisión, auditoría y control del sistema de información y de su código fuente. Si atendemos al volumen de contratación que están adquiriendo estas contrataciones, la inversión que representa esta formación interna podría estar justificada.
      Ahora bien, dada la especificidad y complejidad de esta materia, puede ser preferible para la Administración la externalización también de un servicio de asesoramiento técnico en la contratación pública de estas soluciones. El servicio puede contemplar, así, la asistencia a la Administración contratante durante todas las fases de diseño y desarrollo de la solución: desde la redacción de los pliegos, a la adjudicación del contrato (asistiendo a la mesa de contratación mediante informes técnicos de valoración de las ofertas) y su ejecución (verificando las exigencias, ya apuntadas, de revisión periódica y auditoría del sistema).
      Sería un control externo a la empresa desarrolladora, compatible con la exigencia de juristas en los equipos de trabajo de esta última, y que podría ser el mejor modelo de desarrollo de estas soluciones, al fortalecer la posición de la Administración y diferenciar entre un control, auditoría o supervisión interno (de la propia empresa contratista sobre su sistema) y otro externo, independiente y objetivo (el de la Administración pública, realizado a su vez por una empresa asesora cualificada).

========================

Trabajo realizado en el marco del Proyecto de investigación UPO-1381574, “Inteligencia artificial y Derecho administrativo: problemática general y aplicaciones en la Junta de Andalucía”, Programa Operativo FEDER Andalucía 2014-2020.

¹Sin ánimo de exhaustividad, pueden consultarse: VALERO TORRIJOS, J.: “Inteligencia artificial y contratación del sector público”, ObCP, 27/01/2020; MIRANZO DÍAZ, J.: “Administración electrónica, transparencia y contratación pública”, en I. MARTÍN DELGADO y J.A. MORENO MOLINA (Dirs.), Administración pública, transparencia y contratación pública, Iustel, Madrid, pp.105 ss.; ANTIK, A.: “Contratación pública inteligente e inclusiva”, Blog de Jaime Pintos, 02/02/2022; GARCÍA RODRÍGUEZ, M.J.: “Análisis de datos y sistemas predictores en las licitaciones públicas”, en ObCP, 01/09/2022. ZULETA, M.: “¿Cómo la inteligencia artificial puede mejorar la contratación pública en América Latina?”, CAF, 23/08/2021. En cuanto a casos de uso, por ofrecer algunos ejemplos, puede verse el desarrollo implantado por Correos, 21/04/2021; o las propuestas de NTT Data, 03/03/2022; y VV.AA.: “Inteligencia artificial y contratación pública: haciendo predicciones del número de ofertas para un contrato, en gobierto.es, 01/11/2021, entre otros. También puede verse el webinario “Medios electrónicos e inteligencia artificial al servicio de la integridad en la contratación pública”, 10/03/2021, con intervenciones de Agustí CERRILLO, Javier MIRANZO, Anna CIUTAT, Pedro GIMÉNEZ y Camila SALAZAR; y el protagonizado por Antonio SÁNCHEZ ZAPLANA, “Contratación pública, innovación e inteligencia artificial”, en Gobierto, 21/11/2021 .

²Así se afirma en un informe encargado por Microsoft y elaborado por EY, Inteligencia artificial en el sector público. España. Perspectivas europeas para 2020 y años siguientes; en el que además se describen 213 casos relevantes de uso de la IA en España. También pueden verse otros datos significativos en JRC Datasets.

³Expuse estas ideas por primera vez en la ponencia “El control de la actuación administrativa basada en la inteligencia artificial”, en la jornada “Derecho administrativo e inteligencia artificial”, dirigida por Isaac Martín Delgado y organizada por el Centro de Estudios Luis Ortega Álvarez de la UCLM, el 15/01/2021; si bien, no había llegado a plasmarlas por escrito después de esa ocasión.

⁴Véase MANZONI M., MEDAGLIA R., TANGI L., VAN NOORDT C., VACCARI L., y GATTWINKEL D.: AI Watch. Road to the Adoption of Artificial Intelligence by the Public Sector, JRC-European Commission, Luxembourg, 2022.

⁵En GEORGIEVA, I.; TIMAN, T. y HOEKSTRA, M.: Regulatory divergences in the draft AI Act. Differences in public and private sector obligations, European Parliamentary Research Service, Brussels, mayo de 2022.

⁶Siendo innecesario referenciar toda la bibliografía existente, sí parece útil mencionar algunas aportaciones a modo de compilación de todos los aspectos señalados en el texto. Por ofrecer tan solo trabajos recientes, de nuestro entorno inmediato y especialmente centradas en el ámbito jurídico-administrativo, podemos mencionar los incluidos en el n.º 50 (2019) de la Revista General de Derecho Administrativo, con una sección monográfica coordinada por Andrés BOIX PALOP y Lorenzo COTINO HUESO, que incluye importantes aportaciones del propio Prof. Cotino y de Agustí CERRILLO MARTÍNEZ, Juli PONCE SOLÉ, Antonio MERCHÁN MURILLO, Dolors CANALS AMETLLER, Marina SANCHO LÓPEZ, Clara VELASCO RICO, Wilma ARELLANO TOLEDO, Adrián PALMA ORTIGOSA y Ana ABA-CATOIRA, entre otros. También es relevante el n.º 58 de la Revista Catalana de Dret Públic, con aportaciones de Agustí CERRILLO MARTÍNEZ, Lorenzo COTINO HUESO, Ramón GALINDO CALDÉS, Ricard MARTÍNEZ MARTÍNEZ Y Julián VALERO TORRIJOS. Asimismo, los trabajos incluidos en el n.º 1 (2020) de la European Review of Digital Administration & Law (ERDAL), que incluye una sección monográfica sobre IA con valiosos trabajos de Derecho español y comparado por cuenta de Jean-Bernard AUBY, Agustí CERRILLO MARTÍNEZ, Daniele MARONGIU, Julián VALERO TORRIJOS, Antonio BARONE, Maria Cristina CAVALLARO, Andrés BOIX PALOP, Lucie CLUZEL-MÉTAYER, Cristina FRAENKEL-HAEBERLE, Elena BUOSO, Angelo Giuseppe OROFINO, Fulvio CONSTANTINO, Fabio BRAVO, Elise DEGRAVE y Giovani GALLONE. Tampoco pueden dejar de citarse los 25 números que se han publicado de la revista Inteligencia Artificial, publicada por la Iberoamerican Society of Artificial Inteligence; y los trabajos de Andrés BOIX PALOP: “Los algoritmos son reglamentos: la necesidad de extender las garantías propias de las normas reglamentarias a los programas empleados por la Administración para la toma de decisiones”, Revista de Derecho Público: Teoría y Método, vol.1, 2020 Alejandro HUERGO LORA (Dir.): La regulación de los algoritmos, Aranzadi-Thomson-Reuters, Cizur Menor, 2020; Julio TEJEDOR BIELSA: “Transformación digital, blockchain e inteligencia artificial en la Administración pública”, Revista Española de Derecho Administrativo, n.º209, 2020; Juan Carlos HERNÁNDEZ PEÑA: “Decisiones algorítmicas de perfilado: régimen y garantías jurídicas”, Revista Española de Derecho Administrativo, n.º203, 2020, así como, del mismo autor, “Gobernanza de la inteligencia artificial en la Unión europea. La construcción de un marco ético-jurídico aún inacabado”, Revista General de Derecho Administrativo, n.º 56, 2021; y, más recientemente, El marco jurídico de la inteligencia artificial. Principios, procedimientos y estructuras de gobernanza, Aranzadi-Thomson-Reuters, Cizur Menor, 2022; CERRILLO MARTÍNEZ, A.: “El impacto de la inteligencia artificial en las Administraciones públicas: estado de la cuestión y una agenda”, en la obra dirigida por él mismo y por M. PEGUERA POCH, Retos jurídicos de la inteligencia artificial, Aranzadi-Thomson-Reuters, Cizur Menor (Navarra), 2020, pp.75 ss.; del mismo autor, “Automatización e inteligencia artificial”, en I. MARTÍN DELGADO (Dir.), El procedimiento administrativo y el régimen jurídico de la Administración pública desde la perspectiva de la innovación, Iustel-IVAP, Madrid, 2020, pp.389 ss.; VELASCO RICO, C.: “Tecnologías disruptivas en la Administración pública: inteligencia artificial y Blockchain”, en A. CERRILLO MARTÍNEZ (Dir.), La administración digital, Dykinson, Madrid, 2022; BAUZÁ MARTORELL, F.J: “Identificación, autenticación y actuación automatizada de las Administraciones públicas”, en GAMERO CASADO, E. (Dir.), Tratado de procedimiento administrativo común y régimen jurídico básico del sector público, vol.1, Valencia: Tirant lo Blanch, 2017, pp.787 ss.; y GÓMEZ PADILLA, R.: “Comentario al art.41 LRJSP”, in M.A. Recuerda-Girela (Ed.), Régimen jurídico del sector público y procedimiento administrativo común, Cizur Menor: Aranzadi-Thomson-Reuters, 2016, p.1.222 ff. Asímismo cabe citar algunas monografías recientes, como COTINO HUESO, L.; y TODOLÍ SIGNES, A. (Coords.): Explotación y regulación del uso del big data e inteligencia artificial para los servicios públicos y la ciudad inteligente, Tirant lo Blanch, Valencia, 2022; y TERÓN SANTOS, D.: Administración inteligente y automática. Una visión más allá del algoritmo, Colex, Madrid, 2022. Por último, puede verse mi aportación “Compliance (o cumplimiento normativo) de desarrollos de inteligencia artificial para la toma de decisiones administrativas”, Diario La Ley, n.º 50, Sección Ciberderecho, 19 de Abril de 2021.

⁷El art.13 del Real Decreto 203/2021, de 30 de marzo, por el que se aprueba el Reglamento de actuación y funcionamiento del sector público por medios electrónicos, desarrolla someramente la cuestión en lo relativo a la AGE; pero no aborda específicamente la cuestión.

⁸Sobre la actividad administrativa automatizada, siguen siendo de actualidad los trabajos de MARTÍN DELGADO, I.: “Naturaleza, concepto y régimen jurídico de la actuación administrativa automatizada”, Revista de Administración Pública, n.º 180, 2009; y URÍOS APARISI, X. y ALAMILLO DOMINGO, I.: La actuación administrativa automatizada en el ámbito de las Administraciones públicas. Análisis jurídico y metodológico para la construcción y explotación de trámites automáticos, Escola d’Administració Pública de Catalunya, Barcelona, 2011. Además, deben verse CERRILLO MARTÍNEZ, A.: “Robots, asistentes virtuales y automatización de las Administraciones públicas”, Revista Galega de Administración Pública, n.º 61, 2021, pp.271 ss.; y SORIANO ARNANZ, A.: “Decisiones automatizadas y discriminación: aproximación y propuestas generales”, Revista General de Derecho Administrativo, n.º 56, 2021 (también en línea, INAP); de la misma autora, ““Decisiones automatizadas: problemas y soluciones jurídicas. Más allá de la protección de datos”, Revista de Derecho Público: Teoría y Método, vol.3, 2021, pp.85 ss.

⁹Este precepto dispone que los ciudadanos tienen derecho “A comunicarse con las Administraciones Públicas a través de un Punto de Acceso General electrónico de la Administración”. Aunque los arts.38 y 39 LRJSP regulan, respectivamente, las sedes electrónicas y los portales de Internet, ningún precepto hace lo propio en relación con el PAGe. Lo cual no ha obstado a que las Administraciones públicas entiendan su existencia obligatoria, y a que el Tribunal Constitucional haya entendido lo propio en su sentencia 55/2018, de 24 de mayo, considerando que es ajustado al reparto constitucional de competencias que se imponga la existencia de esta modalidad de puntos de acceso a cada Administración.

¹⁰Véase la nota 1.

¹¹Vid. Especialmente PONCE SOLÉ, J.: “Inteligencia artificial, Derecho administrativo y reserva de humanidad: algoritmos y procedimiento administrativo debido tecnológico”, Revista General de Derecho Administrativo, n.º 50, 2019, pp.385 ss.

¹²El Tribunal de Distrito de La Haya pronunció una sentencia el 5 de febrero de 2020 (ECLI:NL:RBDHA:2020:865), comentada, entre otros, por Lorenzo Cotino Hueso, mediante la que anuló una elaboración de perfiles para la lucha contra el fraude implantada por el Gobierno holandés que únicamente se utilizó en los calificados como “vecindarios problemáticos”, concluyendo el Tribunal que ese criterio puede provocar exclusión, discriminación y estigmatización injustificadas. Desde 2013, 26.000 familias fueron injustamente acusadas de fraude y obligadas a devolver las subvenciones que recibieron. El impacto de este asunto ha sido tan alto, que acabó forzando la convocatoria de elecciones en Holanda.

¹³El Consejo de Estado italiano (equivalente a la Sala de lo Contencioso-Administrativo de nuestro Tribunal Supremo), ya ha tenido ocasión de pronunciarse sobre la exigencia de motivación de actuaciones administrativas basadas en algoritmos en dos sentencias que anulan decisiones administrativas que incumplen este requisito. Se trata de las sentencias núm.2270, de 8 de abril de 2019; y la núm.8472 de 13 de diciembre de 2019.

¹⁴Un tribunal contencioso-administrativo austríaco, en un caso en el que la Administración justificaba la imposibilidad de ofrecer una motivación adecuada respecto de la decisión adoptada por un sistema informático (VwSlg 11.728/1985), afirmó que “La legalidad de una decisión no puede medirse en función de las capacidades del sistema informático existente. Más bien, el sistema informático debe adaptarse a los requisitos legales”; el asunto se expone por F. MERLI, en el informe “Automated Decision Making Systems in national Administrative Law: An Austrian Perspective”, presentado en el seminario internacional celebrado en la Universidad de Friburgo los días 29 y 30 de septiembre de 2022, p.3..

¹⁵Véase James BONE, “Auditoría de Inteligencia Artificial”, (31/07/2020).

¹⁶Si bien abarca aspectos que, a mi juicio, trascienden del ámbito de la auditoría de sistemas propiamente dicha para abarcar otras materias. Por otra parte, el resumen ejecutivo está traducido al inglés, pero la metodología completa solo se encuentra disponible en flamenco.

¹⁷Por parte de MOTA SÁNCHEZ, E.V., y otros.

¹⁸Emanuel MOSS, Elizabeth Anne WATKINS, Jacob METCALF y Madeleine Claire ELISH: “Governing with Algorithmic Impact Assessments: Six Observations”, 24/4/2020.

¹⁹En este caso, relativo al Reino Unido; Emre KAZIM, Danielle MENDES, Thame DENNY y Adriano KOSHIYAMA: “AI auditing and impact assessment: according to the UK information commissioner’s office”, AI Ethics, 2021.

²⁰Se trata del informe Model Rules on Impact Assessment of Algorithmic Decision-Making System Used by Public Administration, European Law Institute, Viena, 2022. El equipo de trabajo, coordinado por Marek WIERZBOWSKI (Universidad de Varsovia), estuvo integrado principalmente por Marc CLÉMENT (magistrado francés), Paul CRAIG (Universidad de Oxford) y Jens-Peter SCHNEIDER (Universidad de Friburgo), contando además con otros colaboradores.

²¹De la que conviene consultar muy especialmente su Anexo C, a efectos de nuestro objeto de interés.

²²Si bien centrado en protección de datos. Véase https://malta.ai/.

²³En Alexander ZLOTNIK: “Inteligencia Artificial en las Administraciones Públicas: definiciones, evaluación de viabilidad de proyectos y áreas de aplicación”, Boletic, n.º 84, 2019, pp.24 ss.