Daniel García San José
Fernando Llano Alonso
César Villegas Delgado
El homo tecnologicus se encuentra ante una nueva ola tecnológica, impulsada por una tecnología de uso general con profundas implicaciones sociales, que le obligará a enfrentarse, en las décadas venideras, a las cuestiones más fundamentales que nunca se haya planteado nuestra especie. A propósito de los efectos transformadores de la nueva ola tecnológica, Mustafa Suleyman y Michael Bhaskar, sostienen en un libro reciente que, en la actualidad, nos encontramos ante un problema de contención de la tecnología de la IA, en cualquier fase de su desarrollo y distribución, y que, si en última instancia no se puede impedir que la tecnología prolifere, ni controlar su onda expansiva de consecuencias no deseadas, tanto si son positivas como negativas, al menos debería limitarse. Se trata, en definitiva, de un enorme reto ético-jurídico al que nuestra especie deberá enfrentarse más pronto que tarde.
Durante la mayor parte de la historia, el reto de la tecnología consistía en la creación y la liberación de su poder. Ahora es al revés: el reto radica en la contención del poder desatado y en garantizar que siga prestándonos servicio tanto a nosotros como al planeta[1].
En relación con el nuevo ciudadano de la sociedad algorítmica, hay dos casos que explican por qué se ha ido degradando la presunción del carácter invulnerable de dichas libertades a medida que aumenta nuestra confianza (lo cual también implica dependencia) o delegamos cada vez más la toma de nuestras propias decisiones en las llamadas tecnologías de frontera (IA, robótica, tecnologías conexas como el Internet de las cosas, big data, blockchain, nanotecnología, edición genética…)
En el primer supuesto, no se puede decir que la restricción de nuestra libertad de elección sea involuntaria, puesto que somos los humanos quienes pedimos expresamente a esas tecnologías que decidan por nosotros porque presumimos que sus soluciones automatizadas son más neutrales, eficaces y exactas que las decisiones humanas desde un punto de vista científico.
En la segunda hipótesis, nuestras decisiones las tomaríamos sobre la base informativa que proporciona la tecnología, por lo que no podríamos decir que exista en ese caso una amenaza externa a nuestra libre voluntad, puesto que nuestro proceso de razonamiento deliberativo se apoya en fuentes de información que nos proporcionan los buscadores y las redes sociales de Internet a las que, por cierto, les concedemos una absoluta credibilidad, pues presumimos que son científicamente precisas y fiables.
Pero en realidad, esta confianza no tiene nada que ver con la ciencia ni la investigación. En efecto, las plataformas en las que encontramos nuestras fuentes de datos e información utilizan algoritmos de aprendizaje con patrones de comportamiento a partir de las preferencias de los individuos ante alternativas con las que se encuentran a diario.
Así pues, la precisión de los algoritmos se debe en realidad al hecho de que se limitan a confirmar -alimentando para ello un “sesgo de confirmación”- nuestras creencias, convicciones y posiciones ideológicas más arraigadas: efecto burbuja [bubble effect], lo cual contribuye a potenciar tanto los sesgos de conformación, como la segregación y la polarización de los individuos en la sociedad algorítmica[2].
El desarrollo de las nuevas tecnologías -y en particular las de IA- sitúa ante un dilema a los detractores y partidarios de sus efectos (positivos y negativos) en la medida que, por un lado, entraña determinados riesgos, pero, por otro lado, también propicia muchas oportunidades, debido precisamente a carácter novedoso[3].
Los sistemas algorítmicos ofrecen nuevas respuestas y un aumento de la precisión en la toma de decisiones automatizadas. En este sentido, por ejemplo, los sistemas algorítmicos predictivos prestan una gran ayuda a las administraciones públicas tanto en la mejora del rendimiento de los servicios públicos, como en una gestión más eficiente de los recursos. Por otra parte, las tecnologías algorítmicas aportan a los ciudadanos plataformas sofisticadas en las que pueden obtener información, expresarse libremente, establecer relaciones sociales y compartir ideas. Contemplada desde esta perspectiva positiva, la IA desarrollada con tecnologías algorítmicas puede resultar un factor propicio para la ciudadanía en el ejercicio de los derechos y las libertades, y una oportunidad para las democracias constitucionales[4].
En el presente número 1/2025 de nuestra revista presentamos ocho artículos originales que abarcan cuestiones diversas y complejas que van desde la predicción algorítmica de los delitos y la justicia algorítmica en el proceso civil, hasta la libertad de expresión y la protección de datos o la fiabilidad de la información digital en el contexto europeo.
En el primer artículo, su autora, Elisabet Cueto Santa Eugenia, analiza el uso de herramientas de predicción criminal, prestando especial atención a sus implicaciones éticas y jurídicas. En una primera parte, se expone el origen y desarrollo de estas tecnologías en el contexto anglosajón, especialmente el uso del profiling y el predictive policing, y se examinan los riesgos inherentes a su aplicación, como la posible reproducción de sesgos discriminatorios y la afectación desproporcionada a colectivos vulnerables. Asimismo, se aborda la cuestión de la transparencia en el funcionamiento de los algoritmos y el tratamiento de datos personales. En una segunda parte, el estudio se centra en el contexto español, analizando el uso de dos sistemas predictivos concretos: el sistema VioGén, orientado a la evaluación del riesgo en casos de violencia de género, y RisCanvi, utilizado en el ámbito penitenciario catalán para valorar la peligrosidad de las personas privadas de libertad. A través del examen de estos ejemplos, se reflexiona sobre la tensión entre la utilidad preventiva de estas herramientas y la necesidad de salvaguardar los derechos fundamentales en el marco del proceso penal.
Por su parte, Paulo Ramón Suárez Xavier analiza la viabilidad de incorporar inteligencia artificial (IA) en la apreciación de la prueba en el proceso civil, con especial atención a la segunda instancia. A partir de un estudio doctrinal y comparado, se examina el concepto y evolución de la prueba, sus principios constitucionales y los límites del uso de tecnologías predictivas. Se argumenta que, si bien la IA no puede sustituir la función valorativa del juez, sí puede actuar como herramienta de apoyo. Se abordan riesgos como la falta de transparencia algorítmica, el sesgo y la posible afectación al derecho a la tutela judicial efectiva. Finalmente, se proponen criterios para su uso ético y garantista. El artículo busca contribuir al debate sobre justicia digital y transformación judicial.
En el tercer artículo, su autora, Milagros López Gil, dedica su estudio a uno de los instrumentos que, regulados en la LJCA de 1998, pretendía luchar contra la litigiosidad masiva: la extensión de efectos de las sentencias; instrumento posteriormente exportado al resto de órdenes jurisdiccionales -civil y social-. No obstante, a pesar de la apuesta decidida del legislador por esta herramienta para dotar de una mayor eficiencia a la Administración de justicia, su regulación es imperfecta lo que ha planteado numerosos problemas que están limitando su eficacia, lo que nos obliga a realizar un análisis no sólo de su ámbito, requisitos y límites sino del modo en el que la Inteligencia Artificial puede ayudar a los tribunales en la aplicación de este instrumento.
En el cuarto artículo, del que es autora Alicia González Navarro, se lleva a cabo un estudio en clave de derecho comparado sobre el régimen jurídico previsto para la documentación de las vistas públicas de los procesos penales en España difiere del previsto en Alemania. Si bien en España, principalmente desde la entrada en vigor de la Ley 13/2009, de 3 de noviembre, de reforma de la legislación procesal para la implantación de la nueva Oficina judicial, se generalizaron las grabaciones audiovisuales de los juicios orales, la Strafprozessordnung alemana, a pesar de varios intentos de tramitación legislativa fallidos (el último de ellos bastante reciente), no contempla a día de hoy la posibilidad –y, por lo tanto, mucho menos la obligación– de registrar audiovisualmente las vistas públicas en el orden penal. Son varios los temores (entre ellos, una supuesta distorsión en la búsqueda de la verdad, la seguridad de las víctimas, la protección de datos personales o el régimen de los recursos, en particular, la denominada Revision alemana) que han llevado al legislador alemán a esta situación, la cual, vista desde la perspectiva de la Administración de justicia española, se percibe, cuando menos, como inmovilista.
Desde un punto de vista científico-jurídico, Mª José González Ordovás se plantea dos interrogantes clave: ¿para qué la Universidad? ¿Para qué la educación? Como explica esta catedrática de Filosofía del Derecho de la Universidad de Zaragoza, desde diferentes sectores y perspectivas se viene poniendo en duda la importancia de una y otra, pero además, también se pone en tela de juicio el papel de las Humanidades en la formación en general y en la universitaria, en particular. La prematura fiebre especializadora y utilitarista en el grado en Derecho tiende a expulsar, o a ahogar, la enseñanza-aprendizaje de todas aquellas disciplinas que no vean traducción directa en el mercado laboral, identificando de forma no neutra sociedad y mercado. Todo lo relativo al Espacio Europeo de Educación Superior (EEES) y Bolonia no pueden quedar al margen de esa reflexión. Y, por supuesto, sin descuidar la notable influencia ejercida por el modelo de formación universitaria sobre la democracia.
Desde un punto de vista iusinternacionalista humanitario, Iraida A. Giménez y Rocío Sanabria Menjivar analizan la situación de los niños nacidos mediante gestación subrogada en el contexto del conflicto armado Rusia-Ucrania desde un enfoque complementario que integra el derecho internacional humanitario, los derechos humanos y el derecho penal internacional, a fin de evaluar los vacíos normativos que agravan su vulnerabilidad. Tras exponer los marcos jurídicos aplicables y sus brechas, en su estudio muestran cómo el conflicto intensifica los riesgos de traslado forzoso, trata y adopción ilícita de estos menores. Con base en dicho análisis se tipifican las conductas que podrían constituir crímenes de lesa humanidad y crímenes de guerra conforme al Estatuto de Roma. Finalmente, en su artículo ambas autoras presentan recomendaciones destinadas a subsanar la ausencia de medidas específicas en la Política sobre la Infancia de la Fiscalía de la CPI y aboga por una mayor atención y protección de este grupo vulnerable.
A propósito del control creciente de la información y la manipulación mediática en la era digital se plantean riesgos para la libertad de expresión y la protección de datos personales. En este sentido, Rafael Vázquez Díaz examina en su artículo cómo la infocracia, el papel de los medios de comunicación, la opacidad y las amenazas a la privacidad en la era digital, afecta a la democracia. A través de un análisis cualitativo de literatura especializada, estudios de casos históricos y teorías contemporáneas sobre medios y política se robustece la tesis de que los medios de comunicación distorsionan la realidad, los algoritmos limitan la diversidad de opiniones y la privacidad está amenazada por la recolección masiva de datos. El estudio reafirma, a manera de conclusión, que la democracia, en su concepción liberal, está en crisis debido a la infocracia y a la falta de regulación en el manejo de la información digital, subrayando la necesidad de recuperar la racionalidad en los discursos y garantizar la privacidad de las personas.
Por último, dentro de este primer apartado de doctrina, Celia Carrasco Pérez dedica su artículo a estudiar la fiabilidad de la información digital en el contexto europeo tiene que ver con la importancia de dotar a la evidencia de un ciberdelito de la autenticidad suficiente para que alcance valor probatorio en un marco globalizado de almacenamiento de datos volátiles. La ciberdelincuencia parte de unos hechos que bajo la forma de hechos electrónicos dan lugar a datos e información electrónica que permanece alojada en los servidores y plataformas electrónicas. Lo cual supone que la autenticación de la información requiere la colaboración y cooperación con los prestadores de servicios de Internet, esto es, el sector privado, Estados miembros y terceros estados. A su vez, una cooperación eficaz requiere la adopción de medidas de aseguramiento tecnológico. Los esfuerzos por elaborar una arquitectura que favorezca el aseguramiento y traslado de datos digitales bajo la forma de información electrónica se han venido impulsando por la Unión Europea. Un proceso que llega a su madurez a partir del Reglamento (UE) 2023/1543 relativo a la Orden de Producción y Conservación.
La sección de comentarios contiene una selección de las ponencias presentadas en el Congreso Internacional «IA y digitalización: aplicaciones, retos y oportunidades», organizado conjuntamente por el Doctorado en Humanidades, Tecnología y Sociedad (Unimore, Fundación Colegio San Carlo, Almo Colegio Borromeo) y el Doctorado en Derecho (Universidad de Sevilla), bajo la coordinación de los profesores Gianfrancesco Zanetti, Thomas Casadei, Matteo Rinaldini y Fernando Llano. Este congreso internacional se desarrolló entre los días 6-7 de febrero de 2025, en la Sala de Juntas de la Facultad de Derecho de la Universidad de Sevilla.
Este el primer artículo de esta sección, Claudia Severi investiga la compleja relación entre la transformación digital y la educación, centrándose en el cambio desde las primeras estructuras de Internet hasta la actual infosfera impulsada por la inteligencia artificial y permanentemente conectada. En este sentido, la iusfilósofa de Castellarano explora de forma crítica la evolución de las políticas de educación digital, en particular dentro de la Unión Europea, y pone de relieve las tensiones entre las oportunidades tecnológicas y las cuestiones educativas. Si bien las herramientas digitales ofrecen vías prometedoras para la personalización y la inclusión, también amplifican las preocupaciones sobre la desigualdad, la brecha digital y la erosión de las prácticas pedagógicas centradas en el ser humano. El análisis subraya cómo la IA, si no se regula, puede reforzar los prejuicios y socavar los derechos, especialmente los de los menores. Basándose en marcos como el Plan de Acción de la UE sobre Educación Digital y las recomendaciones de la UNESCO, así como en la Convención de las Naciones Unidas sobre los Derechos del Niño, el artículo aboga por una educación digital basada en los derechos, con fundamentos éticos y centrada en el ser humano. Solo a través de este enfoque la educación podrá cumplir su función democrática y garantizar que la tecnología apoye, en lugar de sustituir, el desarrollo y la capacidad de acción de las personas.
En el segundo artículo de esta sección, Sandro Luce examina la transformación de las formas de gobierno contemporáneas a partir del cruce entre biopolítica y tecnologías digitales, en especial el papel de los algoritmos en la producción de subjetividades. A partir del pensamiento de Michel Foucault, el autor rastrea cómo la gestión moderna de la vida —acentuada durante la pandemia de COVID-19— transita de una racionalidad estadística, basada en el conocimiento probabilístico, hacia una racionalidad algorítmica opaca, automatizada y descontextualizada. Esta mutación revela un nuevo régimen de verdad: los algoritmos no solo predicen, sino que producen comportamientos al margen de la reflexión crítica. La digitalización masiva, impulsada por la emergencia sanitaria, intensificó formas de vigilancia y control que fragmentan a los sujetos en flujos de datos. El artículo cuestiona la supuesta neutralidad técnica de los sistemas predictivos y destaca su impacto en la agencia humana, proponiendo una crítica a la “tiranía del algoritmo”. Frente a este panorama, se reivindica la necesidad de construir zonas de fricción que permitan subjetividades menos gobernadas, capaces de resistir la automatización del juicio y de abrir espacios para la acción y el disenso.
En tercer lugar, Eugenio Capitani dedica su estudio al fenómeno de la alienación, ampliamente debatido en el discurso filosófico, sociológico y económico, especialmente en el contexto del capitalismo industrial. Con la llegada de la inteligencia artificial, la automatización y las tecnologías digitales, el concepto tradicional de alienación ha evolucionado, integrándose en el panorama socioeconómico y tecnológico moderno. Este artículo explora la alienación como marco teórico y lente empírica para comprender las transformaciones provocadas por la digitalización y la inteligencia artificial. Basándose en las tradiciones marxista y existencialista, este estudio revisa el concepto fundamental de alienación de Karl Marx y su posterior elaboración por teóricos como Georgy Lukács (1981) y Rahel Jaeggi (2005, 2020). En la era digital, surgen nuevas formas de alienación, impulsadas por la gestión algorítmica, la fragmentación del trabajo y el aumento de la vigilancia en el lugar de trabajo. La erosión de la autonomía de los trabajadores, la difuminación de las fronteras entre la vida laboral y la personal, y la estandarización del trabajo creativo en los procesos impulsados por la IA se examinan como dimensiones clave de este fenómeno. Los estudios empíricos revelan los efectos tangibles de la alienación digital en diversos sectores, en particular en la economía gig y la educación, donde la digitalización ha remodelado los roles tradicionales y reducido la agencia humana. La intensificación del control algorítmico y la subordinación del trabajo humano a los sistemas automatizados exacerban la sensación de distanciamiento e impotencia que experimentan los trabajadores. Sin embargo, se exploran posibles soluciones, como el desarrollo ético de la IA, los modelos de trabajo cooperativo y las garantías legislativas, como medios para mitigar la alienación digital. Al abordar de forma crítica la cuestión de la alienación, este documento subraya la necesidad de reevaluar las relaciones laborales en la era digital. A medida que la inteligencia artificial sigue transformando las economías y las estructuras sociales, abordar los retos de la alienación digital se convierte en una necesidad imperiosa para configurar un futuro tecnológico más equitativo y sostenible.
Por último, José Sánchez Hernández revisa en su artículo la controvertida aplicación de la inteligencia artificial (IA) en la genómica humana, planteando interrogantes críticos sobre la protección de nuestros datos genéticos y los riesgos asociados al patrimonio genético de la humanidad. Desde una perspectiva jurídico-constitucional y bioética, la recopilación, almacenamiento, procesamiento y tratamiento de información genética mediante tecnología algorítmica genera una disyuntiva sin precedentes, ya que, a pesar de que la información contenida en nuestro ADN es única, inmutable y altamente sensible -lo que la convierte en un activo valioso tanto para la investigación científica como para el mercado biotecnológico-, la posibilidad de un uso indebido abre el debate sobre los riesgos para la privacidad, la seguridad y los derechos fundamentales individuales (y colectivos). En este escenario, resulta imprescindible fortalecer la legislación sobre bioética y derechos digitales, garantizando mecanismos de transparencia, consentimiento informado y supervisión efectiva en el manejo de la información genética, de ahí que se proponga la creación de nuevo método de tutela y garantía frente a la IA: el status processualis civis IA.
Finalmente, en el apartado de reseñas, Adriana Fillo Mazo comenta el libro de Elena Carolina Díaz Galán, La protección diplomática: El caso español, Ed. Dykinson, S.L., Madrid, 2024, 230 páginas; Diego Fierro Rodríguez es reseña la obra colectiva dirigida por Román García-Varela Iglesias, e-Justicia inteligente: navegando por los desafíos de la arquitectura de la información y la IA. Colex, 2024, 280 páginas; y María Luisa Domínguez Barragán es autora de una recensión al libro coordinado por José María Asencio Gallego y Noemí Jiménez Cardona., Algoritmización la justicia penal: teoría y práctica; Colección Procesal Penal (coordinada por Vallespín Pérez, David); Juruá, Brasil, 2024, 377 páginas.
[1] M. SULEYMAN y M. BHASKAR, La ola que viene, trad. esp. C. Fernández, Debate, Barcelona, 2023, p. 58.
[2] Longo, E., “Dai big data alle ‘bolle filtro’: nuovi rischi per i sistema democratici”, Percorsi costituzionali, 1/2019, pp. 29-44; Simoncini, A. – Longo, E. (2022), “Fundamental Rights and the Rule of Law in the Algorithmic Society”, en: Constitutional Challenges in the Algorithmic Society, H-W. Micklitz, O. Pollicino, A. Reichman, A. Simoncini, G. Sartor and G. De Gregorio (Editors), Cambridge University Press, Cambridge (UK), pp. 27-41.
[3] Price, M. E., “The Newness of Technology”, Cardozo Law Review, 22/2001, p. 1885.
[4] Pollicino, O. – De Gregorio, G., “Constitutional Law in the Algorithmic Society”, en: Constitutional Challenges in the Algorithmic Society, H-W. Micklitz, O. Pollicino, A. Reichman, A. Simoncini, G. Sartor and G. De Gregorio (Editors), Cambridge University Press, Cambridge (UK), 2022, pp. 3-24.