Mientras la inteligencia artificial aprende a escribir poesía, aún no ha aprendido a repartir justicia. Esa paradoja es la clave para entender por qué la IA aparece hoy en los discursos de innovación y en las demandas por derechos humanos al mismo tiempo. No es una exageración; los sistemas algorítmicos (desde plataformas de selección de personal hasta modelos para decidir créditos o predecir riesgos judiciales) ya medían decisiones que afectan empleos, libertades y acceso a servicios básicos. El problema no es sólo técnico; es político y jurídico. Las máquinas codifican memorias históricas, y si esas memorias contienen exclusión de género, racismo o desdén por la sostenibilidad, la automatización tenderá a reproducir y amplificar esas injusticias. La Agenda 2030 colocó la innovación en el centro del desarrollo (ODS 9) y simultáneamente subrayó la necesidad de igualdad de género (ODS 5), reducción de desigualdades (ODS 10) y gobernanza inclusiva (ODS 16). La tensión que vive el derecho hoy es precisamente esa: ¿cómo articular una gobernanza de la IA que transforme la reproducción de desigualdades en oportunidad de inclusión, sin renunciar al carácter disruptivo de la tecnología? La respuesta exige políticas públicas, regulación robusta y un giro conceptual; pasar de una ética voluntaria corporativa a derechos y obligaciones exigibles. Hay datos que obligan al derecho a actuar.

Diversos informes muestran la persistente subrepresentación femenina en la industria tecnológica y en los equipos que construyen los modelos de IA. Las estimaciones más recientes sitúan a las mujeres en torno a 20-30 % de la fuerza laboral de IA según diferentes mediciones (WEF, ONU Mujeres). Esto no es trivia académica; significa que el diseño de los modelos es mayoritariamente masculino, y que las prioridades (qué datos se recogen, qué se considera “normal”) quedan sesgadas por esa demografía. Dicha exclusión no afecta a todas las mujeres por igual; se profundiza cuando se cruza con variables como raza, origen étnico, clase social, discapacidad o contexto migratorio, generando formas interseccionales de discriminación algorítmica que el derecho no puede seguir tratando como efectos colaterales. Esa realidad explica por qué, en la práctica, la IA reproduce patrones discriminatorios ya documentados en la vida analógica; sistemas de reclutamiento que penalizan candidatas, algoritmos de puntuación crediticia que subestiman perfiles femeninos y herramientas biométricas inexactas con rostros femeninos o de personas racializadas.

La evidencia empírica de estos sesgos ha sido contundente en casos documentados que se han vuelto referencias canónicas en la discusión pública y jurídica. El motor de reclutamiento de Amazon, descartado tras detectar sesgos contra mujeres, y las evaluaciones de riesgo criminal como COMPAS, cuestionadas por ProPublica por sesgos raciales, son ejemplos que muestran la transformación de prejuicios humanos en reglas automáticas (Reuters; ProPublica).

La autorregulación ya demostró sus límites. Durante años, la industria tecnológica promovió códigos éticos y “principios” para la IA como solución suficiente. Sin embargo, filtraciones, escándalos sobre uso de datos y fallos operativos han mostrado que la ética sin ley es una declaración de buenas intenciones. La intervención pública y el derecho no son meras trabas; son los instrumentos que definen responsabilidades, mecanismos de reparación y límites a usos de alto riesgo. En ese sentido, la Unión Europea ha dado un salto normativo con el AI Act (Reglamento (UE) 2024/1689, publicado en julio de 2024), que clasifica los sistemas de IA por riesgo y obliga medidas de mitigación, transparencia y gobernanza para los sistemas de alto impacto. El AI Act marca una pauta mundial y obliga a repensar modelos regulatorios en otras regiones: no se trata solo de imponer reglas técnicas, sino de afirmar que la IA debe servir a derechos humanos y no erosionarlos.

Pero la experiencia europea no es una panacea. El AI Act, aunque pionero, ha recibido críticas relevantes. Activistas y académicos señalan vacíos en la incorporación explícita de la perspectiva de género, escasa atención a las asimetrías globales de poder (quién entrena y quién se beneficia de los modelos), y un riesgo real de crear cargas de cumplimiento que privilegien a grandes actores sobre pequeñas iniciativas públicas o comunitarias. En síntesis, la norma es necesaria, pero no suficiente para transformar el diseño y uso de la IA desde una lógica de justicia distributiva global. A ese debate jurídico se suma la tensión ecológica.

La letanía sobre la sostenibilidad digital deja de ser académica cuando sabemos que la computación a gran escala consume energía y recursos. Estudios recientes muestran que los modelos de lenguaje grande y las infraestructuras de entrenamiento tienen huellas de carbono considerables; la cuantificación exacta depende del método, pero la conclusión es inequívoca; el despliegue masivo de IA tiene costos ambientales que deben evaluarse en cualquier marco de gobernanza responsable. Al tiempo que la IA puede ser usada para optimizar redes eléctricas, monitorear biodiversidad o mejorar gestión de recursos, su propia infraestructura puede agravar la huella climática si se la deja fuera del cálculo de sostenibilidad. La discusión sobre la huella energética y la opacidad de los centros de datos es reciente pero urgente; investigadores y medios especializados alertan sobre la falta de transparencia en la contabilidad energética de los grandes proveedores de modelos.

Si el problema tiene aristas técnicas, también tiene causas institucionales. En España, la Agencia Española de Protección de Datos (AEPD) abrió en 2023 actuaciones previas contra OpenAI por posibles incumplimientos de normativa de protección de datos, al señalar la vía de la regulación de privacidad como herramienta para contener riesgos algorítmicos. Esa intervención europea y nacional ilustra cómo los derechos tradicionales (privacidad, acceso a la información, tutela judicial efectiva) son el punto de anclaje para una gobernanza de la IA con perspectiva de derechos. En América Latina, el panorama es más fragmentado; hay avances normativos y estrategias nacionales, pero prevalece la heterogeneidad y la ausencia de marcos integrales obligatorios que combinen ética, género y sostenibilidad en un régimen coherente. Los casos judiciales y reguladores ofrecen lecciones prácticas sobre lo que funciona y lo que no. El expediente Amazon (2018) dejó claro que un algoritmo “busca” lo que los datos le enseñan; cuando se le alimentó con una historia laboral dominada por hombres, aprendió a preferir hombres. La respuesta no fue técnica sola (corregir peso de variables) sino organizativa y legal: exigir auditorías, transparencia en criterios y supervisión externa. 

En el campo penal, la polémica en torno a COMPAS y otras herramientas mostró que la “explicabilidad” técnica no es sinónimo de justicia; las métricas de rendimiento pueden ocultar sesgos que afectan a grupos enteros; y, sobre todo, que confiar decisiones de libertad o castigo a cajas negras es incompatible con la tutela judicial efectiva y los estándares de no discriminación. Estos casos impulsaron, en múltiples jurisdicciones, la exigencia de evaluaciones de impacto algorítmico y la prohibición de ciertas aplicaciones de alto riesgo (por ejemplo, biometría invasiva o decisiones automatizadas sin supervisión humana significativa).

Este escenario abre la puerta al litigio estratégico en materia de inteligencia artificial. A medida que las decisiones automatizadas se integran en servicios públicos, empleo, seguridad o acceso a prestaciones, resulta jurídicamente viable —y necesario— activar acciones colectivas, controles de constitucionalidad y mecanismos de tutela judicial efectiva frente a sistemas algorítmicos que produzcan efectos discriminatorios o desproporcionados. El litigio estratégico puede cumplir una doble función: reparar violaciones concretas de derechos y, al mismo tiempo, forzar estándares regulatorios más altos mediante precedentes judiciales que limiten la delegación acrítica de decisiones en algoritmos.

La dimensión de género exige políticas públicas específicas. No basta con “más mujeres en tecnología” (aunque eso es imprescindible); se requiere una intervención normativa que haga obligatoria la evaluación de impacto de género para sistemas automatizados que afecten empleo, crédito, salud o seguridad. Esa evaluación debería ser análoga a las evaluaciones de impacto ambiental: pública, participativa, vinculante y sujeta a auditoría independiente. Además, las licitaciones y compras públicas deberían condicionar la contratación de soluciones de IA a criterios de paridad en los equipos de diseño, pruebas de sesgo y planes de mitigación. De lo contrario, la digitalización de los servicios públicos reproducirá la discriminación estructural en escala masiva. La justicia algorítmica pasa también por democratizar los datos.

Hoy existe una asimetría epistemológica que podríamos llamar “colonialismo de datos”; grandes corporaciones globales acumulan volúmenes masivos de datos (principal insumo de la IA), mientras que comunidades locales (rurales, indígenas, mujeres en contextos vulnerables) no sólo están subrepresentadas en esos datos, sino que sufren externalidades por aplicaciones que no conocen y no controlan.

Un enfoque de derechos exige soberanía de datos, acceso a información sobre criterios y derivaciones de modelos y la posibilidad de impugnar decisiones automatizadas con recursos efectivos. En este punto, la Carta de Derechos Digitales de España (2021) y la discusión sobre la AI Act son referenciales porque muestran cómo articular derechos digitales con deberes de Estado y obligaciones corporativas. Pero la experiencia europea debe ser complementada con normas que atiendan a la justicia distributiva global; por ejemplo, criterios de acceso a beneficios tecnológicos para países del sur y regímenes de transferencia tecnológica con equidad.

La sostenibilidad, por su parte, necesita métricas y transparencia. No existe todavía un estándar internacional consensuado para medir la huella ambiental de modelos de IA ni obligaciones regulatorias de reporte energético para proveedores de servicios de nube y modelos generativos. Eso crea un vacío donde la innovación ecológica queda en manos del voluntarismo corporativo. El derecho puede intervenir imponiendo obligaciones de reporte ambiental sobre los proveedores de servicios de IA, y condicionar incentivos públicos (contratos, subvenciones) a criterios de eficiencia energética, y promover investigación pública sobre soluciones menos intensivas en carbono. Integrar la sostenibilidad en la gobernanza de la IA no es una concesión verde; es condición para que la tecnología contribuya a los ODS y no los socave.

Los tribunales climáticos y ambientales contemporáneos ofrecen una hoja de ruta que puede trasladarse a la gobernanza algorítmica. Casos como Urgenda (Países Bajos) o la sentencia del Tribunal Constitucional Federal alemán (2021) sobre la Ley de Protección del Clima demuestran que las cortes están dispuestas a intervenir cuando las políticas públicas transfieren cargas desproporcionadas al futuro o a grupos vulnerables. Si la inacción ambiental puede ser objeto de tutela constitucional, ¿por qué la delegación normativa y de decisiones en algoritmos no podría convertirse también en materia de acción judicial colectiva? La analogía no es forzada; así como las emisiones afectan derechos humanos de generaciones futuras, las decisiones algorítmicas afectan hoy derechos de grupos concretos; ambos fenómenos requieren remedios colectivos, transparencia y planificación a largo plazo.

Desde el punto de vista práctico, propongo cuatro líneas de acción normativa y de política pública que son exigibles y concretas:

1. Evaluaciones de impacto obligatorias (EIA), con módulo de género y sostenibilidad, para cualquier sistema de IA que afecte derechos fundamentales o prestaciones públicas. Estas EIA deberían publicarse y someterse a control por autoridades independientes y por actores sociales (ONG, asociaciones de usuarias).
2. Registro público de sistemas de decisión automatizada (tipo “registro de emisiones” para IA), con información sobre datos empleados, métricas de sesgo, responsables y fecha de evaluación; el acceso a este registro debe ser sencillo y efectivo para las personas afectadas.
3. Auditorías algorítmicas independientes y sancionadoras, con poder de imponer multas y suspensiones; las auditorías deben ser técnicamente rigurosas y socialmente inclusivas (incluir peritos de género y representantes de comunidades afectadas).
4. Cláusulas de contratación pública socialmente responsables, que condicionen compras de soluciones de IA a criterios de paridad en equipos, cumplimiento de EIA y planes de minimización de huella ambiental.

Estas medidas no son teóricas. Ya hay experiencias piloto que muestran viabilidad. Por ejemplo, los requisitos de explicabilidad y pruebas de sesgo del AI Act pueden combinarse con registros públicos y auditorías para lograr mayor rendición de cuentas. En España, la AEPD ha puesto de manifiesto la necesidad de supervisión proactiva en la era de los modelos generativos; replicar ese enfoque con potestades sancionadoras efectivas es una vía democrática para contener riesgos.

El desafío transnacional exige cooperación. La IA no respeta fronteras: un modelo entrenado en el norte global opera en el sur, decidiendo sobre usuarios a los que ni siquiera representa. Por eso, la gobernanza debe incluir transferencia tecnológica, apoyo a capacidades regulatorias en países de renta media y baja, y esquemas de datos compartidos que eviten la extracción unilateral. La Fundación Carolina, instituciones europeas y organismos multilaterales pueden jugar un papel clave en diseñar programas de cooperación que prioricen derechos, género y sostenibilidad; formación de reguladores, programas de auditoría técnica regional y fondos de investigación pública sobre IA responsable.

Finalmente, la academia y el mundo jurídico deben integrarse con la ingeniería. No basta con expertos en derecho que pidan transparencia; hacen falta juristas con alfabetización técnica y equipos interdisciplinarios que diseñen estándares operativos. Las facultades de derecho deben actualizar sus currículos para incluir ética de datos, metodologías de auditoría algorítmica y evaluación de impacto; las escuelas de ingeniería deben enseñar ética jurídica. Esa confluencia es la única forma de que las soluciones normativas no se queden en declaraciones de principios.

La IA puede ser el gran aliado de la Agenda 2030 o su peor enemigo; dependerá de si somos capaces de someterla al imperio del derecho, a la mirada crítica de la sociedad y a la exigencia de la sostenibilidad. Si no intervenimos con audacia regulatoria y cooperación internacional, la automatización simplemente escalará la desigualdad. Si lo hacemos, podemos transformar la tecnología en instrumento de justicia; una IA que no sólo calcule, sino que también empodere, repare y distribuya. Porque al final la pregunta no es si las máquinas pueden pensar; es si nosotros diseñaremos unas máquinas que piensen en todas nosotras.