Gobernanza de la IA y Regulación Algorítmica en MERCOSUR
INFORME DE CONSULTORÍA

Por: Karina Vanesa Salierno.

Resumen ejecutivo

El uso intensivo de modelos generativos y de scoring por consorcios internacionales, entrenados con corpus contractuales en inglés y doctrina anglosajona, produce, en su aplicación a contrapartes situadas en el MERCOSUR, un fenómeno triple:

• (i) Discriminación algorítmica indirecta sobre PYMEs, profesionales y artistas.
• (ii) Reducción de la diversidad jurídico-cultural por presión homogeneizante (regresión a la media).
• (iii) Afectación del núcleo dignitario protegido por el corpus iuris interamericano.

Se recomienda a UNIDROIT adoptar Orientaciones específicas de soft law coordinadas con la arquitectura institucional del MERCOSUR (Decisión CMC 36/19; SGT-13 Comercio Electrónico) y con los marcos nacionales emergentes (PL 2338/2023 brasileño; Disposición SSTI 2/2023 argentina; Decreto 64/020 uruguayo), bajo un modelo de gobernanza por capas¹.

Diagnóstico ético-jurídico²

1. Discriminación algorítmica indirecta

Los proxies utilizados en el procesamiento (idioma operativo, código postal, sector económico, historial bancario regional) reproducen patrones discriminatorios históricos. Barocas y Selbst han denominado a esta dinámica disparate impact algorítmico³; O’Neil ha mostrado que el credit scoring opera por opacidad, escala y daño como verdadera arma de destrucción matemática⁴. El derecho del MERCOSUR no es indiferente a ello: el principio antidiscriminatorio está expresamente recogido en la Resolución GMC 36/19, vinculante para los estados parte.

2. Regresión a la media y erosión de la diversidad cultural

Desde el análisis de Galton⁵ el corpus de entrenamiento constituido por contratos en inglés y manuales privados consagra una «media» anglosajona que penaliza algorítmicamente a las contrapartes sudamericanas. Rouvroy y Berns describen esta racionalidad como gubernamentalidad algorítmica: disuelve al sujeto en perfiles estadísticos sin posibilidad de subjetivación⁶. La consecuencia jurídica es la inaplicación de facto del principio antidiscriminatorio del Acuerdo MERCOSUR⁷.

3. Dignidad humana y acceso al crédito

La opacidad de los criterios de fiabilidad niega a la persona la posibilidad de comprender y contradecir la decisión, afectando el núcleo dignitario de los arts. 5 y 11 de la Convención Americana. La Corte IDH ha sostenido que el principio de igualdad y no discriminación integra el ius cogens⁸ y que toda diferenciación basada en categorías sospechosas debe superar un test estricto⁹. La distinción algorítmica fundada en proxies socioeconómicos regionales encaja en la noción ampliada de categoría sospechosa que Saba propone para el sistema interamericano¹⁰.

Marco normativo aplicable¹¹

Evolución de la regulación de la IA en América Latina y Europa

A continuación se detalla la cronología y el desarrollo normativo que fundamenta la gobernanza regional de los sistemas algorítmicos:

• 1994 – Protocolo de Buenos Aires: Establece la jurisdicción en contratos B2B (Decisión CMC 1/94).
• 2015 – Declaración Sociolaboral: Promueve activamente el principio de no discriminación en el bloque regional.
• 2018 – LGPD de Brasil (Lei 13.709): Consagra formalmente en su artículo 20 el derecho de los ciudadanos a la revisión de decisiones automatizadas.
• 2020 – Ley de Paraguay sobre Datos Personales Crediticios (Ley 6534): Regula la protección y el acceso a la información crediticia.
• 2021 – Recomendación de la UNESCO: Publicación del primer instrumento global sobre la Ética de la Inteligencia Artificial.
• 2023 – Regulación en Argentina: Disposición 2/2023 de la Subsecretaría de Tecnologías de la Información (SSTI) que establece las Recomendaciones para una IA fiable, complementada por la Resolución AAIP 161/2023.
• 2023 – Avance Legislativo en Brasil (PL 2338/2023): Proyecto de ley aprobado por el Senado el 10/12/2024 que clasifica expresamente el credit scoring como un sistema de «alto riesgo», exigiendo una Evaluación de Impacto Algorítmico.
• 2024 – Principios de la OCDE: Actualización de sus estándares globales sobre Inteligencia Artificial.
• 2024 – Reglamento de la Unión Europea sobre IA (AI Act – Reg. UE 2024/1689): Marco normativo de referencia global que adopta un enfoque basado en riesgos.

La asimetría regulatoria actual entre los Estados Parte del MERCOSUR (donde Uruguay aporta su Estrategia IA a través de AGESIC mediante la Ley 18.331 y el Decreto 64/020) exige una urgente coordinación supranacional. La doctrina iberoamericana converge en articular estos estándares con el constitucionalismo regional.

Análisis y matriz de riesgos legales

El despliegue de estos sistemas automatizados presenta diferentes niveles de complejidad e impacto ético-jurídico dentro del marco regional:

Detalle de los riesgos identificados:

• R1. Captura regulatoria: Plataformas transnacionales que invocan las normas de UNIDROIT como cobertura de legitimidad internacional sin someterse a auditorías externas independientes.
• R2. Reproducción de la «regresión a la media»: Reiteración acumulativa de patrones contractuales anglosajones que diluyen la diversidad jurídica y las particularidades del derecho continental en la región.
• R3. Vulneración del derecho a la explicación: Impedimento de acceder a una revisión humana efectiva (afectando garantías como el art. 20 de la LGPD de Brasil y, por extensión relacional, el art. 22 del RGPD europeo).
• R4. Concentración del daño: Impacto lesivo focalizado en los actores estructuralmente más débiles del ecosistema económico (microempresas, artistas emergentes y profesionales autónomos). Los antecedentes jurisprudenciales del bloque (como el fallo de la CSJN argentina, Catania c/ BCRA¹²) ya advertían tempranamente sobre los riesgos dignitarios del manejo de la información crediticia.
• R5. Erosión silenciosa del principio pro homine: Desplazamiento técnico y automatizado de la decisión jurídica fundamental en favor de la optimización del software.

Recomendaciones de gobernanza

Se propone un modelo de gobernanza por capas (layered governance), donde confluyen de manera descendente e integrada los siguientes niveles de acción:

1. Capa 1: Orientaciones UNIDROIT – MERCOSUR (Soft Law): Adoptar un instrumento de soft law complementario de los Principios UNIDROIT 2016, plenamente articulado con el SGT-13 (Comercio Electrónico) y el Foro Consultivo Económico-Social del MERCOSUR.
2. Capa 2: Normativa Nacional Vinculante (Hard Law): Armonización con las legislaciones locales existentes y en desarrollo (PL 2338/2023, LGPD brasileña, Ley de Protección de Datos Personales 25.326 de Argentina, etc.).
3. Capa 3: Autorregulación Auditada: Creación de un registro público regional para sistemas de IA de alto riesgo, tomando como inspiración metodológica el AI Act de la Unión Europea.
4. Capa 4: Evaluación de Impacto Algorítmico (EIA) Obligatoria: Implementación de un test específico de diversidad lingüístico-cultural sobre los corpus de entrenamiento de datos, garantizando documentación transparente tanto en español como en portugués, junto con la participación de la sociedad civil.
5. Capa 5: Derecho Efectivo a Explicación e Inversión de la Carga: Exigir una revisión humana cualificada ante asimetrías de contratación (PYMEs y autónomos), obligando a las plataformas a demostrar técnicamente que sus modelos no reproducen sesgos geográficos o socioeconómicos.
6. Capa 6: Tutela Arbitral Regional: Habilitar al Tribunal Permanente de Revisión del MERCOSUR —o a un panel ad hoc especializado— para resolver controversias transfronterizas de scoring, aplicando parámetros del sistema interamericano.

Principio rector fundamental: No sustitución algorítmica de la dimensión relacional del contrato. Rodotà y Hildebrandt recuerdan que la subjetividad jurídica exige un reconocimiento mutuo previo y no un mero perfilamiento estadístico¹³; del mismo modo, Garapon, Lasségue y Floridi insisten en salvaguardar un espacio mínimo de deliberación humana frente a la ruptura antropológica del entorno digital¹⁴.

Conclusión

La compatibilidad de las prácticas descritas con los principios inspiradores de UNIDROIT exige, en el contexto del MERCOSUR, un marco específico de gobernanza ponderada y eficaz, porque debe convivir con la autonomía privada y la innovación pero debe penetrar la opacidad algorítmica que hoy disuelve a la parte vulnerable en una distribución estadística. La dignidad humana no admite regresión a la media. El fin del derecho es preservar la singularidad jurídica de cada contraparte frente a las pulsiones homogeneizantes del cálculo; ese es el horizonte ético que las orientaciones aquí propuestas deberían cristalizar.

Anexo: Caso de estudio

Ejemplo práctico: Una PYME metalúrgica de la provincia de Santa Fe (Argentina) solicita financiación para la adquisición de hardware a una plataforma internacional. Recibe condiciones significativamente más gravosas (tasas de interés elevadas, exigencia de garantías mobiliarias adicionales y un plazo de amortización más breve) que una empresa estadounidense de idéntica envergadura y sector comercial, sin que el sistema automatizado explicite los coeficientes asignados a su ubicación geográfica, idioma operativo o historial bancario regional.

El contrato resultante adquiere una apariencia de estricta neutralidad técnica, pero encapsula una decisión discriminatoria latente: la heredada de su corpus de entrenamiento original. La asimetría contractual deja de operar de forma bilateral entre las partes y pasa a residir estructuralmente entre la parte adherente y la propia infraestructura algorítmica que redacta el contrato.

Para ampliar el análisis de este escenario técnico, puede consultarse el material audiovisual del caso de estudio sobre PYMEs y sesgo algorítmico disponible en los registros del informe de consultoría.

Notas y Referencias Bibliográficas

1 Ver Anexo: Caso de estudio.

2 Los sistemas descritos comprometen los principios inspiradores de los instrumentos UNIDROIT: buena fe (art. 1.7 Principios 2016), equilibrio contractual y respeto a la diversidad jurídica.

3 S. BAROCAS y A. D. SELBST, «Big Data’s Disparate Impact», California Law Review, vol. 104, 2016, pp. 671-732.

4 C. O’NEIL, Weapons of Math Destruction. How Big Data Increases Inequality and Threatens Democracy, Crown, Nueva York, 2016, cap. 8.

5 F. GALTON, «Regression Towards Mediocrity in Hereditary Stature», Journal of the Anthropological Institute, vol. 15, 1886, pp. 246-263.

6 A. ROUVROY y T. BERNS, «Gouvernementalité algorithmique et perspectives d’émancipation», Réseaux, n. 177, 2013/1, pp. 163-196.

7 MERCOSUR, Decisión GMC Nº 36/19, «Acuerdo del MERCOSUR sobre Derecho Aplicable en Materia de Contratos Internacionales de Consumo», Santa Fe, 17/7/2019, art. 4 y consid.

8 Corte IDH, OC-18/03, Condición Jurídica y Derechos de los Migrantes Indocumentados, 17/9/2003, párr. 101.

9 Corte IDH, Atala Riffo y niñas vs. Chile, sentencia de 24/2/2012, párrs. 124 y ss.; v. también OC-24/17, 24/11/2017.

10 R. SABA, Más allá de la igualdad formal ante la ley. ¿Qué les debe el Estado a los grupos desaventajados?, Siglo XXI, Buenos Aires, 2016, pp. 75 y ss.

11 Análisis sistemático de fuentes: (i) Plano regional (Decisión CMC 36/19, Decisión CMC 1/94, Declaración Sociolaboral 2015); (ii) Plano nacional regulatorio (LGPD brasileña, Ley 25.326 argentina, Ley 18.331 uruguaya, Ley 6534 paraguaya); (iii) Marcos internacionales complementarios (UNESCO 2021, OCDE 2024, AI Act UE 2024).

12 CSJN, «Catania, Américo Marcial c/ BCRA – (Base de Datos) s/ habeas data», Fallos 334:1276, 8/11/2011.

13 S. RODOTÀ, Il diritto di avere diritti, Laterza, Roma-Bari, 2012; M. HILDEBRANDT, Smart Technologies and the End(s) of Law, Edward Elgar, 2015.

14 A. GARAPON y J. LASSÈGUE, Justice digitale. Révolution graphique et rupture anthropologique, PUF, París, 2018; L. FLORIDI, The Ethics of Artificial Intelligence, OUP, Oxford, 2023.