Año LXIII

DERECHO, INNOVACIÓN & DESARROLLO SUSTENTABLE
REVISTA DE DOCTRINA Y JURISPRUDENCIA

 

Director: Dr. Emiliano E. Lamanna Guiñazú

Coordinadoras: Matilde Pérez – Susana Eloísa Mender Bini

CÁPSULA INTRODUCTORIA

Vientos de cambio, por Susana Eloísa Mender Bini – Cita Digital: ED-V-CCCXLIX-711

CÁPSULA DE ANÁLISIS

Del surgimiento de la sociedad de la información a las nempresas proveedoras de servicios como supra Estados, por Gustavo Sain – Cita Digital: ED-V-CCCXLIX-710

DOCTRINA

Hacia una algorética. A propósito del mensaje de Su Santidad Francisco para la celebración de la 57ª Jornada Mundial de la Paz, por Matilde Pérez – Cita Digital: ED-V-CCCXLIX-709

Responsabilidad en torno a la figura del influencer. Palpitando las Jornadas Nacionales de Derecho Civil, por Carlos Alberto Fossaceca y José María Sabat Martinez – Cita Digital: ED-V-CCCXLIX-707

La era de la inteligencia artificial generativa y la sombra de 1984:

¿puede la tecnología más disruptiva del siglo XXI abrir paso a la concreción de la distopía orwelliana?, por Mariana Sánchez Caparrós – Cita Digital: ED-V-CCCXLIX-706

 

Vientos de cambio

Introducción a los nuevos tiempos y con nueva integrante

Iniciamos este 2024 con vientos de cambio, al mejor estilo Scorpions. Siendo este el número inaugural del año, contamos con un renovado optimismo, búsqueda de crecimientos  profesionales  y nuevas adquisiciones para este suplemento. Hoy me toca darles la bienvenida, como la nueva coordinadora (y columnista) de esta cápsula introductoria, esperando estar a la altura de nuestra querida Dra. Valeria Moreno.

Hacia las novedades

En esta edición, en la sección CÁPSULAS, nos encontramos con la columna del especialista Gustavo Saín, “Del surgimiento de la sociedad de la información a las empresas proveedoras de servicios como supra Estados”, un racconto histórico y dinámico de los albores de la informática computacional hasta el desarrollo de los Gigantes de Internet y empresas monopólicas de la era digital.

En la sección ARTÍCULOS, comenzamos con la Dra. Matilde Pérez y su trabajo “Hacia una algorética”, en el que analiza y comenta el mensaje de Su Santidad Francisco para la celebración de la 57.a Jornada Mundial de la Paz. En estas páginas se indaga sobre preguntas acerca de la dignidad del ser humano frente a la IA, las ventajas y peligros de estas tecnologías, así como la necesidad de una ética propositiva que involucre a los diversos actores de la sociedad civil y sirva de puente para el logro de la paz y la realización plena.

Tras el juicio contra META acontecido recientemente, sobre los daños que producen sus redes sociales, al perseguir el uso adictivo de las mismas por parte de sus usuarios –la gran mayoría niños y adolescentes– menoscabando su salud y desarrollo de su personalidad; la especialista en derecho de familia y tecnología, Karina Salierno, nos introduce en el análisis de los hechos desde la perspectiva de las normativas protectoras de las infancias, con un fuerte hincapié en aquellas especializadas en el ámbito digital, planteándonos si la responsabilidad solo le cabe a META y demás gigantes tecnológicos, o si compete a otros agentes, igual de relevantes, en la protección de la integridad de los menores y adolescentes.

En esta línea, dentro del mundo de las redes sociales y con el surgimiento de las nuevas figuras gurús, los autores

(*) Abogada (UNSTA); doctora en Ciencias Jurídicas por la Facultad de Derecho de la Pontificia Universidad Católica Argentina; Máster en Propiedad Intelectual e E-law (UCC, Irlanda), especialista en Sistemas Biométricos y Privacidad (FernUni Schweiz, Suiza). Ponente y autora de numerosos trabajos de doctrina.

Carlos Alberto Fossaceca y José María Sabat Martínez nos acercan el análisis jurídico sobre la “Responsabilidad en torno a la figura del influencer”. Dada la magnitud del alcance de la exposición que tienen estos nuevos personajes en redes, gracias a la promoción de determinados productos y servicios; sumado a ello, la confianza y ascendiente que ejercen sobre sus seguidores; lleva a estos autores a buscar las respuestas a los siguientes interrogantes: ¿cuál es el régimen aplicable a estos nuevos gurús de redes? ¿Qué responsabilidad les cabe: la obligacional o la civil? Así también, abordan el novedoso caso de los influencer IA.

De la mano de Mariana Sánchez Caparrós, nos sumergimos dentro del análisis de las IA generativas bajo el influjo de 1984 y su Gran Hermano, en el artículo “La era de la inteligencia artificial generativa y la sombra de 1984: ¿puede la tecnología más disruptiva del siglo XXI abrir paso a la concreción de la distopía orwelliana?”. Desde una perspectiva filosófica, la autora nos lleva de la mano a recorrer el mundo futurista y distópico ideado por Orwell para 1984, realizando el contraste y similitudes con lo que en realidad acontece en nuestro contexto gracias a la irrupción de las IA, su humanización, sus beneficios y riesgo; entre ellos, lo que Sánchez Caparrós denomina como la “verdad algorítmica”.

¡Espero que lo disfruten tanto como los disfruté yo al comentarlos!

VOCES: TECNOLOGÍA – INTERNET – INTELIGENCIA ARTIFICIAL – INFORMÁTICA – ESTADO – DERECHOS Y GARANTÍAS CONSTITUCIONALES – DERECHOS HUMANOS – PODER JUDICIAL – ECONOMÍA – CONSTITUCIÓN NACIONAL – CÓDIGO DE ÉTICA – ABOGADO – PROFESIONES LIBERALES

FILOSOFÍA DEL DERECHO – SENTENCIA – ACCESO A LA JUSTICIA – PROTECCIÓN DE DATOS PERSONALES – TRATADOS INTERNACIONALES

RESPONSABILIDAD CIVIL – DAÑOS Y PERJUICIOS – PERSONA – JURISPRUDENCIA – COMERCIO E INDUSTRIA – INFLUENCER – PROTECCIÓN DE DATOS PERSONALES – DEFENSA DEL CONSUMIDOR – PUBLICIDAD – OBLIGACIONES – FAMILIA – MENORES – RESPONSABILIDAD PARENTAL

EDUCACIÓN – SALUD PÚBLICA – EMERGENCIA ECONÓMICA – ORGANISMOS INTERNACIONALES – INTERÉS SUPERIOR DEL NIÑO – VIOLENCIA FAMILIAR – TRATADOS INTERNACIONALES

CULTURA – ACCESO A LA JUSTICIA – PROTECCIÓN DE DATOS PERSONALES – CIBERDELITOS

GROOMING – DERECHOS PERSONALÍSIMOS

BASES DE DATOS – REDES SOCIALES – BUSCADORES DE INTERNET ACTOS DE COMERCIO – CONTRATOS COMERCIALES – DERECHOS DEL CONSUMIDOR – RESPONSABILIDAD SUBJETIVA

MONOPOLIO – PUBLICIDAD – ÉTICA – IGLESIA CATÓLICA – DERECHO INTERNACIONAL

Del surgimiento de la sociedad de la información a las empresas proveedoras de servicios como supra Estados(*)

 

La informática moderna como motor productivo de las sociedades

Los orígenes del concepto de sociedad de la información pueden rastrearse en el período de la segunda posguerra, durante la época del desarrollo de la llamada “Gran Ciencia” estadounidense, donde fondos públicos destinados al complejo militarindustrial tenían como objetivo el desarrollo del campo de la informática para ponerla al servicio de la defensa nacional. Bajo la consideración de la computadora como máquina universal capaz de resolver cualquier problema en forma sistemática y precisa, el desarrollo de las grandes computadoras tenía como objetivo el desciframiento de los mensajes del enemigo, el uso de la artillería antiaérea y el desarrollo de investigaciones nucleares, entre otras funciones bélicas. Tras la publicación de Una teoría matemática de la comunicación en 1949 por parte del matemático estadounidense Claude Shannon, el concepto de información va a adoptar un carácter puramente instrumental a partir de su estrecha relación con las máquinas. La misma es entendida como un instrumento medible en términos de velocidad y costo para la trasmisión de mensajes telegráficos.

Tras el lanzamiento del Satélite Sputnik en 1957 por parte de la Unión Soviética, el presidente norteamericano Dwigth Einsenhower ordenó al Departamento de Defensa la creación de una agencia de investigación avanzada que realizara estudios acerca de material bélico y de comunicaciones. Fue justamente en ese contexto histórico donde se crea en el seno de la Agencia de Proyectos de Investigación Avanzada (ARPA) el medio tecnológico más revolucionario de la sociedad de la información: Internet. Creada en 1969 bajo la necesidad de crear un medio de comunicación versátil y descentralizado que permitiese el flujo ininterrumpido de comunicaciones militares, la evolución de los avances en el campo de la investigación informática estaba orientado en ver cómo las computadoras podían comunicarse entre sí. Nucleadas en los centros de investigación de las universidades y los laboratorios militares, una comunidad tecnomeritocrática –en términos de Manuel Castells– buscaba la reputación y prestigio entre sus colegas mediante de la innovación tecnológica y el desarrollo computacional para uso personal.

Ante los avances de la informática laboral durante la

década del setenta, comienzan los debates en las diferentes administraciones gubernamentales acerca de las consecuencias para sus países de la “informatización de la sociedad”. En este marco, los países industrializados –Estados Unidos y países desarrollados de Europa, específicamente– se comienza a discutir cuáles son las políticas más adecuadas para afrontar el cambio tecnológico. El primer antecedente histórico de uso formal del término “sociedad de la información” a nivel gubernamental se produce en 1971, cuando el Japan Computer Usage Development Institute (JACUDI) elabora el “Plan para la Sociedad de la Información para el año 2000”, donde se establecía el rumbo de una política a largo plazo basada en la investigación y el desarrollo para la generación de la ciudad del futuro. La computópolis, una ciudad enteramente informatizada, iba a estar caracterizada por hogares automatizados; la gestión computarizada del tránsito vehicular y aéreo; servicios médicos y educativos a distancia; y sistemas de prevención de la contaminación ambiental, entre otros.

(*) El presente trabajo se inscribe dentro del Programa IUS de Investigación Jurídica Aplicada de la Pontificia Universidad Católica Argentina (UCA) que dirige el profesor doctor Jorge Nicolás Lafferriere, concretamente en el Programa IUS titulado: “El derecho civil patrimonial frente al emergente alta tecnología. Desafíos e interpretación jurídico/ patrimonial frente al avance tecnológico, la innovación permanente y el desarrollo sustentable”, que dirigen los Dres. Emiliano Carlos Lamanna Guiñazú y Matilde Pérez.

(**) Experto en ciberseguridad y cibercriminalidad. Asesor de la Dirección Nacional de Política criminal del Ministerio de Justicia y Derechos Humanos de la Nación. Ex director nacional de ciberseguridad de la República Argentina.

Otro antecedente histórico sobre la preocupación del uso de la informática a nivel social lo brinda el informe solicitado por el presidente francés Valéry Giscard d’Estaing al Inspector General de Finanzas de ese país en 1976, Simon Nora. Para el Gobierno galo, la informática representaba un factor de transformación de la organización social y económica donde el Estado debía tratar de dominarla para ponerla al servicio del desarrollo. En el informe remitido junto Alain Minc al mandatario francés aparece por primera vez el concepto de “telemática”, que implicaba la conjunción de la informática y las telecomunicaciones como factor condicionante para la salida de la crisis internacional.

Asimismo, aparece en la agenda de los países industrializados la importancia del manejo de bases de datos a partir de la digitalización y almacenamiento de información sensible por parte de empresas multinacionales. Junto al riesgo de “vulnerabilidad informática”, el valor que adquiere la información en estos países es planteado en términos de soberanía e independencia, fundamentalmente por la adquisición de tecnología fabricada en el extranjero y las inversiones de firmas no nacionales en el campo de la informática como, por ejemplo, la norteamericana IBM.

El fin de los monopolios estatales y la libre circulación de la información para el desarrollo social

El desarrollo de la sociedad de la información en Europa y Estados Unidos se desarrolló en base a dos modelos de políticas bien definidos. Por un lado, un modelo político administrativo –del cual Japón y Francia representan ejemplos acabados– y por otro, un modelo liberal-competitivo liderado por Estados Unidos bajo la doctrina del Free Flow of Information. Bajo este paradigma, este país inicia un proceso de liberalización de las telecomunicaciones para que sea el mercado el que regule la libre circulación de la información a nivel social. Así, instrumenta una serie de presentaciones judiciales para suprimir los monopolios de servicios como los de ATT en telefonía e IBM en informática, dicta una nueva ley de comunicaciones que fija las reglas de juego y crea un órgano regulador; la Federal Communications Commission (FCC). En términos de seguridad informática, el debate se traslada a organismos internacionales como la OCDE, la ONU o la OIT, donde se ponen de manifiesto las preocupaciones en término de los desequilibrios del flujo de trasmisión de datos, cambios en el empleo y la privacidad de los datos personales.

Ya a mediados de la década de 1980 se inicia una etapa clave en el camino de construcción de la llamada sociedad de la información. En los países industrializados predominan los gobiernos neoliberales que inician un proceso de desreglamentación y liberalización de los mercados de telecomunicaciones en función de los avances tecnológicos e informáticos. En Estados Unidos se produce el desmembramiento de la ATT bajo el gobierno de George Bush, mientras que la conservadora Margaret Thatcher en Gran Bretaña privatiza la British Telecom. La consolidación de este proceso quedará sellada en 1998 en el seno de la Organización Mundial de Comercio, cuando 68 países firman el acuerdo de apertura de los mercados.

Para Manuel Castells, un nuevo paradigma tecnológico surgido durante la década de 1970 en Estados Unidos dio lugar a un nuevo modelo de desarrollo basado en las tecnologías de la información que sustituirá al modelo industrialista vigente en las sociedades modernas desde la revolución industrial del siglo XIX. La innovación tecnológica y el cambio organizativo centrados en la flexibilidad y la adaptabilidad resultaron condicionantes para la reestructuración del sistema capitalista durante la década de 1980 hacia un modelo de desarrollo informacionista basado en la flexibilización laboral, recorte de gastos públicos y un proceso de privatizaciones una vez agotado el modelo Keynesiano durante la década del 70 a partir de la crisis del petróleo y la inflación.

Esta revolución –apoyada en las tecnologías de la información– favoreció un modelo de economías interdependientes, fijando una nueva relación entre economía, Estado y sociedad. Aunque si bien para Castells, la tecnología no cambia la sociedad ni la misma dicta los ritmos del cambio tecnológicos en tanto que el resultado depende de una compleja interacción entre ambos, la tecnología de la información tiene la capacidad de penetración en todo ámbito de la actividad humana. Basadas en estas, el sistema capitalista sufre un proceso de reestructuración profunda caracterizado por una mayor flexibilidad de gestión, descentralización e interconexión entre empresas, aumento del capital frente al trabajo, declive del movimiento sindical, individualización y diversificación del trabajo.

Castells establece una distinción entre sociedad informacional y sociedad de la información. Para este autor, la sociedad de la información destaca el papel de esta última dentro de la sociedad. En este sentido, la información en tanto comunicación del conocimiento fue fundamental en todas las sociedades, como sucedía en la edad media donde las sociedades europeas estaban organizadas alrededor del escolasticismo. Al contrario, la sociedad informacional indica una forma de organización social en la que la generación, procesamiento y transmisión de información es un factor fundamental en términos de productividad y poder. En este sentido, la revolución de las tecnologías de la información produce a nivel global un nuevo modo de producir, comunicar, gestionar y vivir.

La apertura comercial de Internet y la utopía del libre mercado global

Durante la década del noventa, dos proyectos marcarán el rumbo a lo que se considera hoy en día la sociedad de la información; la creación de la National Information Infrastructure (NII) en Estados Unidos durante la Administración de Bill Clinton, que proyectó la creación de “autopistas de la información” para la creación de empleos calificados, la reforma del sistema educativo y de salud para el acceso universal a ellos, y la participación ciudadana en el sistema democrático, entre otras. Dicho proyecto que será la plataforma para el lanzamiento de la Global Information Infrastructure (GII) en el seno de la reunión anual de la Unión Internacional de Telecomunicaciones (UIT), realizada en Buenos Aires, Argentina, en 1994.

Dicha reunión fijó los principios básicos para el desarrollo comercial de Internet, con una fuerte impronta liberal económica. Durante el discurso de apertura, el vicepresidente norteamericano Albert Gore señaló que las llamadas autopistas de la información representaban el requisito indispensable para el desarrollo y crecimiento económico sostenible y la construcción de una democracia plural a nivel global. El servicio universal debía estar garantizado por el mercado, el factor determinante para la creación de las infraestructuras nacionales de la información. Los objetivos estaban puestos en promover la inversión privada, incentivar la competencia y crear un marco regulatorio flexible para el sector de las telecomunicaciones.

En este proceso, el Estado debía tener un rol mínimo en términos de diseño de políticas públicas para el sector. El modelo de la Internet comercial es el de una red abierta y descentralizada, libre de intervenciones de los gobiernos y a favor de una autorregulación entre los usuarios y proveedores de servicio. Bajo esta perspectiva, los usuarios son considerados más que ciudadanos, potenciales consumidores, ya que el objetivo es la confianza que le puedan garantizar las empresas proveedoras de servicio al usuario para desenvolverse en un entorno seguro y confiable en la red, fundamentalmente para la realización de operaciones financieras bajo la modalidad de comercio electrónico, la modalidad de negocios del siglo XXII y el verdadero motivo que explica la expansión global de Internet y su apertura pública.

Como respuesta a la iniciativa norteamericana, el Consejo de Europa convoca en 1993 a un grupo de expertos con el objetivo de crear infraestructuras de información en la región. En el marco de la reunión anual del organismo de 1994 se presentó el informe “Europa y la Sociedad Global de la Información”, también conocido como Informe Bangemann, por el nombre del abogado alemán que presidió ese comité. En este documento se sitúa al mercado como la fuerza que llevará a Europa a la sociedad de la información a través de una revolución industrial igual o superior a las anteriores, basada en la creación de una red digital de servicios integrados para la trasferencia de datos en computadoras, teléfonos móviles y satélites. Al igual que el proyecto elaborado por el JACUDI hace más de 30 años atrás, las premisas del proyecto norteamericano y europeo no distan de ser diferentes.

De la libertad de mercado a los monopolios en línea: los “Gigantes de Internet” en la mira de los gobiernos

Tras el surgimiento de la Internet comercial a mediados de la década de 1990, diferentes bancos y empresas comenzaron a invertir en plataformas digitales para el desarrollo de la nueva modalidad de negocios del siglo XXI: el comercio electrónico. La inexistencia de legislaciones que regulen las actividades en línea de las denominadas “empresas punto com” permitió el desarrollo de negocios digitales prácticamente sin supervisión de los gobiernos, considerados como un atentado a la libertad de expresión y al derecho a la información de los usuarios. Con una clara preeminencia de empresas radicadas en Sillicon Valley, California; los gobiernos extranjeros vieron imposibilitados de imponer cualquier tipo de regulación por sobre servicios ofrecidos a miles de sus ciudadanos en sus territorios desde empresas foráneas. El argumento de las big tech era la incompatibilidad de jurisdicción, aduciendo regirse por la normativa donde sus empresas poseen su sede legal: los Estados Unidos.

Bajo el modelo de negocios basado en la recolección y procesamiento de datos personales de los usuarios para la comercialización en base a sus gustos y preferencias –contrapuesto al cobro de una suscripción mensual como los servicios tradicionales de telecomunicaciones–, un puñado de empresas lograron liderar los mercados digitales concentrando una porción significativa. Esto puso en alerta no solo a la Unión Europea sino también al propio Gobierno norteamericano, fundamentalmente por el poder acumulado a partir de la realización de prácticas desleales y anticompetitivas en detrimento de otras empresas. Con el antecedente lejano de la denuncia del Departamento de Justicia de los Estados Unidos contra la empresa Microsoft –liderada en aquel entonces por Bill Gates– por incluir por defecto su navegador Explorer en el sistema operativo Windows 98 y posicionándolo en posición de ventaja frente a sus competidores, desde la década de 2010 hasta la actualidad, empresas como Apple, Facebook –hoy META–, Microsoft, Amazon y Google han sido denunciadas y multadas por intentar acaparar las preferencias de los cibernautas.

De todas ellas, la empresa más importante que detenta casi el 90 % de las búsquedas de la Internet es Google, denunciada en más de una oportunidad tanto por el Gobierno federal del país donde se constituye, los Estados Unidos, como por la Unión Europea y varios países del viejo continente. Entre los años 2017 y 2019, la Comisión Europea multó a la empresa por su comportamiento en el mercado en tres oportunidades, con sentencias punitorias de hasta 8600 millones de dólares. Pero en octubre de 2020, el Gobierno federal de los Estados Unidos demandó a la firma por bloquear competidores abusando de su posición dominante con el único objetivo de convertirse –en palabras de los querellantes– en el “guardián de Internet”. En septiembre de 2023 se inició un juicio sin antecedentes por las consecuencias que puede acarrear para la empresa, entre las que se contemplan desde multas multimillonarias, hasta su fragmentación.

El caso “US vs. Google” es el primer juicio antimonopolio en la era moderna de Internet, donde una generación de empresas tecnológicas ha ostentado un inmenso poder e influencia en las actividades comerciales, el manejo de la información, cuestiones vinculadas a marcar la agenda

pública, el ocio y el trabajo. El objetivo del Gobierno de los Estados Unidos y 52 fiscales de los Estados y territorios independientes es demostrar que la firma mantuvo su primacía en el mercado de manera ilegal, pagando hasta

10.000 millones de dólares por año a sus rivales tecnológicos, fabricantes de teléfonos celulares, proveedores de servicio y acceso a Internet con el fin de mantenerse como opción preseleccionada y predeterminada en smartphones o navegadores web.

Europa, por su parte, puso en vigencia en noviembre de este año la Ley de Servicios Digitales, con el objetivo de regular las actividades en línea de las empresas que actúan como intermediarias conectando a los consumidores con bienes, servicios y contenidos. La normativa obliga a las grandes empresas proveedoras de servicios y aplicaciones de Internet a que se puedan usar otras tiendas de terceros en iOS y Android, más allá de la App Store y Google Play. También obliga a que los usuarios de WhatsApp puedan enviar y recibir mensajes de usuarios de Signal o Telegram, por ejemplo. O a que el usuario pueda desinstalar de su teléfono móvil todas las apps del sistema. De la misma forma, las empresas que venden apps y servicios en iOS, Android o Windows van a poder usar los sistemas de pago que quieran, o cobrar fuera de estas plataformas, sin que sean expulsados de ellas como hasta ahora.

La concentración económica, en toda esfera de actividad, genera desigualdad de condiciones para el resto de los jugadores en términos de competitividad. En oportunidades, los jugadores poderosos realizan prácticas ilegales para mantener su posición en el mercado o mejorarla a costa de sus rivales comerciales, mayormente en una red global de dispositivos sin regulación y control por parte de los gobiernos. De la utopía de la Infraestructura Global de Información (GII) basada en el libre mercado y no intervención estatal a las demandas antimonopólicas del Gobierno de los Estados Unidos.

Del Informe Bangemann europeo, que auguraba una sociedad más justa y transparente a través del libre flujo de información para el desarrollo, a la Ley de Servicios Digitales, que regula el sector frente al poder de las big tech. El riesgo de la no regulación por parte de los gobiernos a las actividades en línea es que las grandes empresas proveedoras de servicios y aplicaciones de Internet se transformen en verdaderos supra Estados. La utopía de la sociedad de la información basada en el libre mercado sigue siendo eso, una utopía.

VOCES: INTELIGENCIA ARTIFICIAL – BUSCADORES DE INTERNET – ECONOMÍA – ESTADO EXTRANJERO – DERECHO CONSTITUCIONAL – INTELIGENCIA ARTIFICIAL – DERECHO COMPARADO – DERECHO COMERCIAL – COMERCIANTE – ACTOS DE COMERCIO – CONTRATOS COMERCIALES – TECNOLOGÍA – INFORMÁTICA – INTERNET – RESPONSABILIDAD CIVIL – DERECHOS DEL CONSUMIDOR – RESPONSABILIDAD SUBJETIVA – MONOPOLIO – COMPETENCIA DESLEAL – DEFENSA DE LA COMPETENCIA – PUBLICIDAD

DOCTRINA

Hacia una algorética. A propósito del mensaje de Su Santidad Francisco para la celebración de la 57ª Jornada Mundial de la Paz(*)

Introducción

La celebración de la 57.a Jornada Mundial de la Paz fue el ámbito elegido por Su Santidad para difundir el mensaje “Inteligencia artificial y paz” con motivo del inicio de Año Nuevo acerca del impacto de las nuevas tecnologías en la vida de los seres humanos(1).

Como mensaje pastoral está destinado a todos los seres humanos, incluidas autoridades estatales, miembros de la sociedad civil y de carácter ecuménico en el que no solo se transmite un imprescindible deseo de paz, sino que, además, nos mueve hacia la toma de conciencia de la centralidad humana en estos tiempos de mediación tecnológica.

Las revoluciones en la historia y, en especial, en los últimos trescientos años, implican un quiebre con lo anterior. En todas ellas, el ser humano es centro y fin de sus postulados. Todas ellas suponen cambios sociales, en usos, costumbres y normas que van llevando al reconocimiento de derechos y principios entre los que destacan la libertad, la igualdad y la dignidad de la persona.

Esta Revolución Tecnológica pareciera apartarse de sus predecesoras. Los vertiginosos cambios que se vienen produciendo en los últimos años generan incertidumbres científicas, jurídicas y sociales. ¿El ser humano es fin o medio de la innovación tecnológica? ¿Seremos sustituidos por máquinas? ¿Es necesario humanizar la tecnología o tecnologizar lo humano? Preguntas profundas que carecen de respuesta unívoca, en algunos casos por lo inasible que parece el tema; en otras, por los intereses económicos en juego que se puede reflejar en esta idea utópica del transhumanismo.

La inteligencia artificial como tecnología disruptiva pone en foco todas estas preguntas. ¿Es tan poderosa o le estamos adjudicando un poder que no tiene? ¿Puede desplazar las maravillas de la Creación y de la inteligencia y conocimiento humano o es un medio para la mejora de la calidad de vida de las personas y de nuestra casa común? Como producto del ser humano, ¿este debe ser responsable por los daños que puede causar o, como propician algunos, se debe reconocer una personalidad jurídica electrónica? ¿Un algoritmo puede sustituir valores, sentimientos o solo tiene aptitud para procesar datos y resolver en ese marco acotado?

Francisco, como Pastor, nos da respuesta a muchas de estas preguntas con claridad en sus expresiones fácilmente comprensibles en su lectura. Son el fruto de un largo camino en cuyo recorrido la Doctrina Social de la Iglesia, los documentos pontificios y los textos académicos trabajan para pensar y trabajar en una algorética. En este camino el Papa nos tiende su mano abierta para contribuir a ella desde la transversalidad de los saberes.

En particular, la ciencia y tecnología como camino hacia la paz, las promesas y riesgos de la inteligencia artificial, el aprendizaje automatizado, el límite al paradigma tecnocrático, la propuesta de los temas candentes para una algorética acompañado sobre las reflexiones profundas sobre el uso de armas automatizadas y daños colaterales, el rol de la educación y la cultura como preservación y transmisión del pasado y proyección del futuro a través de un presente tecnológico.

En idéntico sentido, una firme conciencia de que todos nos necesitamos de manera recíproca cada uno desde el rol que le corresponde. Como personas, como ciudadanos, como parte de la sociedad, pues la tecnología es un medio para lograr el bien común y no un fin per se.

En esta Era Digital hay un cambio de percepción del espacio, del tiempo y hasta del cuerpo. Hay un cambio en las relaciones humanas donde se busca globalizar y homogeneizar pensamientos, conductas, hábitos, idiomas, en que institutos y valores como la familia, la amistad, la infancia con parámetros de éxitos medidos a través de cantidad de seguidores, me gusta (no hay opción a no me gusta), amistades o visualizaciones, entre otros, nos compromete a los operadores jurídicos en la búsqueda de esta protección de la dignidad humana que sea dinámica y con amplitud para lograr anticipar la vorágine de cambios en las que estamos insertos.

1. Mensaje de Su Santidad Francisco para la celebración de la 57.a Jornada Mundial de la Paz. 01/01/2024. Disponible en https://www.vatican.va/content/francesco/es/messages/peace/ documents/20231208-messaggio-57giornatamondiale-pace2024.html, consultado el 01/02/2024.
   

En ello, la función preventiva del daño tanto a través de los principios de prevención y de precaución, los principios generales del derecho, el sistema protectorio de derechos y garantías son contribuyentes a esta algorética que impulsa Su Santidad Francisco.

El texto papal parte de la pregunta: “¿Por qué inteligencia artificial y paz?”. Estructurado en ocho puntos en los que trata los siguientes temas de los que se hará un análisis sucinto en este texto.

1. Progreso de la ciencia y la tecnología como camino hacia la paz.
2. Futuro de la inteligencia artificial entre promesas y riesgos.
3. Técnicas del futuro: las máquinas que aprenden solas.
4. Sentido del límite en el paradigma tecnocrático.
5. Temas candentes para la ética.
6. ¿Transformaremos las espadas en arados?
7. Desafíos para la educación.
8. Desafíos para el desarrollo del derecho internacional.

Inteligencia artificial (IA) y paz

• El progreso de la ciencia y de la tecnología como camino hacia la paz

La inteligencia es la expresión de la dignidad humana que nos fue dada por el Creador a su imagen y semejanza para lo cual nos fueron dadas la libertad y el conocimiento de los que la ciencia y la tecnología son muestra de la potencialidad creativa de los seres humanos.

El progreso de la ciencia y de la tecnología ha posibilitado una mejora en la calidad de la vida de los seres humanos y la erradicación de muchos males. Esta Era Digital con su abanico de posibilidades no está exenta de riesgos para la supervivencia humana y el peligro para la casa común(2).

Se pregunta entonces sobre las consecuencias a mediano y largo plazo de estas tecnologías, el impacto sobre la vida de los individuos y de la sociedad, la estabilidad internacional y la paz, en la búsqueda de armonía y justicia entre los pueblos.

En efecto, estas palabras nos mueven a reflexionar acerca de la idea de que lo que se halla en juego es mayor a la obtención de beneficios económicos, el temor al reemplazo de seres humanos por robots o la sensación de vértigo que produce una imagen creada por IA generativa. Es la propia humanidad como seres creados, como especie, como individuos. Alarmas que pueden requerir un barajar y dar de nuevo e imponer límites para la preservación de la dignidad humana, la defensa de los sistemas democráticos y el respeto de los derechos y garantías.

Es entonces donde la ética a través de los valores que engendran los principios aparece como ancla en un mar revuelto.

Este mensaje del Papa expande el sentir que ya plasmara en el Discurso pronunciado en 2020 en el Encuentro con los participantes en la plenaria de la Pontificia Academia para la Vida en el marco de la Llamada de Roma para una ética de la IA.

En este sentido, expresa que todos los seres humanos nacen libres e iguales en su dignidad y derechos. La transformación del mundo a través de la innovación de la IA significa comprometerse a construir un futuro para y con las generaciones más jóvenes. Propiciar el desarrollo de una IA al servicio de la humanidad y el planeta reflejado en regulaciones y principios(3).

• Comentario

La ciencia y la tecnología siempre acompañaron a los seres humanos contribuyendo a la búsqueda de la mejora de la calidad de vida, a investigar sobre las causas y efectos de diversos fenómenos, así como pasar de la pregunta: “¿por qué pasó?” a “¿cómo lo evitamos?”. El miedo, la expectativa, la esperanza, la guerra, la paz siempre acompañaron estos procesos. A veces como cambios lentos, casi imperceptibles; otros, como fenómenos disruptivos como un cataclismo, una revolución política, económica o industrial; las menos, como fruto de una actividad concertada de los seres humanos.

1. Papa Francisco. Laudato si´, 104.
2. Papa Francisco. Discurso de Su Santidad en el encuentro con los participantes en la plenaria de la Pontificia Academia para la Vida, 28/02/2020. Disponible en https://www.vatican.va/content/ francesco/es/speeches/2020/february/documents/papa-frances-co_20200228_accademia-perlavita.html.

Sin embargo, desde la irrupción de la tecnología digital y de la vis expansiva de nuevos medios masivos de comunicación, la ciencia y la tecnología están disponibles o son impuestas en todas las esferas de nuestra vida.

En este binomio ciencia y técnica, la inteligencia artificial aparece como un nuevo sustantivo(4), sobre el cual tampoco hay una sola definición.

Hay un impacto en los individuos, en la sociedad, así como en la estabilidad y la paz, pero también las inquietudes por el reemplazo de los seres humanos por robots.

La ciencia y la tecnología deben ser parte de un ecosistema de colaboración con los seres humanos, en que se complemente y se fortalezca la inteligencia humana.

Colaboración que sirva a este camino hacia la paz en que se formen a los seres humanos en la búsqueda de los límites de la eticidad en la ciencia y la técnica (y la tecnología).

Desde inicios del siglo XX hasta la actualidad, la ciencia y la tecnología parecieron por momentos no tener límites: experimentos en seres humanos, uso de radiación, desarrollo de productos conociendo los efectos nocivos sobre el medio ambiente y las personas, degradación ambiental o las matanzas llevadas adelante por regímenes totalitarios dieron impulso a acuerdos, tratados y normas de autorregulación en búsqueda de límites a todas aquellas prácticas que conculquen la dignidad de los seres humanos. En todos ellos, el fundamento jurídico que les sirvió de base fueron los principios generales que abrevan en el Derecho Natural y en la Ética.

• El futuro de la inteligencia artificial entre promesas y riesgos

El desarrollo de las tecnologías digitales lleva a una transformación de la sociedad global, así como de sus dinámicas lo que se refleja en áreas tan dispares como las comunicaciones, la administración pública, la educación, el consumo o las interacciones personales.

Advierte del uso de los datos obtenidos desde Internet que pueden controlar los hábitos mentales, las formas de relacionarse con fines comerciales o políticos lo que puede generar una limitación de esa libertad de elección.

En idéntico sentido, llama la atención sobre los peligros de lo que Han denomina infocracia(5), sobrecarga de información estructurada sobre un flujo de datos que no son percibidos por el usuario.

Subraya la ausencia de neutralidad ideológica por cuanto la investigación científica y las innovaciones tecnológicas están direccionadas por los valores personales, sociales y culturales de cada época.

Esa falta de neutralidad puede ser predicada con respecto a la IA. No existe una definición unívoca tanto en la ciencia como en la tecnología propiciando la expresión “formas de inteligencia”.

Así la IA debe ser entendida como una galaxia de realidades diversas sin que pueda afirmarse de manera apriorística que su desarrollo contribuya de manera positiva al futuro de la humanidad y la paz. Contribuye a ello la adopción de conductas responsables signadas por el respeto de los valores humanos fundamentales.

Recoge lo señalado en otros documentos anteriores:

1. La Llamada de Roma para una IA Ética

Tiene como objetivo garantizar un futuro en el que la innovación digital y el progreso tecnológico estén al ser vicio del genio y la creatividad humana y no su sustitución gradual, que el desarrollo de la IA debe reflejarse en principios y regulaciones y principios que protejan a las personas y a los entornos naturales.

1. Diccionario de la Real Academia Española. Voz inteligencia artificial: Disciplina científica que se ocupa de crear programas informáticos que ejecutan operaciones comparables a las que realiza la mente humana, como el aprendizaje o el razonamiento lógico. La Fundación del Español Urgente expresa que: La expresión inteligencia artificial es una denominación común y, por lo tanto, lo adecuado es escribirla enteramente con minúsculas. Es también habitual el empleo de la sigla IA, que sí se escribe con mayúscula, y que es preferible a la inglesa AI (correspondiente a artificial intelligence). Información disponible en https://www.fundeu.es/recomendacion/inteligencia-artificial-es-la-expresion-del-2022-para-la-fundeurae/#:~:text=La%20 expresi%C3%B3n%20inteligencia%20artificial%20es,(correspondiente%20a%20artificial%20intelligence).
2. Han, B.Ch. Infocracia. Trad. Joaquín Chamorro. Ed. Taurus, Barcelona, 2022.
   

Este documento fue firmado por la Academia Pontificia por la Vida, Microsoft, IBM, FAO y el Gobierno italiano. En fechas posteriores adhirieron al texto el Parlamento Europeo, así como representantes de las religiones abrahámicas, compartiendo el ideario de establecer una ética al servicio de cada persona en su totalidad y de todas las personas sin discriminaciones ni exclusiones(6).

Hay tres áreas de impacto que son la ética, la educación y los derechos y seis principios estructurales: transparencia, inclusión, responsabilidad, imparcialidad, seguridad y privacidad. Ellos son la base de la propuesta para una Ética de la IA.

1. Discurso a los participantes de “Minerva Dialogues”, marzo 2023

En esta reunión entre científicos, ingenieros, empresarios, juristas y filósofos junto con representantes de la Iglesia, se consideró el impacto de las tecnologías digitales, en especial, de la IA.

El Santo Padre expresa que la tecnología es una ayuda para la humanidad. Junto con los beneficios se asoma la prueba de la creatividad del ser humano, así como la vocación de participar de manera responsable de la acción creadora.

Es entonces que el desarrollo de la IA, así como el aprendizaje automático requiere de una actuación ética y responsable. Una tecnología centrada en el ser humano con fundamentos éticos que deben estar presentes desde el desarrollo del producto y tener por finalidad el bien común.

Para ello es necesario un diálogo integrador con la mirada centrada en el ser humano y la sociedad donde el criterio clave está en el reconocimiento de la dignidad intrínseca para evaluar las tecnologías emergentes, con una positividad ética que permite manifestar tal dignidad e incrementar su expresión(7).

1. Video mensaje del Santo Padre Francisco al TED 2017 de Vancouver

En este video hace un llamado de atención sobre el incremento de las desigualdades en el mundo a raíz del uso de las tecnologías digitales. Cuál es el rol de las instituciones en la exigencia de responsabilidades a las empresas tecnológicas por el impacto social y cultural de sus productos.

Esa desigualdad puede impactar en la idea de un destino compartido cuando el verdadero objetivo es el crecimiento de la innovación científica y tecnológica que acompaña una mayor igualdad e inclusión social.

El concepto de dignidad humana exige que reconozcamos y respetemos el hecho de que el valor fundamental de una persona puede medirse por un conjunto de datos.

Por ello es preciso el contralor de la carga del algoritmo donde pueden quedar excluidos la compasión, la misericordia, el perdón y la apertura a la esperanza.

• Comentario

El auge de la IA y, en particular, la llamada inteligencia artificial generativa, debe involucrar a desarrolladores, proveedores y organizaciones en lo que hace a la prevención y la reparación de los daños que pueden causar debido al uso de estas tecnologías. Una responsabilidad objetiva basa en los riesgos de su actividad, pero también una responsabilidad ética compartida para identificar y prevenir los riesgos hacia los grupos vulnerables, incluidos los niños y aquellos grupos que históricamente han sufrido discriminación sea por motivos éticos, religiosos, culturales o sociales.

En el análisis de los riesgos de estas tecnologías, se debe partir de la prevención desde el diseño de los algoritmos de IA, esto es, los criterios, parámetros o normas de compliance para asegurar que no se repliquen, amplíen o generen sesgos algorítmicos que sea en la etapa de entrenamiento del modelo o de su utilización práctica por los usuarios o consumidores (Internet, Internet de las cosas, bloques, redes sociales, entre otros) que puedan impactar de manera directa en la vida de las personas, del medio ambiente y de la sociedad.

1. Rome Call for AI Ethics. Roma, 28/02/2020. Disponible en https://www.vatican.va/roman_curia/pontifical_academies/acdlife/ documents/rc_pont-acd_life_doc_20202228_rome-call-for-ai-ethics_ en.pdf, consultado el 01/02/2024.
2. Su Santidad Papa Francisco. Discurso a los participantes en “Minerva Dialogues”, organizado por el Dicasterio para la cultura y la educación”, 27/03/2023. Disponible en https://www.vatican.va/ content/francesco/es/speeches/2023/march/documents/20230327-minerva-dialogues.html, consultado el 01/02/2024.

Existen ya varios precedentes sobre los daños generados por estas tecnologías como el caso del algoritmo SyRI en los Países Bajos, los escándalos por el uso de algoritmos generadores de noticias falsas en elecciones políticas o la utilización de drones cuyo sistema de IA interpretó que una aldea civil era un objetivo militar y se estableció que los Estados Unidos no eran responsables por ese daño colateral o la dudosa constitucionalidad de los sistemas de reconocimiento facial como mecanismo de prevención del delito.

Es entonces que la supervisión humana, así como la revisión de los outputs o la mejora del monitoreo de posibles efectos adversos pueden ser mecanismos que eviten este tipo de situaciones.

Por otro lado, nos advierte acerca de la posibilidad de control de los hábitos mentales, de la influencia en la toma de decisiones en los actos electorales o la falta de uniformidad acerca del concepto de IA.

Ante esta situación existen varios textos vigentes que abordan estos desafíos planteados por la IA(8):

1. Directrices Éticas para la IA confiable: la Comisión Europea presentó en abril de 2019 las directrices éticas para el desarrollo y uso de la IA. Se centran en la confiabilidad asegurando una IA legal, ética y robusta.
2. Reglamento General de Protección de Datos: entró en vigencia en mayo de 2018, se vincula en lo que hace a la privacidad y la protección de datos personales.
3. Iniciativas nacionales centradas en ética, innovación y apoyo a la investigación y el desarrollo en el campo de la IA.
4. Guía de la Casa Blanca para la Regulación de la IA, en enero de 2020 se publica un conjunto de principios para el desarrollo y la regulación de la IA basados en el crecimiento económico, la innovación tecnológica y la seguridad pública.
5. Directrices y estándares técnicos como la ISO vienen trabajando en el desarrollo de estándares y marcos para la IA.
6. Iniciativas del sector privado de las grandes empresas. En el caso de la Unión Europea, su reciente Reglamento sobre IA clasifica los riesgos en cuatro categorías:

• Riesgo bajo o mínimo: se enmarcarían todos los sistemas que no encajen en las otras clasificaciones, y que no estarían sujetos al reglamento por tener nulas o mínimas implicaciones para los derechos de los usuarios. Encuadran las aplicaciones como videojuegos habilitados para IA o filtros de spam.

1. Riesgo limitado: sistemas que no suponen un alto riesgo para los derechos y libertades. Incluyen determinadas tecnologías de menor sofisticación o capacidad de intrusión. El riesgo limitado se refiere a los sistemas de IA con obligaciones específicas de transparencia. Al utilizar sistemas de inteligencia artificial como los chatbots, los usuarios deben ser conscientes de que están interactuando con una máquina para que puedan tomar una decisión informada sobre continuar o retroceder.
2. IA de alto riesgo: se consideran entre ellas:
   1. Infraestructuras críticas como el transporte que pueden poner en riesgo la vida y la salud de los ciudadanos.
   2. Formación educativa o profesional dado que puede determinar el acceso a la educación o a la profesión.
   3. Componentes de seguridad de los productos como el uso de robótica tanto en el ámbito médico (cirugías) como doméstico (aspiradora, asistentes por voz).
   4. Empleo, gestión de los trabajadores y acceso al autoempleo a través de la utilización de software de selección de personal, de acceso a programas de empleo o de capacitación.
   5. Servicios públicos y privados esenciales a modo de ejemplo, la calificación crediticia, el otorgamiento de ayudas, subsidios, préstamos, tarifas diferenciadas.

1. Pérez, M. “Cápsula comentario: En búsqueda de una regulación de la IA. Recomendaciones para una Inteligencia Artificial fiable. Análisis preliminar de la Disposición 2/2023 de la Subsecretaría de Tecnologías de la Información”, El Derecho, Suplemento Derecho, Innovación y Desarrollo Sostenible. Número 13, junio 2023, cita digital ED-IV-CDXCI-47.
   

1. Aplicación de la ley que pueda interferir en los derechos fundamentales de las personas, tal el caso de tratamiento de datos, uso secundario de datos, publicidad, información, campañas políticas, sistemas de registración, entre otros.
2. Sistemas de verificación de identidad en fronteras que pueden impactar en la calificación de migrante, asilado o el control de documentación para ingreso-egreso de un territorio.

1. IA de riesgo inaceptable: aquellos sistemas que pueden implicar un riesgo inadmisible para la seguridad, la vida y los derechos fundamentales. Quedan incluidos aquellos capaces de manipular el comportamiento humano, predecir información respecto a colectivos o grupos para identificar sus vulnerabilidades o circunstancias especiales, o aquellos que impliquen la identificación biométrica o la videovigilancia masiva en directo por parte de las autoridades en espacios públicos. Respecto a estos últimos, solo se permiten para el cumplimiento de la ley, bajo autorización judicial o administrativa(9).

• La tecnología del futuro: máquinas que aprenden solas

En las diversas formas de IA subyacen las técnicas de aprendizaje automático que, aún en desarrollo introducen cambios notables en el tejido de las sociedades con influencia en la cultura, en los comportamientos sociales y en la construcción de la paz.

Tanto la machine learning como el deep learning abren la puerta a revisitar cuestiones tan trascendentes como el valor de la vida humana, los mecanismos básicos del conocimiento y la capacidad de nuestra mente de alcanzar la verdad, la realidad de cada persona y de la familia humana.

El desarrollo de diversos programas que imitan el lenguaje humano, que elaboran textos en apariencia coherentes, no es sinónimo de confiabilidad. Se pueden generar afirmaciones que pueden parecer plausibles, pero en la realidad ser infundadas o delatar prejuicios.

El uso en campañas de desinformación, la difusión de noticias falsas genera desconfianza en los medios de comunicación.

La confidencialidad, la posesión de datos y la propiedad intelectual son ámbitos en que la generación de riesgos en su fuente o hasta un uso impropio pueden llevar a la discriminación, la interferencia en elección de autoridades, la vigilancia y el control de los seres humanos, la exclusión digital y la intensificación de un individualismo cada vez más desvinculado de la colectividad.

Ello puede contribuir a la formación de conflictos y ser obstáculo para la paz.

• Comentario

La utilización de la inteligencia artificial en diversos desarrollos tecnológicos pone de relieve la posibilidad de crear máquinas que puedan llegar a decidir por sí solas a partir de los datos suministrados y procesados. Existe la toma de conciencia acerca del poder y el peligro de dejar a las resultas de una interpretación algorítmica la toma de decisiones sobre actividades, conocimientos, categorizaciones, sustitución, en definitiva, la puerta abierta a la suplantación del ser humano por un algoritmo revestido de inteligencia artificial.

La voluntad humana corre entonces a la par de las contribuciones algorítmicas en el campo de la medicina, en lo social o en lo económico. Cada vez nos resulta más complejo comprender su objeto, prever sus efectos o definir responsabilidades.

1. Parlamento y Consejo Europeo. Propuesta de Armonización de Reglas sobre IA. En el mes de diciembre de 2023 se aprobó, luego de largas discusiones, este texto que tiene su origen en los trabajos preliminares iniciados en la Propuesta para una IA fiable de 2017. A la fecha se han presentado algunas enmiendas al texto y se están preparando las versiones en las lenguas oficiales. Informaciones disponibles en https://eur-lex.europa.eu/legal-content/ES/ TXT/HTML/?uri=CELEX:52021PC0206; https://www.consilium.europa.eu/es/policies/artificial-intelligence/#AI%20act.

El Proyecto de Acta de Inteligencia Artificial fue presentado por primera vez en abril de 2021 con una gran crítica hacia la identificación biométrica por sus implicancias en el control gubernamental y en la preservación de los derechos de los ciudadanos. En esta tarea conjunta de las tres instituciones se logra un texto que entrará en vigencia en 2025 lo que parece un horizonte muy lejano frente a la rapidez de expansión de estas tecnologías.

Los programas de deep learning o aprendizaje profundo funcionan en base a estadísticas y el manejo de grandes volúmenes de datos. Si algo falla no puede saberse en qué parte del recorrido está el problema. Desde afuera no es posible conocer las razones ni los pasos empleados para la toma de decisiones dando lugar a las denominadas black box o cajas negras. Ejemplo ya clásico es lo sucedido con los vehículos de conducción autónoma que están entrenados para responder a circunstancias habituales de la conducción, pero frente a lo imprevisto puede actuar de cualquier manera sea atropellar a un peatón, sea llevarse puesto un semáforo.

Aún en las técnicas de IA en que se puede determinar el árbol de toma de decisiones, no se puede explicar cómo estas redes neuronales profundas actúan dado que hay entrenamiento y autoentrenamiento. Es una tecnología que se desarrolla con un objetivo, pero carece de valores, de principios éticos y no distingue entre medios y fines.

Además de los vehículos de conducción autónoma, hay otras situaciones en las que, sin dejar de considerar que la IA nos permite hacer más y mejor trabajo, se plantean dilemas éticos que pueden afectar a la convivencia pacífica y a la idea de justicia y equidad.

Así, existe una preocupación creciente acerca de la incidencia en la intención de voto de los sistemas que utilizan las redes sociales como mecanismos para la captación de voluntades electoras. Es un entorno donde lo que es real o es falsa noticia tiene una línea muy delgada, la que no siempre se advierte o distingue. Muchos escándalos como el de Cambridge Analítica o el juicio iniciado a los directivos de empresas como Facebook contribuyen más a la perspicacia que a la fiabilidad de este tipo de informaciones(10).

En otro caso, un dron del ejército norteamericano disparó un misil en una casa de una aldea de Kabul en agosto de 2021. Murieron siete niños y dos adultos, uno de ellos cooperante de una ONG. Nadie fue castigado por el terrible error dado que según los datos de los que disponían fue razonable concluir que el vehículo avistado estuviese ocupado por terroristas. La investigación posterior de las Fuerzas Aéreas de Estados Unidos consideró que no hubo violación de la ley, negligencia o incumplimiento del deber. La decisión fue tomada sobre la base de un programa de IA que determinó esa certeza razonable sobre el objetivo. La supervisión humana, bien gracias(11).

Al tomar decisiones el ser humano realiza una profunda y radical calificación de sus acciones, lo bueno, lo malo. La inteligencia es una prerrogativa humana.

La respuesta que trasunta las diversas propuestas normativas es la del ser humano en el ciclo o human in the loop para así poder determinar quién está a cargo cuando se presentan estas fallas cuando algo no funciona o cuando existe una intención deliberada en que esa IA funcione de una determinada manera u otra en los ejemplos precitados.

En todas estas situaciones también se advierte que hay fenómenos de fidelización de los usuarios por los que quedan encerrados en una burbuja dentro de la que se refuerza un único punto de vista, una sola tendencia y sin argumentos para ser rebatidos. Los sistemas de big data dan buena cuenta de ello, así como del uso de programas de gestión de redes sociales que potencian estas burbujas. La libertad de elección se halla cada vez más condicionada algorítmicamente.

Al decir de Octavio Paz: “La libertad no es una filosofía y ni siquiera es una idea: es un movimiento de la conciencia que nos lleva, en ciertos momentos a pronunciar dos monosílabos: Sí o No. En su brevedad instantánea, como a la luz del relámpago, se dibuja el signo contradictorio de la naturaleza humana”(12).

El control humano es necesario como forma de preservar nuestra dignidad, nuestra libertad y nuestra autonomía de la voluntad. Ello permite la protección de los sujetos más vulnerables, así como la prevención de daños irreparables ante la automatización de la toma de decisiones.

1. BBC Mundo. “Cómo un test de personalidad de Facebook le sirvió a Cambridge Analytica para recolectar información privada de millones de usuarios sin que lo supieran”, 20/03/2018. Disponible en https://www.bbc.com/mundo/noticias-internacional-43460702.
2. Khan, A. “Military Investigation Reveals How the U.S. Botched a Drone Strike in Kabul”. The New York Times, 06/01/2023. Disponible en https://www.nytimes.com/2023/01/06/us/politics/drone-civilian-deaths-afghanistan.html, consultado el 12/02/2024.
3. Paz, O. La otra voz. Poesía y fin de siglo. Ed. Seix Barral, Biblioteca breve, 1990, p. 57.
   

• El sentido del límite en el paradigma tecnocrático

El mundo es vasto, variado y complejo, lo que lo torna difícil de ser conocido en su totalidad. Nuestra mente nunca podrá agotar su riqueza aún con los algoritmos más avanzados que solo pueden brindar aproximaciones estadísticas a diferencia de la mente que siempre tiene un residuo inaccesible que se escapa a cualquier intento de cuantificación.

El análisis de grandes volúmenes de datos por la IA no es garantía de imparcialidad, más aún, cuando se extrapolan informaciones pueden ser distorsionadas o sesgadas. Alude a los fenómenos de cajas negras en que es difícil comprender por qué el sistema ha generado un determinado resultado.

Los mecanismos de suministro de datos a los diversos sistemas requieren de la supervisión humana con la advertencia de que cada uno de ellos tiene su propio sistema de valores. En determinadas circunstancias, pueden presentarse criterios que a la postre resulten menos transparentes, que busquen eludir responsabilidades o actuar en procura del bien de la comunidad.

Ello prende las alarmas y se debe reflexionar sobre el “sentido del límite” que parece descuidado en la sociedad actual, tecnocrática, eficientista, pero necesaria para el desarrollo personal y social. Este contexto ideológico del paradigma tecnocrático se potencia con una presunción de autosuficiencia que puede reflejarse en el crecimiento de desigualdades en forma desmesurada, la acumulación de riquezas en unos pocos y graves riesgos para las sociedades democráticas y la coexistencia pacífica.

• Consideraciones

Hay varios tópicos de discusión en derredor de los algoritmos acerca de la responsabilidad por los errores o daños, así como también la posibilidad de reconocerle personalidad jurídica a la inteligencia artificial.

En primer lugar, achacarle responsabilidad al algoritmo es considerada como una estrategia dirigida e intencionada con miras a una IA que cuestiona lo que somos y un incremento de la desigualdad y de la incertidumbre acerca de lo que es la verdad.

Es una realidad que hay situaciones en el marco del desarrollo algorítmico como es el caso de la opacidad del algoritmo incluso para el diseñador. Por otra parte, la transparencia que se persigue como ideal en muchos casos no puede ser garantizada sino una aspiración a la transparencia para lo que es menester acudir al principio de precaución en un contexto de especial incertidumbre científica y jurídica y, por tanto, propender a una privacidad desde el diseño y no una transparencia pretendida en una instancia posterior cuando se está pensando en los inputs y outputs frente al fenómeno de cajas negras. Es tarde. El daño es irreversible y, por tanto, solo cabrá su reparación integral. Tema vinculado al de la privacidad es el problema de los sesgos negativos o discriminatorios. No es posible tampoco decir que el sistema no tiene sesgos. El sesgo existe en cuanto son los seres humanos los que programan el algoritmo y cada uno tiene su propio sesgo. El problema son los sesgos negativos o discriminatorios en los que se pueden conculcar los derechos fundamentales de las personas. Es allí donde también la función preventiva de los daños puede tener un rol fundamental. Como ejemplo de ello podemos encontrar a los oficiales de control de datos previstos en el RGPD, las normas ISO sobre compliance corporativo(13), la valoración judicial de este tipo de sesgos(14).

• Temas candentes para la ética

Los sistemas de inteligencia artificial en el futuro podrían determinar la fiabilidad, la idoneidad, la reincidencia, el derecho a pedir asilo o ayuda social.

Advierte sobre la falta de niveles diversificados de mediación que estos sistemas introducen. Esta fuerte referencia a los sesgos algorítmicos se complementa con la posibilidad de efecto dominó generador de nuevas formas de desigualdad social.

1. ISO. FOCUS. “La era de la inteligencia artificial”. Nov.dic. 2019. Disponible en https://iss.isolutions.iso.org/files/live/sites/ isoorg/files/news/magazine/ISOfocus%20(2013-NOW)/sp/ISOfocus_137_sp.pdf, consultado el 12/02/2024.
2. European Union Agency for Fundamental Rights. Bias in Algorithms. Artificial Intelligence and Discrimination. Luxemburgo, 2022. Disponible en https://fra.europa.eu/en/publication/2022/bias-algorithm, consultado el 12/02/2024.

En idéntico sentido, las diversas formas de inteligencia artificial parecen influenciar los procesos de tomas de decisiones a través de opciones vinculadas a estímulos y persuasiones, manipulación o control social que requieren de atención y supervisión precisas. También sostiene la necesidad de establecer la responsabilidad legal de quienes son productores, de quienes las usan (es decir, se valen de ellas) y de las autoridades gubernamentales.

En lo que hace a la clasificación de las personas sea a través de vigilancia, la adopción de sistemas de crédito social puede impactar en el entramado social, con categorizaciones impropias o conflicto de poder.

En todas estas situaciones, lo medular es el respeto fundamental de la dignidad de la persona humana por la cual la singularidad de cada persona no puede ser establecida en función de un conjunto de datos.

No se puede permitir que los algoritmos dejen de lado los valores esenciales de la misericordia, la compasión y el perdón o eliminar la posibilidad de que alguien cambie y deje atrás su pasado.

Por otro lado, estas situaciones tienen impacto en el ámbito laboral en lo que hace a la posibilidad del desplazamiento de la mano de obra humana por aplicaciones industriales basadas en inteligencia artificial, lo que se refleja en nuevas desigualdades con beneficios desproporcionados en desmedro de otros. La dignidad de los trabajadores, la estabilidad de las personas, familias y de la sociedad, así como la seguridad de los empleos y la equidad salarial son materias prioritarias para la comunidad internacional.

• Comentario

Los procesos de innovación tecnológica basados en IA lejos están de ser homogéneos, transparentes y protectores de los derechos de los ciudadanos.

La lectura de las diversas propuestas normativas, la experiencia en la adopción de sistemas biométricos o la forma en que se controló la pandemia de COVID-19 parecieran proponer tres sistemas o tres modos de encarar la IA. García Cantero identifica tres “D” o tres modelos:

1. a) asiático: caracterizado por la dominación y disciplina, los datos están al servicio de Estado, con un modelo de avanzada que tiene como contrapartida el cercenamiento de los derechos de los ciudadanos y la pérdida de la privacidad; b) darwinismo capitalista de Silicon Valley, donde lo importante es dominar el mercado, maximizar beneficios sin importar cómo se vive o se sobrevive; c) derechos digitales: el modelo europeo al servicio del ciudadano, en un camino de idas y vueltas(15).

Es necesario cambiar nuestra mentalidad y no pensar la relación con la tecnología desde el control sino reflexionar o revisitar el diálogo con lo tecnológico como forma de adecuación de la democracia a estas nuevas realidades. El planteo no es nuevo. Frente a cualquier actividad humana que signifique un cambio con relación al pasado, conocido, seguro se genera desconfianza, temor o suspicacia. Sucedería con poder hacer fuego, usar la rueda o diseñar máquinas de guerra como el Caballo de Troya. En otros tiempos, con las ciudades amuralladas, los palimpsestos o la universidad medieval, las revoluciones industriales, la máquina de vapor, la llegada a la Luna y podríamos seguir en la enumeración. Hoy en día hay una complejidad en las relaciones interhumanas y el influjo tecnológico.

La Inteligencia Artificial no puede ser definida desde los humanos como un espejo de nuestra inteligencia humana. Quienes sostienen que a la IA debiera reconocérsele personalidad jurídica lo hacen considerando que somos espejos: tenemos derechos, la máquina los tiene; pagamos impuestos, la máquina también; el humano daña, la máquina daña; el humano es responsable, la máquina lo es.

Sin embargo, la inteligencia humana no puede ser equiparada a la inteligencia artificial. La Real Academia Española define a la inteligencia artificial como “disciplina científica que se ocupa de crear programas informáticos que ejecutan operaciones comparables a las que realiza la mente humana, como el aprendizaje o el razonamiento lógico”(16).

1. García Cantero, Jaime. “Hemos visto tecnologías que siempre cuestionaban lo que hacíamos, pero la IA cuestiona lo que somos”, Revista Nortes, 03/02/2024. Asociación Cultural Nortes de Asturias. Disponible en https://www.nortes.me/2024/02/03/hemos-visto-tecnologias-que-siempre-cuestionaban-lo-que-haciamos-pero-la-ia-cuestiona-lo-que-somos/, consultado el 06/02/24.
   

Las máquinas son buenas en todo aquello que pueda ser medido y computarizado, donde no hay contextos, ambigüedad o incertidumbre.

La IA puede calcular, pero carece de la posibilidad de ser con otros, la IA es sorda en cuanto no puede escuchar la voz interna que nos mueve a obrar hacia el bien, en ser misericordes, pacientes o equitativos. No hay una dimensión afectiva, hay emisión de datos o comportamientos de esa información suministrada o autoprogramada. Se descubren correlaciones, pero no sabe por qué sucede, resuelve en probabilidades.

Si se analiza la etimología de la palabra inteligencia significa inter legere, “elegir entre”. El ser humano puede elegir entre varias opciones porque además tiene libre albedrío. Y allí es donde, quizás, se encuentre el sentido del límite. El ser humano puede caminar en lo intransitado, hace camino al andar como decía Machado. La IA no puede ir a lo intransitado, solo tiene las opciones que le son dadas de antemano(17).

Las propuestas éticas de la UNESCO sirven como punto de partida para marcos normativos que sirvan de contención ante el avance de las tecnologías basadas en IA y la protección de las personas(18).

Esas propuestas son:

1. Proporcionalidad e inocuidad: los sistemas de IA no deben ser utilizados con fines de calificación social o vigilancia masiva.
2. Seguridad y protección: los sistemas de IA deben ser seguros y resistentes al fraude y al engaño (noticias falsas, herramientas de persuasión activa, filter bubble, cookies).
3. Equidad y no discriminación.
4. Sostenibilidad: los sistemas de IA deben ser respetuosos con el medio ambiente. Los desarrollos de tecnologías que utilizan IA son agentes contaminantes debido a la gran cantidad de recursos que requieren para su puesta en marcha como es el caso del agua y de la electricidad(19).
5. Derecho a la intimidad y protección de datos: binomio esencial en materia de limitación del uso de estas tecnologías. Las normas protectorias de raigambre constitucional, así como las normativas de carácter regional o particular deben ser complementadas con estatutos jurídicos particulares como es el caso de las leyes de defensa del consumidor y de la competencia. Por otro lado, es necesario avanzar en la acabada protección frente al uso secundario de datos y consentimiento informado, así como al denominado derecho al olvido digital(20).
6. Supervisión y decisiones humanas.
7. Transparencia y explicabilidad.
8. Responsabilidad y rendición de cuentas.

Es preciso avanzar hacia una algorética que permita que las personas, las sociedades y las economías puedan aprovechar las posibilidades que brinda la IA pero sin resignar la acabada protección de la persona en su dignidad, de la preservación y protección de la familia (en especial, niños y personas de la tercera edad como vulnerables digitales), de la adecuación de los sistemas laborales para lograr el equilibrio entre la tecnología y el trabajo digno, para contribuir al fin de las guerras y el respeto por los principios fundantes del Derecho Internacional.

• ¿Transformaremos las espadas en arados?

La expresión “transformar espadas en arados” alude a que al deseo innato de conflicto y competencia se opone la búsqueda de la transformación en actividades pacíficas y productivas y proviene del libro de Isaías 2:3-4(21).

1. Diccionario de la Real Academia Española. Disponible en https://dle.rae.es/, consultado el 06/02/2024.
2. Han, BCh., Quiebres del mundo de hoy. Trad. de J. Chamorro. Ed. Taurus, Barcelona, 2021, pp. 54, 57, 59.
3. UNESCO. Recomendación sobre la ética de la inteligencia artificial. Disponible en https://www.unesco.org/es/artificial-intelligence/recommendation-ethics, consultado el 12/02/2024.
4. Araiz Huarte, D. “La Inteligencia Artificial como agente contaminante: concepto jurídico, impacto ambiental y futura regulación»

El Santo Padre profundiza su significado al aludir a la necesidad de una ética propositiva en materia de armamentos o dispositivos que permiten conducir las operaciones militares de manera remota, por lo que esa falta de inmediatez humana pareciera llevar a una percepción menor del daño causado. Entre ellos, los “sistemas de armas autónomos letales” y el uso de inteligencia artificial. No es posible considerar a estos sujetos autónomos como personas moralmente responsables. Ello corresponde de manera exclusiva a la capacidad humana de juicio moral y de decisión ética y hace que la supervisión humana adecuada, significativa y coherente sea imperiosa.

Otro de los peligros se deriva del tráfico de armas a terroristas o desestabilizadores de gobiernos legítimos. Las aplicaciones técnicas más avanzadas deben ser usadas para abrir caminos de paz.

En lo que hace a sus usos beneficiosos, la inteligencia artificial debería poder ser utilizada para introducir innovaciones en la agricultura, la educación y la cultura, con una mejora en el nivel de vida de las naciones y los pueblos y favoreciendo el crecimiento de la fraternidad humana y la amistad social. Nuestra humanidad queda revelada en el modo en que utilizamos estas tecnologías para posibilitar la inclusión de los más débiles y necesitados.

Es por ello por lo que se torna necesario un diálogo transdisciplinar destinado al desarrollo ético de los algoritmos –la algorética–, en el que los valores orienten los itinerarios de las nuevas tecnologías.

Las cuestiones éticas deben ser consideradas desde el inicio de la investigación y a lo largo de todo el itinere, una ética de la planificación de la que deben participar, además, las instituciones educativas y los responsables de los procesos de toma de decisiones.

• Comentario

Desde hace tiempo se viene planeando la idea de reconocer personalidad jurídica a sistemas que utilizan o se basan en IA. Entre ellas, las denominadas armas autónomas denominadas así porque no requieren de un ser humano que las dirija y determine los objetivos a apuntar sino porque eluden cualquier tipo de límite como el ejemplo del ataque con misil en Kabul del que se habla en este trabajo.

Hay varios intentos para establecer una ética propositiva en el uso de este armamento en el que participan miembros de la Convención anual sobre Ciertas Armas Convencionales (CCW) entre los que se destacan el Observatorio de Derechos Humanos, la Harvard Law School International Humans Rights Clinic o el Comité Internacional de la Cruz Roja.

La Convención de las Naciones Unidas sobre Ciertas Armas Convencionales es un instrumento clave del derecho internacional humanitario, que contribuye a prevenir y reducir el sufrimiento tanto de la población civil como de los combatientes(22).

En sus análisis hacen hincapié en los riesgos humanitarios, legales y éticos, así como de las graves consecuencias que pueden tener tanto para los civiles como para los soldados. Sin embargo, existe una gran reticencia por parte de los países que utilizan estas tecnologías (India, Israel, Reino Unido, Rusia, EE. UU.) a determinar bajo qué parámetros y normas de responsabilidad deben operar este tipo de armamentos. Es por ello por lo que Su Santidad impulsa en forma indirecta en su propuesta la creación de un código de conducta sobre el uso de este tipo de armas letales autónomas y hace hincapié sobre la posibilidad del reconocimiento de una personalidad jurídica.

En la práctica frente a los conflictos armados como el de la Guerra de Ucrania en el que los sistemas de armas autónomos letales (SAAL) utilizan tecnologías asociadas con la IA, estas no tienen una adecuada recogida en el derecho internacional y, en especial, en el derecho internacional humanitario. A ello se aúna la expansión de la capacidad operativa sin intervención humana sin que haya una adecuada implementación sobre el uso de losción”. Rev. Actualidad Jurídica Ambiental, enero 2023. https://www.actualidadjuridicaambiental.com/articulo-doctrinal-la-inte-ligencia-artificial-como-agente-contaminante-concepto-juridico-impacto-ambiental-y-futura-regulacion/.

1. Pérez, M. Ponencia presentada en la IV Jornada Internacional de Derecho Civil Patrimonial, “Información y Nuevas tecnologías”, Derecho privado y nuevas tecnologías, Universidad Católica del Uruguay, Montevideo, 26/10/2019.
2. Biblia de Jerusalén, Isaías 2:3-4: “Dirán: Venid, subamos al monte de Yahveh, a la Casa del Dios Jacob, para que él nos enseñe sus caminos y nosotros sigamos sus senderos. Pues de Sion saldrá la Ley y de Jerusalén la palabra de Yahveh. Juzgará entre las gentes, será árbitro de pueblos numerosos. Forjarán sus espadas azadones y de sus lanzas podaderas. No levantará espada nación contra nación ni se ejercitarán más en la guerra”.
3. Naciones Unidas. “Convention on prohibitions or restrictions on the use of certain conventional weapons which may be deemed to be excessively injurious or to have indiscriminate effects as amended on 21 december 2001”. Disponible en https://geneva-s3.unoda.org/ static-unoda-site/pages/templates/the-convention-on-certain-conventio-nal-weapons/CCW%2Btext.pdf, consultado el 12/02/2024.
   

Estos Agentes son robots o máquinas artificialmente inteligentes que se comportan moralmente o como si lo fuesen. ¿Quién responde por los daños causados por el uso de este tipo de armas? Una de las respuestas es personificar jurídicamente a través de estos agentes morales artificiales. En este sentido, el Parlamento Europeo en una Resolución del 16 de febrero de 2017 con recomendaciones a la Comisión para que exploren, analicen y consideren las implicaciones de todas las posibles soluciones jurídicas como la creación a largo plazo de una personalidad jurídica específica para los robots para ser considerados como personas electrónicas responsables de reparar los daños que puedan causar.

Idea que debe ser rechazada dado que la personalidad es atributo de la dignidad humana. Por ello, la responsabilidad de este tipo de armas recae sobre el dueño o guardián y cabe una responsabilidad concurrente con toda la cadena que interviene en el diseño, la fabricación y la puesta en uso del arma letal. No cabe la analogía con las personas jurídicas como los Estados, las organizaciones o las sociedades en las que hay una ficción en pos de crear patrimonios especiales con responsabilidad acotada a la capacidad otorgada por estatuto y en las que siempre está la persona humana en las tomas de decisiones.

Es entonces que cobra más sentido la dignidad humana en lo que hace a su inteligencia y la realidad inteligible que le permite lograr certezas sobre su propio obrar, así como la responsabilidad por este tipo de creaciones(24). Solo el ser humano puede desplegar la conciencia y la sabiduría para la búsqueda de soluciones desde la prevención y la reparación de los daños.

Con relación a los importantes aportes de la innovación tecnológica en áreas como la agricultura, la educación y la cultura deben tener en miras el bien común en esta era digital. Los sistemas de IA, las tecnologías basadas en cadenas de bloques, actividades en que la robótica permite el acceso al agua a través de la automatización de los sistemas de riego, la incorporación de las TIC en las aulas o el desarrollo de aulas virtuales hacen de la mediación tecnológica una herramienta que permite acceder a recursos a personas que por sí o a través de sus comunidades nunca lo lograrían.

La interrelación entre cultura y educación, así como el hecho de que los diversos saberes deben operar como vasos comunicantes entre sí hacen al fortalecimiento del humanismo digital. Ello permite mejorar la comprensión de la mutación cultural que está produciendo en los diversos ámbitos de la actividad humana, tanto en lo ecológico (materiales y técnicas utilizadas en la agricultura), jurídicos y económicos (la gestión de la propiedad intelectual, la violación de los derechos de autor ante las pseudocreaciones de la inteligencia artificial generativa), históricos y políticos.

Es así entonces que la tecnología que se integra dignifica lo humano al tener en cuenta que estas innovaciones están al servicio de la integración con otras personas en su singularidad única e irrepetible en la que, además, es necesaria la integración entre las generaciones presentes y futuras.

• Desafíos para la educación

Las tecnologías digitales nos permiten nuevas formas de encuentro al multiplicar las posibilidades de comunicación. Sin embargo, es válida la reflexión sobre el tipo de relaciones a las que nos está llevando, en especial, entre los jóvenes creciendo en ambientes impregnados de tecnología que llevan a cuestionar los métodos de enseñanza y de formación.

1. Marín Martínez, A. “Los sistemas de armas autónomos letales y el Derecho Internacional Humanitario en la Guerra de Ucrania”. Revista Relaciones Internacionales Nº 53, junio 2023-septiembre 2023. Grupo de Relaciones Internacionales. Universidad Autónoma de Ma-drid. Disponible en https://doi.org/10.15366/relacionesinternaciona-les2023.53.004, consultado el 12/02/2024.
2. Constitución Pastoral Gaudium et Spes sobre la Iglesia en el mundo actual, 15 y 16. Disponible en https://www. vatican.va/archive/hist_councils/ii_vatican_council/documents/   vat-ii_const_19651207_gaudium-et-spes_sp.html, consultado el 12/02/2024.

Es preciso que la educación en el uso de la IA promueva el pensamiento crítico, desarrollar una capacidad de discernimiento en el uso de datos, en el contenido de la web o los producidos por sistemas de IA.

Llama a las escuelas, a las universidades y a las sociedades científicas a hacer propios los aspectos sociales y éticos del desarrollo y uso de la tecnología y ayudar así a los estudiantes y profesionales.

Este proceso de formación debe abarcar el conocimiento de la existencia de desinformación, noticias falsas, así como el aumento de “miedos ancestrales” para vencer la tentación de una cultura de muros para impedir el encuentro entre culturas, entre personas y favorecer una coexistencia pacífica y fraterna.

• Comentarios

En la década de los noventa cuando Internet pasó a ser parte de la vida cotidiana de muchas personas, se vio en ella un instrumento para una mayor democratización de los saberes y de la información al igualar a los sujetos que accedían a ella sin importar si estaban en Buenos Aires o en la isla de Man. La limitación venía más de la tecnología disponible en cada país que del uso de Internet per se. Sin embargo, la innovación de los buscadores, la aparición de la Internet profunda o el mal uso de Internet hizo tomar conciencia de que no todo es democracia, que no todo es bueno y que en Internet se puede hacer mal.

Con la IA sucede algo semejante, a un ritmo vertiginoso de manera tal que, en especial los que nacimos en el mundo analógico, muchas veces tenemos la sensación de que es algo que se escurre entre nuestros dedos.

La IA en el ámbito educativo es una tecnología disruptiva que viene a complementar el andamiaje iniciado con la incorporación de las TIC al aula. Sin embargo, hay varios temas a considerar de los que bien advierte el Santo Padre.

Es una vía para potenciar la educación porque permite potenciar la capacidad en el sistema de enseñanzaaprendizaje y, a través de la mediación digital, posibilitar el acceso a personas que por diversas razones no pueden participar de modo sincrónico. Por otra parte, la accesibilidad a la información, a los recursos o la utilización de los medios digitales pueden generar una dependencia y desalentar el andar solo. No basta con que la IA se centre en aprender contenidos y desarrollar competencias y virtudes; es necesario aprender a pensar como mecanismo de autorregulación del entorno digital, de la administración del tiempo que se dedica al uso de diversos dispositivos(25).

En este camino de aprendizajes están involucradas las familias, las escuelas, las universidades y la comunidad científica y educativa que deben buscar las vías para que se pueda descubrir el pensar por sí, en tomar conciencia de la cantidad de informaciones verdaderas pero también falsas o cortinas de humo; para reflexionar sobre el sentido y alcance de las raíces culturales de los pueblos que junto con el idioma contribuyen a labrar la identidad nacional; para criticar y proponer frente a las imposiciones de los poderes de turno sean estos políticos, económicos o se muevan en la sombra y se escuden en la masa como lo alertara Ortega y Gasset hace casi un siglo(26).

Redescubrir la capacidad de pensar, de razonar, de criticar permite desarrollar habilidades para advertir que estamos en una sociedad en la que pareciera que todos nos adaptamos a las decisiones algorítmicas. Las noticias falsas o fake news pueden tener más efecto a corto plazo que la verdad. Se acumulan cantidades de información, se hacen verdaderas maratones de series, se acumulan amigos o seguidores, pero en todo ello pareciera que perdimos al otro y todo está mercantilizado.

1. Bellomo, S. “La inteligencia Artificial puede ser una garrocha o una muleta”. Reportaje de A. Dillon, Infobae, 04/02/2024. Disponible en https://www.infobae.com/educacion/2024/02/04/santiago-bellomo-la-inteligencia-artificial-en-educacion-puede-ser-una-garrocha-o-una-muleta/.
2. Ortega y Gasset. J. La rebelión de las masas. Prólogo de Julián Marías. Ed. Círculo de Lectores, 2011. “(…) Triunfa hoy sobre todo el área continental una forma de homogeneidad que amenaza consumir por completo aquel tesoro. Dondequiera ha surgido el hombremasa de que este volumen se ocupa, un tipo de hombre hecho de prisa, montado nada más que sobre unas cuantas y pobres abstracciones y que, por lo mismo, es idéntico de un cabo de Europa al otro. A él se debe el triste aspecto de asfixiante monotonía que va tomando la vida en todo el continente. Este hombre-masa es el hombre previamente vaciado de su propia historia, sin entrañas de pasado y, por lo mismo, dócil a todas las disciplinas llamadas ‘internacionales’”, p. 14.
   

El redescubrir la capacidad de pensar, de razonar, de criticar permite también amigarse con la esencia de lo analógico que reside en un buen libro, en una buena historia, en el sentir cultural que pasa de generación en generación.

El redescubrir la capacidad de pensar, de razonar, de criticar permite además transformarse en un zoon politikon, en enlazar la virtud del hombre bueno con la del buen ciudadano.

• Desafíos para el desarrollo del derecho internacional

El punto de partida del Papa Francisco se encuentra en el alcance global de la IA. Ello pone en evidencia la responsabilidad de los Estados de regular su uso interno, de las organizaciones internacionales en asumir protagonismo en el logro de acuerdos multilaterales y coordinar su aplicación.

Exhorta a la comunidad de naciones a trabajar unida para el logro de un tratado internacional vinculante que regule el desarrollo y uso de la IA en sus formas múltiples.

Debe abarcar la prevención de malas prácticas, alentar mejores prácticas, estimular nuevos planteos e iniciativas personales y colectivas.

Debe procurarse la búsqueda de modelos normativos que proporcionen una guía ética para quienes desarrollen estas tecnologías, insistiendo una vez más en la identificación de los valores humanos que deben estar en este acuerdo para su formulación, adopción y aplicación.

• Comentario

Este camino de discernimiento ético y jurídico puede tornarse en una reflexión compartida sobre el rol de la tecnología en nuestra vida personal y comunitaria y cómo puede contribuir a la creación de un mundo más justo y humano.

Lo diferente se hace más difícil. El individuo, la privacidad, la familia, las formas de comunicarse parecen encaminarse a la “expulsión de lo distinto”(27).

En ese sentido, se advierte también una creciente fragmentación del Estado y de las instituciones por cuanto hay nuevos actores y una nueva competencia económica que llevan a acuerdos regionales que buscan imponer modelos económicos de un mundo globalizado que chocan con los intereses individuales y personales(28) de muchos ciudadanos como da buena cuenta la marcha de los agricultores sobre París en este enero de 2024 que se extiende por el resto de la Europa agrícola.

Como bien destaca el Papa Francisco, la innovación tecnológica es parte de este proceso y se encuentra condicionada a los intereses privados, así como a una mayor fragmentación e individualismo en merma del sentido social o de servicio a la sociedad(29).

En este sentido, es necesario enfocarse en la salvaguarda de la dignidad de la persona humana a través del respeto por un desarrollo integral y sostenible, en impulsar una ética en materia e innovación tecnológica que mantenga su norte en la protección del ser humano desde su concepción, en la salvaguarda de su autonomía y en la defensa de su libertad. Es por ello que a lo largo de la tradición de la Doctrina Social de la Iglesia se erige como marco de referencia y consejo a tiempos de cambio cada vez más acelerados y con sensación, muchas veces, de estar frente a un salto al vacío sin red.

1. Han, B.Ch. La expulsión de lo distinto, Ed. Herder, Barcelona, 2023. Traducción de Alberto Ciria. “Los tiempos en los que existía el otro han pasado. El otro como amigo, el otro como infierno, el otro como misterio, el otro como deseo van desapareciendo. (…) Lo que enferma a la sociedad no es (…) sino la hipercomunicación, el exceso de información, la sobreproducción y el hiperconsumo”, p. 9.
2. France24.  “Francia:  agricultores  mantienen  protestas  pese a  anuncios  del  Gobierno;  llaman  a  ‘sitiar’  a  París”.  Disponible  en https://www.france24.com/es/francia/20240127-francia-agricultores-mantienen-protestas-pese-a-anuncios-del-gobierno-llaman-a-sitiar-a-par%C3%ADs, consultado el 31/01/2024.
3. Papa Francisco. Mensaje al presidente del Foro Económico Mundial. Lema: Crear un futuro compartido en un mundo fracturado. Davos, 23-26 de enero de 2018. Disponible en https://press.vatican.va/content/salastampa/es/bollettino/ pubblico/2024/01/17/170124b.html#:~:text=Espero%2C%20 pues%2C%20que%20los%20participantes,convivencia%20 pac%C3%ADfica%20entre%20los%20pueblos.

A modo de conclusión preliminar

La Inteligencia Artificial, la robótica y las innovaciones tecnológicas deben contribuir al bienestar de la humanidad y al cuidado de la Casa Común y no viceversa. Humanizar la tecnología y no tecnologizar lo humano.

Es necesaria entonces una algorética como puente para inscribir esos principios protectorios de la dignidad humana en las tecnologías digitales. Se impulsa, entonces, la creación de organismos con responsabilidad y sensibilidad ética.

La algorética persigue la verificación competente y compartida de los procesos mediante los cuales se integran las relaciones entre los humanos y las máquinas en un diálogo.

Se abre el debate sobre una pretendida neutralidad tecnológica que no es tal. Así, es necesario un marco ético protectorio ante la evidencia de signos discriminatorios, desigualdades sociales, monopolios y cartelización de industrias y servicios; automatización del pensamiento, nuevas vulnerabilidades frente a la que las cartas de derechos digitales son insuficientes.

El mensaje del Santo Padre tiene la riqueza de la simplicidad, de la generosidad pastoral que permite avocarse a la búsqueda de respuestas ante estas nuevas preguntas.

Bibliografía

Mensaje de Su Santidad Francisco para la celebración de la 57.a Jornada Mundial de la Paz. 1 de enero de 2024. Disponible en https://www.vatican.va/content/francesco/ es/messages/peace/documents/20231208-messaggio-57giornatamondiale-pace2024.html

Papa Francisco. Laudato si´

Papa Francisco. Discurso de Su Santidad en el Encuentro con los participantes en la plenaria de la Pontificia Academia para la Vida, 28/02/2020. Disponible en https:// www.vatican.va/content/francesco/es/speeches/2020/fe-bruary/documents/papa-francesco_20200228_accademia-perlavita.html

Diccionario de la Real Academia Española. Voz inteligencia artificial: Disciplina científica que se ocupa de crear programas informáticos que ejecutan operaciones comparables a las que realiza la mente humana, como el aprendizaje o el razonamiento lógico. La Fundación del Español Urgente expresa que “la expresión inteligencia artificial es una denominación común y, por lo tanto, lo adecuado es escribirla enteramente con minúsculas. Es también habitual el empleo de la sigla IA, que sí se escribe con mayúscula, y que es preferible a la inglesa AI (correspondiente a artificial intelligence). Información disponible en https://www.fundeu.es/recomendacion/ inteligencia-artificial-es-la-expresion-del-2022-para-la-fundeurae/#:~:text=La%20expresi%C3%B3n%20inteli-gencia%20artificial%20es,(correspondiente%20a%20arti-ficial%20intelligence), consultado el 12/02/2024.

Han, B.Ch. Infocracia. Trad. Joaquín Chamorro. Ed.

Taurus, Barcelona, 2022.

Rome Call for AI Ethics. Roma, 28 de febrero de 2020. Disponible en https://www.vatican.va/roman_curia/pontifical_academies/acdlife/documents/rc_pont-acd_life_ doc_20202228_rome-call-for-ai-ethics_en.pdf

Su Santidad Papa Francisco. Discurso a los participantes en “Minerva Dialogues” organizado por el Dicasterio para la cultura y la educación, 27/03/2023. En https:// www.vatican.va/content/francesco/es/speeches/2023/ march/documents/20230327-minerva-dialogues.html

Pérez, Matilde. “Cápsula comentario: En búsqueda de una regulación de la IA. Recomendaciones para una Inteligencia Artificial fiable. Análisis preliminar de la Disposición 2/2023 de la Subsecretaría de Tecnologías de la Información”, El Derecho, Suplemento Derecho, Innovación y Desarrollo Sostenible. Número 13, junio 2023, cita digital ED-IV-CDXCI-47.

Parlamento y Consejo Europeo. Propuesta de Armonización de Reglas sobre IA. En el mes de diciembre de 2023 se aprobó luego de largas discusiones este texto que tiene su origen en los trabajos preliminares iniciados en la Propuesta para una IA fiable de 2017. A la fecha se han presentado algunas enmiendas al texto y se están preparando las versiones en las lenguas oficiales. Informaciones disponibles en https://eur-lex.europa.eu/legal-content/ES/TXT/HTML/?uri=CELEX:52021PC0206; https://www.consilium.europa.eu/es/policies/artificial-intelligence/#AI%20act

BBC Mundo. “Cómo un test de personalidad de Facebook le sirvió a Cambridge Analytica para recolectar información privada de millones de usuarios sin que lo supieran”, 20/03/2018. Disponible en https://www.bbc. com/mundo/noticias-internacional-43460702

Khan, A. “Military Investigation Reveals How the

U.S. Botched a Drone Strike in Kabul”. The New York Times, 06/01/2023. Disponible en https://www.nytimes. com/2023/01/06/us/politics/drone-civilian-deaths-afgha-nistan.html

Paz, O. La otra voz. Poesía y fin de siglo. Ed. Seix Ba-rral, Biblioteca breve, 1990, p. 57.

ISO. FOCUS. “La era de la inteligencia artificial”. Nov.-dic. 2019. Disponible en https://iss.isolutions.iso. org/files/live/sites/isoorg/files/news/magazine/ISOfo-cus%20(2013-NOW)/sp/ISOfocus_137_sp.pdf

European Union Agency for Fundamental Rights. Bias in Algorithms. Artificial Intelligence and Discrimination. Luxemburgo, 2022. Disponible en https://fra.europa.eu/ en/publication/2022/bias-algorithm

García Cantero, Jaime. “Hemos visto tecnologías que siempre cuestionaban lo que hacíamos, pero la IA cues-tiona lo que somos”, Revista Nortes, 03/02/2024. Asocia-ción Cultural Nortes de Asturias. Disponible en Https:// www.nortes.me/2024/02/03/hemos-visto-tecnologias-que-siempre-cuestionaban-lo-que-haciamos-pero-la-ia-cuestiona-lo-que-somos/

Diccionario de la Real Academia Española. Disponible en https://dle.rae.es/

Han, B.-Ch. Quiebres del mundo de hoy. Trad. de J. Chamorro. Ed. Taurus, Barcelona, 2021.

UNESCO. Recomendación sobre la ética de la inteli-gencia artificial. Disponible en https://www.unesco.org/ es/artificial-intelligence/recommendation-ethics

Araiz Huarte, D. “La Inteligencia Artificial como agen-te contaminante: concepto jurídico, impacto ambiental y futura regulación”. Rev. Actualidad Jurídica Ambiental, enero 2023. Disponible en https://www.actualidadjuridi-caambiental.com/articulo-doctrinal-la-inteligencia-artifi-cial-como-agente-contaminante-concepto-juridico-impac-to-ambiental-y-futura-regulacion/

Pérez, Matilde, ponencia presentada en la IV Jornada Internacional de Derecho Civil Patrimonial, “Información y Nuevas tecnologías”, Derecho privado y nuevas tecno-logías, Universidad Católica del Uruguay, Montevideo, 26/10/2019.

Biblia de Jerusalén: Isaías 2:3-4.

Naciones Unidas. “Convention on prohibitions or restrictions on the use of certain conventional weapons which may be deemed to be excessively injurious or to

have indiscriminate effects as amended on 21 december 2001”. Disponible en https://geneva-s3.unoda.org/static-unoda-site/pages/templates/the-convention-on-certain-conventional-weapons/CCW%2Btext.pdf

Marín Martínez, A. “Los sistemas de armas autónomos letales y el Derecho Internacional Humanitario en la Gue-rra de Ucrania”. Revista Relaciones Internacionales Nº 53, junio 2023 – septiembre 2023. Grupo de Relaciones Internacionales. Universidad Autónoma de Madrid. Dis-ponible en https://doi.org/10.15366/relacionesinternacio-nales2023.53.004

Constitución Pastoral Gaudium et Spes sobre la Iglesia en el mundo actual, 15 y 16. En https://www.vatican.va/ archive/hist_councils/ii_vatican_council/documents/vat-ii_const_19651207_gaudium-et-spes_sp.html

Bellomo, S. “La inteligencia Artificial puede ser una garrocha o una muleta”. Reportaje de A. Dillon, Info-bae, 04/02/2024. En https://www.infobae.com/educa-cion/2024/02/04/santiago-bellomo-la-inteligencia-artifi-cial-en-educacion-puede-ser-una-garrocha-o-una-muleta/

Ortega y Gasset. J., La rebelión de las masas. Prólogo de Julián Marías. Ed. Círculo de Lectores, 2011.

Han, B.-Ch. La expulsión de lo distinto, Ed. Herder, Barcelona, 2023. Traducción de Alberto Ciria.

France24.  “Francia:  agricultores  mantienen  protestas pese a anuncios del Gobierno; llaman a ‘sitiar’ a París”. En  https://www.france24.com/es/francia/20240127-fran-cia-agricultores-mantienen-protestas-pese-a-anuncios-del-gobierno-llaman-a-sitiar-a-par%C3%ADs

Papa Francisco. Mensaje al presidente del Foro Eco-nómico Mundial. Lema: Crear un futuro comparti-do en un mundo fracturado. Davos, 23-26 ENE 2018. Disponible en https://press.vatican.va/content/salas tampa/es/bollettino/pubblico/2024/01/17/170124b. html#:~:text=Espero%2C%20pues%2C%20que%20los% 20participantes,convivencia%20pac%C3%ADfica%20en-tre%20los%20pueblos

VOCES: DERECHO – TECNOLOGÍA – INTERNET – INTELIGENCIA ARTIFICIAL – INFORMÁTICA – ESTADO – DERECHOS Y GARANTÍAS CONSTITUCIONALES – DERECHOS HUMANOS – PODER JUDICIAL – ECONOMÍA – CONSTITUCIÓN NACIONAL – CÓDIGO DE ÉTICA – JUECES – ABOGADO – PROFESIONES LIBERALES – FILOSOFÍA DEL DERECHO – SENTENCIA – JUSTICIA – ACCESO A LA JUSTICIA – PROTECCIÓN DE DATOS PERSONALES – TRATADOS INTERNACIONALES – ÉTICA – IGLESIA CATÓLICA – EDUCACIÓN – DERECHO INTERNACIONAL

Responsabilidad en torno a la figura del influencer. Palpitando las Jornadas Nacionales de Derecho Civil(*)

por Carlos Alberto Fossaceca(**) y José María Sabat Martinez(***)

Introducción

Un dato empírico verificable de la sociedad moderna consiste en la existencia de la sociedad del consumo, a veces denominada como sociedad líquida(1).

Su rasgo arquetípico radica en la compra compulsiva de bienes y productos por parte de los usuarios. Es el consumo, ya sea de productos, servicios o realidades, como eje fundamental de la actividad económica. Tal objetivo se logra mediante una constante publicidad de la mercadería que se intenta vender. En la oferta, precisamente, vemos una búsqueda de representatividad que intenta lograr que su mensaje se reproduzca (acepte). La aceptación es el resultado (positivo) de la influencia.

(**) Doctor en Ciencias Jurídicas (UCA), también especialista en Derecho de Daños (UCA) y profesor de la Pontificia Universidad Católica Argentina (UCA) en las asignaturas Derecho de las Obligaciones y Derecho de Daños. Autor de diversos trabajos de doctrina. Email: fossaceca@uca.edu.ar.

(***) Profesor titular de Obligaciones Civiles y Comerciales en la Universidad del Salvador. Especialista en Asesoramiento Jurídico de Empresas. Email: jose.sabat@usal.edu.ar.

1. Bauman, Zygmunt, Moderna liquidad. Fondo de Cultura Económica, México, 2003.

En este espectro de voluntades contrapuestas, adquiere relevancia la figura del influencer en el derecho consumeril.

Concepto

El influencer es una persona que se ha hecho conocida a través del uso de Internet y las redes sociales (RR. SS.), y utiliza una celebridad creciente y compartida, para respaldar, promover o generar interés en determinado producto(2).

Es decir, se trata de una persona conocida en determinado ámbito, que trata de publicitar entre sus seguidores un cierto producto, y ello producido a través de los entornos digitales. Utiliza, para ello, su reconocimiento y la confianza que genera en su público para dar mayor difusión al bien o servicio en particular que pretende instalar, captando su atención.

Su significación económica es cada vez mayor. El público se ha tornado menos propenso a seguir los consejos de la publicidad tradicional, y su atención tiende a orientarse hacia personas comunes a quien se elige seguir a través de las redes sociales. La actuación del influencer, tributaria de la Revolución Industrial 4.0, es entonces clave dentro del marketing digital. El ecosistema de redes es el escenario donde se juega la partida.

Es por ello por lo que la figura del influencer se ha vuelto relevante para el derecho privado. Tan es así, que resultará objeto de un especial análisis por parte de la Comisión de Derecho del Consumidor, en las XXIX Jornadas Nacionales de Derecho Civil, que se celebrarán en la Universidad Austral en el mes de septiembre de 2024.

Metodología

El propósito de este trabajo es considerar los distintos aspectos que puede presentar la responsabilidad del influencer, lo cual conlleva, como primer requisito, el analizar su encuadre.

1. Diccionario inglés Oxford, 3er significado de influencer (2007), https://www.oed.com/search/advanced/Meanings?textTermText0=infl uencer&textTermOpt0=WordPhrase, captado 8 de noviembre de 2023. En el proyecto de ley, expediente 1358/20, presentado por la senadora Cristina del Carmen López Valverde se los define como aque-llas personas que “poseen un número importante de seguidores o sus-criptores y son sujetos verificados por la red social, y a través de su cuenta utilizan su alto grado de exposición, su imagen reconocida en las redes sociales y su capacidad de convencimiento para promocio-nar un determinado objeto, producto o servicio con el objeto de influir en las decisiones de consumo de sus seguidores y de este modo obte-
2. Ver en https://es.semrush.com/blog/que-es-un-influencer-venta-jas-marketing-influencers/
3. Ver en https://www.marketingdirecto.com/marketing-general/ marketing/influencer-marketing-gana-popularidad-y-cada-vez-mas-adeptos
   

De tal forma, se iniciará el análisis por determinar si su régimen es el del derecho común, o el propio del derecho del consumo. En tal sentido, se determinará si el influencer puede ser tenido como proveedor.

Siendo que el Código Civil y Comercial distingue la responsabilidad obligacional de la responsabilidad civil, el siguiente paso será evaluar si el influencer está o no obligado a cumplir aquellas obligaciones contraídas por el vendedor o el prestador de servicios que contrató directamente con el consumidor.

En este campo obligacional, también se debe considerar un aspecto distinto, esto es, qué efectos pueda tener la conducta desarrollada por el influencer en el contenido del contrato que vincule al consumidor con aquel con quien contrató de modo directo.

Ingresando al ámbito de la responsabilidad civil, se analizarán tres de sus presupuestos (antijuridicidad, relación de causalidad y a los factores de atribución). No así al daño resarcible (jurídico), ya que no presenta perfiles particulares en el tema a estudio.

También, se considerarán los aspectos que presenta la eventual pluralidad de responsables. Esto debido a que, en los casos en que se tenga por responsable tanto al influencer como al proveedor directo, habrá que distinguir si se trata de una responsabilidad solidaria o concurrente.

El estudio también ingresa en el análisis de cuestiones vinculadas, como ser los alcances de la fiscalización administrativa y de las acciones judiciales emergentes; el deber del influencer de revelar los vínculos que mantenga con el proveedor; el caso del influencer creado mediante la inteligencia artificial; y de las políticas regulatorias en la materia.

Por último, expondremos las conclusiones.

Fundamento y encuadre

La actividad del influencer se enmarca en el ámbito publicitario. Dentro de este, su nota característica es el empleo de redes sociales y nuevas tecnologías, a través de las cuales proyecta esta particular forma de comunicación.

En tal sentido, debe recordarse que el empleo de medios tecnológicos (TIC) acentúa la vulnerabilidad de los consumidores, y no puede ser tenido como un factor de atenuación de responsabilidad. Por el contrario, acrecienta la confianza que tienen con respecto al emisor del mensaje. La responsabilidad del influencer se funda en el derecho común, y no en el derecho de consumo.

Si bien es cierto que el artículo 2º de la ley 24.240(6) no señala un listado taxativo de personas que pueden ser tenidas como proveedores, es dable entender que la actividad publicitaria no ha quedado enmarcada en tal norma. El dar a conocer un producto o servicio es fundamental para su éxito económico, pero es una actividad paralela y distinguible a la desarrollada por aquellos quienes integran su cadena de conformación material, logística y de venta.

Artículo 2º de la Ley 24.240: “PROVEEDOR. Es la persona física o jurídica de naturaleza pública o privada, que desarrolla de manera profesional, aun ocasionalmente, actividades de producción, montaje, creación, construcción, transformación, importación, concesión de marca, distribución y comercialización de bienes y servicios, destinados a consumidores o usuarios. Todo proveedor está obligado al cumplimiento de la presente ley. No están comprendidos en esta ley los servicios de profesionales liberales que requieran para su ejercicio título universitario y matrícula otorgada por colegios profesionales reconocidos oficialmente o autoridad facultada para ello, pero sí la publicidad que se haga de su ofrecimiento. Ante la presentación de denuncias, que no se vincularen con la publicidad de los servicios, presentadas por los usuarios y consumidores, la autoridad de aplicación de esta ley informará al denunciante sobre el ente que controle la respectiva matrícula a los efectos de su tramitación”.

Si bien el citado art. 2 considera proveedores a quienes intervienen en la comercialización, entendemos que ello comprende a quienes son parte de la intermediación en el cambio, no a los que ejercitan una actividad publicitaria de marketing, consistente en la promoción y la difusión(7).

Tampoco puede asimilarse la labor del influencer con la utilización o colocación de una marca. Si bien el empleo de marcas y la función promocional son mecanismos importantes para que los consumidores reconozcan o elijan un producto, se trata de prácticas distintas. Quien coloca una marca asegura a los consumidores que el bien se encuentra dentro de la esfera de control del dueño del signo distintivo. En cambio, el influencer no pretende ser el responsable del producto, sino que su actividad consiste en difundir las virtudes de aquel.

Ámbito obligacional

A continuación, se verá si el consumidor puede reclamarle el cumplimiento de la prestación solo al proveedor directo, o si también puede dirigirse contra el influencer.

El consumidor contrata con el proveedor directo, y no con el influencer.

En atención a ello, y al efecto relativo de los contratos, el influencer no es responsable de los incumplimientos en que pudiere incurrir el proveedor directo.

Ello será así aun cuando se considere al influencer como proveedor a los fines del derecho del consumo. En tal sentido, la ley 24.240 regula al incumplimiento obligacional en el art. 10 bis(8), y allí no se señala que exista una responsabilidad solidaria que pueda extenderse a quienes no contrataron con el consumidor.

Distinto es el caso en que el influencer hubiere garantizado o aseverado el cumplimiento, o el resultado o la eficacia del resultado. Esta responsabilidad emanaría de la doctrina de los actos propios y de la eficacia de la declaración unilateral de voluntad (art. 1800(10), CCCN).

Ahora cabe considerar una situación distinta. Se analizará si el contenido del contrato celebrado por el proveedor directo puede verse influenciado por las acciones cumplidas por el influencer.

1. 1. En este sentido se ha indicado que la actividad del influencer se trataría de un capítulo de publicidad encubierta sujeto a las normas que gobiernan la Lealtad Comercial: “soy de la opinión de que si el problema que plantea la actividad de los influencers en las publicidades digitales es una cuestión exclusivamente vinculada con la publicidad encubierta –como el proyecto de ley así parece enfocar el asunto, a la luz de su art. 8º–, entiendo que no. Existen normas específicas dentro del Dec. 274/2019 de Lealtad Comercial, como son sus arts. 9º y 10, incs. a) y b), que podrían resultar aplicables toda vez que algunos de los actos que se les reprochan a estos sujetos, como ser la falta de indicación de que las sugerencias que realizan en sus contenidos publicados en redes sociales consisten en una publicidad paga, bajo ciertas condiciones podrían ser reputados como actos de competencia desleal”, Nazar Anchorena, Marcos F. L., “La publicidad y el marketing digital a través de influencer: a propósito de un reciente y novedoso proyecto de ley”, La Ley Online, LA LEY, 16/09/2020, 1, Punto 1.
   2. Artículo 10 bis de la ley 24.240: “Incumplimiento de la obligación. El incumplimiento de la oferta o del contrato por el proveedor, salvo caso fortuito o fuerza mayor, faculta al consumidor, a su libre elección a: a) Exigir el cumplimiento forzado de la obligación, siempre que ello fuera posible; b) Aceptar otro producto o prestación de servicio equivalente; c) Rescindir el contrato con derecho a la restitución de lo pagado, sin perjuicio de los efectos producidos, considerando la integridad del contrato. Todo ello sin perjuicio de las acciones de daños y perjuicios que correspondan” (Artículo incorporado por el art. 2º de la Ley Nº 24.787, B.O. 2/4/1997).
   3. Ver en https://www.elcorreo.com/tecnologia/redes-sociales/ youtuber-influencer-profesiones-20191028115943-nt.html

Artículo 1800 del Código Civil y Comercial: “Regla general. La declaración unilateral de voluntad causa una obligación jurídicamente exigible en los casos previstos por la ley o por los usos y costumbres. Se les aplican subsidiariamente las normas relativas a los contratos”.

Entendemos que la cuestión exige distinguir si existe o no una relación comercial entre el influencer y el proveedor.

Si la relación es inexistente, los dichos y acciones del influencer serán inoponibles al proveedor directo.

En cambio, si se demuestra la vinculación comercial entre el influencer y el proveedor, será de aplicación el art. 1103(11), CCCN. De tal manera, las precisiones propagadas por el influencer se tendrán por incluidas en el contrato celebrado entre proveedor y consumidor, y obligan al oferente.

Antijuridicidad

En líneas generales, la antijuridicidad se verificará cuando una persona padezca un daño no justificado (art. 1717(12), CCCN), que sea consecuencia de informaciones perniciosas (inexactas, insuficientes, discriminatorias, agraviantes, peligrosas, falsas, engañosas o prohibidas) difundidas por el influencer.

Esta antijuridicidad puede configurarse tanto por acción (por ej., cuando las expresiones del influencer son inexactas), como por omisión (v. gr., cuando la información es insuficiente).

Dentro de la valoración de la antijuridicidad deben tenerse presentes:

• Las normas sobre competencia desleal, y sobre publicidad engañosa y comparativa previstas en Dec. 274/2019(13).
• La regulación de las prácticas abusivas prevista en los arts. 1096 a 1099, CCCN(14).
• Las publicidades prohibidas a tenor del art. 1101(15), CCCN.
• Las disposiciones particulares que regulan o limitan determinadas publicidades, propagandas o anuncios, como ser la prohibición referida a los juguetes que sean réplicas de armas de fuego(16), las pautas previstas para las publicidades referentes a medicamentos(17), la ley 27.642 de Promoción de Alimentación Saludable(18), el régimen de las entidades financieras(19), etc.

Relación de causalidad

Desde una visión macro, viviendo en la Era de la Intangibilidad y la desmaterialización de la tecnología, la causalidad jurídica, por entonces utilizada para delimitar (y atribuir) las diferentes participaciones en los distintos momentos en que ocurrieron los eventos, sufre, a la par, un proceso de resignificación cuando desarrolla

• Artículo 1103 del Código Civil y Comercial: “Efectos de la publicidad. Las precisiones formuladas en la publicidad o en anuncios, prospectos, circulares u otros medios de difusión se tienen por incluidas en el contrato con el consumidor y obligan al oferente”.

• Artículo 1717 del Código Civil y Comercial: “Antijuridicidad. Cualquier acción u omisión que causa un daño a otro es antijurídica si no está justificada”.

1. B.O. 22/04/2019.
2. Los artículos mencionados disponen:

Artículo 1096 del Código Civil y Comercial: “Ámbito de aplicación. Las normas de esta Sección y de la Sección 2a del presente Capítulo son aplicables a todas las personas expuestas a las prácticas comerciales, determinables o no, sean consumidores o sujetos equiparados conforme a lo dispuesto en el artículo 1092”.

Artículo 1097 del Código Civil y Comercial: “Trato digno. Los proveedores deben garantizar condiciones de atención y trato digno a los consumidores y usuarios. La dignidad de la persona debe ser respetada conforme a los criterios generales que surgen de los tratados de derechos humanos. Los proveedores deben abstenerse de desplegar conductas que coloquen a los consumidores en situaciones vergonzantes, vejatorias o intimidatorias”.

Artículo 1098 del Código Civil y Comercial: “Trato equitativo y no discriminatorio. Los proveedores deben dar a los consumidores un trato equitativo y no discriminatorio. No pueden establecer diferencias basadas en pautas contrarias a la garantía constitucional de igualdad, en especial, la de la nacionalidad de los consumidores”.

Artículo 1099 del Código Civil y Comercial: “Libertad de contratar. Están prohibidas las prácticas que limitan la libertad de contratar del consumidor, en especial, las que subordinan la provisión de productos o servicios a la adquisición simultánea de otros, y otras similares que persigan el mismo objetivo”.

• Artículo 1101 del Código Civil y Comercial: “Publicidad. Está prohibida toda publicidad que: a) contenga indicaciones falsas o de tal naturaleza que induzcan o puedan inducir a error al consumidor, cuando recaigan sobre elementos esenciales del producto o servicio;

1. b) efectúe comparaciones de bienes o servicios cuando sean de naturaleza tal que conduzcan a error al consumidor; c) sea abusiva, discriminatoria o induzca al consumidor a comportarse de forma perjudicial o peligrosa para su salud o seguridad”.

1. Art. 2, ley 9198 de la Pcia. de Córdoba, B.O. Córdoba 22/12/2004.
2. Resolución de ANMAT nro. 3186/1999, B.O. 30/06/1999.
3. B.O. 12/11/2021.
4. Arts. 16 y 17, ley 21.526, DJA D1088.

su iter analítico en los entornos digitales. En efecto, su doble finalidad (an debeatur, ¿quién lo hizo? y quantum debeatur, ¿por cuánto debe responder?) debe adecuarse a ecosistemas virtuales, siendo su brújula, no ya “lo que acostumbra a suceder según el curso natural y ordinario de las cosas” sino en el juego de las tensiones generadas entre los sesgos producidos y las funciones desplegadas, no tan ordinarias y naturales, de aquellos que –desde distintos espacios– construyen en lo virtual.

Pero de ceñirnos al régimen general ya conocido, la víctima debería acreditar la existencia de una relación de causalidad adecuada basada en el juego de tensiones que propone el daño sufrido con la información propagada por el influencer (art. 1726(20), CCCN).

De tal modo, en dicha ponderación se deberá acreditar:

• La existencia del daño;
• La inadecuación del mensaje propagado por el influencer;
• Se deberá demostrar que dicha información era susceptible, conforme al curso natural y ordinario de las cosas, de causar un nocimiento en sus destinatarios;
• Se tendrá que probar que, a la fecha de la producción del daño, la víctima estuvo expuesta a la información perniciosa (acreditando, por ejemplo, que a esa fecha seguía al influencer en las redes sociales);
• Finalmente, será necesario comprobar que el mensaje propagado fue lo que determinó que la víctima adquiriese el producto o servicio que le produjo el daño;

Todo esto debería ser evaluado según el curso natural y ordinario de las cosas, esto es, conforme lo que normalmente sucede.

Lo dicho es sin perjuicio de la posibilidad de distribuir las cargas probatorias, y de la valoración de las circunstancias de cada caso (art. 1735(21)). Seguramente, no ha de tener la misma incidencia una persona conocida solo localmente y con pocos seguidores, que otra a la cual la siguen miles de personas en el mundo entero.

Factores de atribución

Ante la inexistencia de una norma que imponga la responsabilidad objetiva, cabe entender que la responsabilidad del influencer es, en principio, subjetiva (arg. art. 1721(23), CCCN)(24).

En la valoración de la culpa serán determinantes las circunstancias del caso para mensurar el juicio de diligencia de la conducta desplegada. No es lo mismo publicitar un producto cosmético aprobado por la autoridad de aplicación, que promover riesgosas inversiones financieras.

La masividad de la exposición del mensaje, el empleo de medios tecnológicos, el anonimato de los destinatarios, y la especial naturaleza de ciertos productos o servicios conllevan el deber del influencer de extremar los recaudos para verificar la veracidad y procedencia de su mensaje.

• Artículo 1726 del Código Civil y Comercial: “Relación causal. Son reparables las consecuencias dañosas que tienen nexo adecuado de causalidad con el hecho productor del daño. Excepto disposición legal en contrario, se indemnizan las consecuencias inmediatas y las mediatas previsibles”.

• Artículo 1735 del Código Civil y Comercial: “Facultades judiciales. No obstante, el juez puede distribuir la carga de la prueba de la culpa o de haber actuado con la diligencia debida, ponderando cuál de las partes se halla en mejor situación para aportarla. Si el juez lo considera pertinente, durante el proceso debe comunicar a las partes que aplicará este criterio, de modo de permitir a los litigantes ofrecer y producir los elementos de convicción que hagan a su defensa”.

1. 1. Ver en https://hostingplus.ar/blog/marketing-de-influencers-estrategias-para-colaboraciones-exitosas/

• Artículo 1721 del Código Civil y Comercial: “Factores de atribución. La atribución de un daño al responsable puede basarse en factores objetivos o subjetivos. En ausencia de normativa, el factor de atribución es la culpa”.

1. En el sentido indicado en el texto “… la responsabilidad que puede caberle al influencer respecto del consumidor se perfila con claridad en los casos en los que el primero actúa con culpa o con dolo. Si se configura alguno de los factores subjetivos de atribución de la responsabilidad, esta resulta indiscutible”. Cfr. Mazzzinghi, Jorge A.
2. “Responsabilidad civil del influencer frente al consumidor”, La Ley Online, TR LALEY AR/DOC/1865/2022, Punto VII.
   

En tal sentido, debe recordarse que el empleo de medios tecnológicos acentúa la vulnerabilidad de los consumidores, y no puede ser tenido como un factor de atenuación de responsabilidad. Por el contrario, al generarse una sensación de cercanía y falta de intermediación, aumenta la confianza del consumidor, con las consecuencias que se analizaron supra.

La difusión de un mensaje publicitario no configura de por sí una actividad que encuadre como peligrosa en los términos del art. 1757(25), CCCN.

Sin embargo, sí será peligrosa su actividad, de acuerdo con las circunstancias del caso, cuando se promueven productos o servicios cuya comercialización se encuentra prohibida o cuando no se cumplen las normas que regulan la publicidad de ciertos bienes. Sería el caso, v. gr., en que una persona no sea profesional de la medicina, y que pese a ello estimule la adquisición de productos farmacéuticos.

El criterio de responsabilidad también será objetivo cuando se garantice un resultado o la eficacia de un resultado.

Asegurar un resultado puede resultar de afirmaciones expresas, o bien puede manifestarse de un modo tácito. Es decir, no solo se debe analizar al mensaje desde un punto de vista objetivo (la literalidad de los términos o imágenes empleadas), sino también finalista (poniéndose aquí el acento en el efecto que el mensaje produce en el destinatario).

La cuestión se vincula con la generación de confianza como factor de atribución. Habrá entonces responsabilidad objetiva cuando la confianza generada por el mensaje haya sido el medio idóneo y adecuado –según una regla de razonabilidad– para generar en el consumidor una creencia concreta y decisiva acerca de la infalibilidad del producto o servicio(26).

Es así como los actos propios, en cuanto sean determinantes en la pérdida o frustración de expectativas razonablemente generadas en el consumidor, constituyen un factor de atribución autónomo y objetivo(27).

Empero, será necesario también distinguir la situación en la que es el influencer, por sí mismo, quien garantiza el resultado, de aquel otro supuesto en que se limita a transmitir o informar la garantía brindada por el proveedor. Si se comunica eficientemente que el influencer no es el garante, entonces el influencer no será responsable.

En lo que hace a las responsabilidades que surgen del derecho consumeril, y según se afirmó anteriormente, el influencer no es proveedor. Por lo tanto, no queda sujeto a la responsabilidad objetiva del art. 40(28) ni a los daños punitivos establecidos en el art. 52 bis(29) de la Ley de Defensa del Consumidor.

Quid de la pluralidad subjetiva

La responsabilidad del influencer puede ser individual o bien puede darse de un modo conjunto con la del proveedor. La mirada de ponderación jurídica debe llevarse a cabo desde la perspectiva del ilícito aquiliano.

Será una responsabilidad meramente individual si el influencer actúa sin tener vinculación con el proveedor, y al mismo tiempo, el daño se genera por la inadecuación del mensaje en sí mismo y no por las características del producto o servicio ofrecido. Estaremos aquí ante una responsabilidad por lo actos propios (art. 1749(30), CCCN).

Distinto es el caso en que exista un vínculo contractual entre proveedor e influencer.

En este último supuesto, la deuda del influencer será, en principio, concurrente con la del proveedor. Esto se debe a que son distintas las causas de su responsabilidad. (arg. art. 1751(31), CCCN).

Esta responsabilidad concurrente entre ambos sujetos se dará aun cuando el daño se derive exclusivamente de lo comunicado, y no en función del producto o servicio. Nos explicamos mejor: el aviso publicitario debe respetar el principio de veracidad, su contenido debe ser fidedigno, obedeciendo a la circunstancia de que el destinario toma su decisión en base a ella(32).

La relación que vincula al fabricante o proveedor con el influencer es de índole contractual. Se admite que se trata de un contrato de locación discutiéndose si encuadra como de servicio o de obra(33). La prestación del segundo es brindar información que será captado por terceros, los destinatarios del mensaje.

Esta visión contractual implica descartar la tesitura de la responsabilidad del principal (fabricante o proveedor) por el hecho de su dependiente (influencer)(34).

El enfoque actual radica en referirse a la tutela extracontractual de posiciones contractuales(35). La mirada se focaliza en los terceros que sufren los daños por la ejecución del contrato o provocan nocimientos a las partes o a uno(36) de ellos alterando el mentado acto jurídico.

Hay dos principios que no resultan opuestos: el primero resulta ser el principio relativos de los contratos y el otro el alterum non ladere, las consecuencias de los actos contractuales recaen entre las partes (art. 1021, CCC(37)), pero no deben perjudicar a terceros(38).

En este sentido, el influencer al brindar información inadecuada provoca que su admirador, destinatario del mensaje, adquiera la cosa o el servicio por el cual el proveedor contrató al primero.

En lo que hace a las responsabilidades que surgen del derecho consumeril, y según se afirmó anteriormente, el  influencer no es proveedor. Por lo tanto, no queda sujeto a la responsabilidad objetiva del art. 40(28) ni a los daños punitivos establecidos en el art. 52 bis(29) de la Ley de Defensa del Consumidor.

• Artículo 1757 del Código Civil y Comercial: “Hecho de las cosas y actividades riesgosas. Toda persona responde por el daño causado por el riesgo o vicio de las cosas, o de las actividades que sean riesgosas o peligrosas por su naturaleza, por los medios empleados o por las circunstancias de su realización. La responsabilidad es objetiva. No son eximentes la autorización administrativa para el uso de la cosa o la realización de la actividad, ni el cumplimiento de las técnicas de prevención”.

1. 1. Admitiendo la excepcionalidad de los casos de responsabilidad objetiva del influencer: “Aunque exista una preocupación legítima y entendible por resguardar la figura del consumidor, aunque se parta de la base de considerarlo un sujeto vulnerable merecedor de una protección especial, considero que la eventual responsabilidad que pueda llegar a caberle al influencer frente al consumidor únicamente puede fundarse en un factor objetivo de atribución en casos particularmente extremos”, Mazzinghi, Jorge A. M., ob. cit., Punto VII.
   2. Weingarten, Celia, Derechos en expectativa del consumidor, Astrea, Buenos Aires, 2004, p. 60.
   3. Artículo 40 de la ley 24.240: “Si el daño al consumidor resulta del vicio o riesgo de la cosa o de la prestación del servicio, responderán el productor, el fabricante, el importador, el distribuidor, el proveedor, el vendedor y quien haya puesto su marca en la cosa o servicio. El transportista responderá por los daños ocasionados a la cosa con motivo o en ocasión del servicio. La responsabilidad es solidaria, sin perjuicio de las acciones de repetición que correspondan. Solo se liberará total o parcialmente quien demuestre que la causa del daño le ha sido ajena” (Artículo incorporado por el art. 4º de la Ley Nº 24.999, B.O. 30/7/1998).

• Artículo 52 bis de la ley 24.240: “Daño Punitivo. Al proveedor que no cumpla sus obligaciones legales o contractuales con el consumidor, a instancia del damnificado, el juez podrá aplicar una multa civil a favor del consumidor, la que se graduará en función de la gravedad del hecho y demás circunstancias del caso, independientemente de otras indemnizaciones que correspondan. Cuando más de un proveedor sea responsable del incumplimiento responderán todos solidaria-mente ante el consumidor, sin perjuicio de las acciones de regreso que les correspondan. La multa civil que se imponga no podrá superar el máximo de la sanción de multa prevista en el artículo 47, inciso b), de esta ley”, (Artículo incorporado por art. 25 de la Ley N° 26.361, B.O. 7/4/2008).

• Artículo 1749 del Código Civil y Comercial: “Sujetos responsables. Es responsable directo quien incumple una obligación u ocasiona un daño injustificado por acción u omisión”.

• Artículo 1751 del Código Civil y Comercial: “Pluralidad de responsables. Si varias personas participan en la producción del daño que tiene una causa única, se aplican las reglas de las obligaciones solidarias. Si la pluralidad deriva de causas distintas, se aplican las reglas de las obligaciones concurrentes”.

1. 1. Nazar Anchorena, Marcos F. L, ob. cit., Punto II.
   2. Ídem, III.
   3. Esta conclusión se ve reforzada si se adopta la tesitura del contrato de locación de servicio entre proveedor e influencer.
   4. Véase Lorenzetti, Ricardo, “Esquema de una teoría sistémica del contrato”, La Ley Online, 1999-E, 1168.
   5. No es dable descartar la colusión entre un tercero y una parte cómplice para desbaratar el derecho del otro cocontratante. Constituye el clásico ejemplo la venta de un inmueble a más de un comprador haciéndose la entrega material a aquel que conocía la maniobra fraudulenta.

• Artículo 1021 del Código Civil y Comercial: “Regla general. El contrato solo tiene efecto entre las partes contratantes; no lo tiene con respecto a terceros, excepto en los casos previstos por la ley”.

1. “Cabe deducir, en consecuencia, que entre el principio de los efectos relativos… y el alterum non laedere… no existe un conflicto, sino dos planos de operatividad. Por el primero, se limita los efectos de las obligaciones contractuales a las partes y eventualmente a sus causahabientes; con el segundo, a diferencia, se extiende el deber de no dañar a los intereses que derivan del contrato… Esta distinción permite superar la confusión entre el problema de la eficacia contractual y el de la posibilidad de lesión de las posiciones contractuales por parte de terceros ajenos a ella”, De Lorenzo, Miguel Federico, “Contrato que daña a terceros, terceros que dañan al contrato (líneas de una evolución histórica y jurisprudencial)”, La Ley Online, RCyS 2007, 240, Punto I, C).
   

ciado en su manifestación de voluntad. Se produce un menoscabo a la confianza inculpable(39).

Como excepción, la responsabilidad será solidaria en aquellos casos en que se demuestre una colusión dolosa entre influencer y proveedor, de modo tal que estas conductas, separables subjetivamente, configuren una única y misma causa en torno a su finalidad nociva.

Control administrativo y acción judicial

A tenor del art. 12(40) del Dec. 274/2019, la autoridad de aplicación no podrá requerir la autorización o supervisión previa a la difusión del mensaje del influencer. La fiscalización solo podrá ser ex post facto, asegurándose así el respeto absoluto hacia la prohibición constitucional de la censura previa.

Cuando la publicidad fuere ilícita (y posteriormente a su difusión), los consumidores afectados, o los legalmente legitimados, puedan solicitar al juez su cesación, y la publicación, a cargo del demandado, de anuncios notificatorios, y en su caso, de la sentencia condenatoria (art. 1102(41), CCCN). Ello sin perjuicio, claro está, de la posibilidad de reclamar las indemnizaciones que correspondieren.

• Indicación de la contratación del influencer

En los EE. UU. la Federal Trade Commission(42) ha señalado la necesidad de explicitar cualquier relación o conexión material con el producto publicitado.

Esta conexión material, según la FTC puede ser personal, familiar, de empleo o financiera. Ello incluye los casos en los que el influencer recibe bienes mediante canjes. La buena fe, figura de primigenia importancia receptada en el artículo 9(43), CCCN, como principio de derecho, indica que se torna conveniente que el consumidor sepa de la existencia de una relación onerosa entre el influencer y el propietario del producto que trata de dar a conocer entre sus seguidores. No es necesario que sea una prestación dineraria, ya que, en muchas ocasiones, se paga al influencer mediante canjes.

Este deber de informar condice, también, con el principio de transparencia de los entornos digitales(44) y del de veracidad de la publicidad.

Se torna recomendable en este punto consignar una leyenda que indique que se trata de una actividad onerosa, de fácil lectura, que evite confusiones al respecto. Tendría que estar visible desde el momento en que aparezca el anuncio. A veces se utilizan signos como # o @ para captar mejor la atención del usuario.

Debe considerarse práctica desleal hacer pasar el elogio de un producto como si fuera una decisión espontánea cuando en realidad es paga.

En la propia actividad del marketing se ha acuñado la terminología de principio de publicidad publicitaria: “Toda publicidad debe revelarse como tal ante sus receptores; estos deben saber que se encuentran frente a una publicidad cuando reciben un anuncio y, por lo tanto, conocer que ese anuncio o la opinión que se hace en él no es imparcial, aun cuando lo que se brinde sea información objetiva y veraz”(45).

Quid del influencer creado por inteligencia artificial

• Ídem, Punto II, 3, a). Resume: “En otros términos, responde extracontractualmente quien, por ser particularmente cualificado en su actividad, genera en el tercero una confianza inculpable producién-dole a través de una información inexacta un detrimento patrimonial”.

• Artículo 12 del decreto 274/2019: “Control posterior. La Au-toridad de Aplicación no podrá requerir autorización o supervisión previa a la difusión de la publicidad y la fiscalización se efectuará úni-camente sobre la publicidad que haya sido difundida en el mercado”.

• Artículo 1102 del Código Civil y Comercial: “Acciones. Los con-sumidores afectados o quienes resulten legalmente legitimados pueden solicitar al juez: la cesación de la publicidad ilícita, la publicación, a cargo del demandado, de anuncios rectificatorios y, en su caso, de la sentencia condenatoria”.

1. 1. Federal Trade Commission “Disclosures 101 for Social Media Influencers”, rec. en 24/11/2024 en https://www.ftc.gov/business-guidance/resources/disclosures-101-social-media-influencers

• Artículo 9 del Código Civil y Comercial: “Principio de buena fe. Los derechos deben ser ejercidos de buena fe”.

1. 1. Véase Muler, Germán E., “Los principios del sistema de protec-ción del consumidor y su proyección en los entornos digitales”, La Ley Online, TR LALEY AR/DOC/3820/2020.

• Nazar Anchorena, Marcos F. L., ob. cit., Punto II. Agrega: “En efecto, el destinatario percibe el anuncio como información confiable por parte de un tercero, antes que, como un anuncio publicitario, de forma tal que es mejor persuadido por aquella”.

Se torna posible plantear otra hipótesis de ponderación:

¿Qué sucede cuando el influencer es creado por una inteligencia artificial? Esta posibilidad ha dejado de ser exclusiva de la ciencia ficción, resultando verificable en la realidad.

Tal es el caso de Aitana que goza de más de 120.000 seguidores. Creada por una agencia española y posee un perfil en Instagram donde interactúa con sus seguidores. Se presenta como fan de los juegos y del fitness.

Tal como indica el Proyecto de Reglamento de Inteligencia Artificial de la Unión Europea, estamos ante “un conjunto de tecnologías de rápida evolución que puede generar un amplio abanico de beneficios económicos y sociales en todos los sectores y las actividades sociales”.

Ha quedado muy obsoleta la primera noción de un conjunto de algoritmos. La caracterización que mejor aplica a la noción de hoy es la de entender que la inteligencia artificial trata de recrear las capacidades cognoscitivas humanas a través de sus propios recursos tal como el machine learning.

El influencer virtual creado a través de ella, en consecuencia, gozará de cierta autonomía para desenvolverse entre sus seguidores.

Tal dinámica hace que no puedan aplicarse la teoría de los criterios clásicos de la culpa y el dolo. Por su parte, la idea de la personería electrónica dista de ser pacífica.

Por el contrario, hay que recurrir insoslayablemente a factores de atribución objetivos. El fundamento se encuentra en torno a la actividad riesgosa que prevé el art. 1757, CCCN, obedeciendo a la circunstancia de que no se puede detectar ninguna singularidad, es de aplicación automática en este tipo de situaciones.

Serán responsables de manera concurrente los programadores, y quien tenga la guarda del influencer virtual.

Aitana López – Influencer virtual(46)

Redacción de un Código de Buenas Prácticas

Constituye una medida razonable alentar la confección de una serie de indicaciones que tipifiquen conductas que tutelen la dignidad del consumidor y que promuevan que el mensaje publicitario sea lo más exacto posible(47).

Tales mecanismos autorregulatorios conformarían un modo de desalentar procedimientos desleales y abusivos. Asimismo, proveerían una herramienta preventiva de autocomposición ante las dudas que se suscitan por no tener una regulación específica del influencer.

Claro está, estos códigos de buenas prácticas no pueden aspirar a suplantar a las fuentes formales del derecho. En este sentido, se torna pertinente traer a colación la Guía de Buenas Prácticas en la publicidad a través de influenciadores que ha publicado la Superintendencia de Industria y Comercio de Colombia(48).

– Estima al influencer como “la persona, que a través de redes sociales y/o plataformas digitales interactivas, al compartir su cotidianidad, intereses y experiencias con una comunidad en línea, ha logrado construir credibilidad, confianza y una imagen reconocible que le permite influir, afectar o motivar el comportamiento del consumidor” (Punto II, Definiciones)

1. Ver en https://www.elespanol.com/omicrono/soft-ware/20231102/aitana-sexy-modelo-jubila-influencers-hecha-ia-arra-sa-onlyfans/806669740_0.html
2. Así lo han predicado los profesores Débora Marhaba y Sergio Sebastián Barocelli en la doctrina nacional. Véase Marhaba, Débora y Barocelli, Sergio Sebastián, “Los influencers como nueva forma de publicidad y la protección de los consumidores”, La Ley Online, TR LALEY AR/DOC/1926/2020, Punto V. Una posible propuesta: un código de buenas prácticas para influencers.
3. Agradecemos a la alumna de grado Clara Pizzolo Stefano de la Facultad de Derecho de la Universidad Católica Argentina (UCA) quien nos ha señalado su existencia en el ordenamiento jurídico colombiano.
   

• Acatamiento de los preceptos que gobiernen la publicidad de los productos y de los principios y reglas del derecho consumeril.
• Verificación de la identificación del mensaje como aviso publicitario e impedir la ocultación del citado dato.
• Conocimiento por parte de la audiencia de la relación comercial entre el productor y el influencer. Debe emplearse un lenguaje claro y la comunicación de las ideas debe hacerse en castellano.
• Adopción de políticas de transparencias.
• Es destacable que hayan sugerido adoptar una conducta de abstención cuando el productor sugiera ocultar su relación(49).

Conveniencia de regular la actividad

La actividad de los influencer presenta particularidades propias y originales, y ha alcanzado tal difusión que resulta aconsejable, de lege ferenda, el debate y sanción de una normativa que le sea peculiar.

No se trata de ahogar normativamente una actividad en constante evolución, sino de evitar aplicar odres viejos en vino nuevo.

La seguridad jurídica de los propios influencers, y la protección de los destinatarios del mensaje saldrán fortalecidas si se señala un marco claro y apropiado a su actividad.

Conclusiones

Como corolario de lo expuesto, decimos que el influencer no es un proveedor. No se rige por el derecho consumeril, sino que se encuentra disciplinado por el derecho común.

En el ámbito obligacional, el influencer no resulta ser deudor de la prestación debida por el proveedor directo. Ello, salvo que hubiera asegurado el cumplimiento, o el resultado. Frente a esto la responsabilidad obligacional brotará de la doctrina de los actos propios y de la declaración unilateral de voluntad.

Si se demuestra que existe un vínculo comercial entre influencer y proveedor directo, a los efectos de la publicidad les será aplicable el art. 1103, CCCN.

La antijuricidad, como presupuesto del responder tomará forma cuando las expresiones u omisiones atribuibles al influencer causen un daño no justificado. Se deberá tener en cuenta la existencia de mandatos legales y prohibiciones, existentes tanto en normas generales como en regímenes particulares.

Para que exista causalidad jurídica, se deberá demostrar que el mensaje –además de nocivo– era susceptible de influir en la víctima. También la acreditación de que el damnificado estuvo expuesto a la influencia del publicista en la época en que se produjo el daño, siendo necesario comprobar que tal incidencia fue lo que determinó la adquisición del producto o del servicio que causó el daño. Todo ello juzgado bajo el prisma de lo que resulta ser previsible y que sucede con habitualidad.

El factor de atribución resulta ser fundamentalmente subjetivo.

El influencer no ejerce, en principio, una actividad peligrosa.

Su responsabilidad se tornará objetiva en aquellos casos en que se garantice el resultado, de modo directo o tácito. Ello, por aplicación de la doctrina de los actos propios como factor de atribución objetivo autónomo.

La cuestión de la creación de confianza como factor objetivo se vincula con la garantía tácita del resultado.

• Se lee en el Punto V, Recomendaciones: “Se recomienda al influenciador abstenerse de emitir un mensaje publicitario sin identificarlo como tal, a petición del anunciante. Lo anterior, teniendo en cuenta que, de no revelarse esta relación comercial, podría eventualmente ser considerado anunciante y responder por las transgresiones al régimen de protección al consumidor, sin perjuicio de la responsabilidad que corresponda al anunciante”.

Si el influencer deja debidamente aclarado que el garante es el proveedor directo, y no él mismo, entonces no será responsable.

Cuando el influencer no tiene vínculo comercial con el proveedor directo, su responsabilidad podrá emanar de sus propios actos.

En caso de que exista una relación comercial del influencer con el proveedor directo, y a los fines de su responsabilidad civil, se estará en principio ante una responsabilidad concurrente. Será solidaria, en cambio, cuando existe una colusión dolosa entre proveedor directo e influencer.

La actividad de los influencer no está sujeta a autorizaciones previas. La fiscalización administrativa y las acciones judiciales solo procederán ex post facto.

Todo vínculo material existente entre el influencer y el proveedor debe ser revelado al consumidor. Lo contrario debe ser tenido como una práctica desleal, reñida con la buena fe.

Será aplicable el régimen de las actividades peligrosas para los casos de los influencers desarrollados mediante inteligencia artificial.

Se torna conveniente que los sectores involucrados redacten códigos de conducta autorregulatorios. Empero, estos no suplantan a las fuentes formales del derecho. Solo acompañan en una sinergia virtuosa.

Las peculiares características de la figura estudiada y el volumen expansivo de dichas actividades en el ecosistema digital aconsejan que sea objeto de una regulación específica. Ello contribuirá con la seguridad jurídica.

Y, sin lugar a dudas, constituye un tema apasionante para ser debatido en la Comisión del Derecho del Consumidor en las próximas XXIX Jornadas Nacionales de Derecho Civil, que se celebrarán en la Universidad Austral en septiembre de 2024, al tratarse de un actor típico de la Revolución Industrial 4.0.

Bibliografía

Bauman, Zygmunt, Moderna liquidad, Fondo de Cultura Económica, México, 2003.

Diccionario inglés Oxford, 3er significado de influencer (2007), https://www.oed.com/search/advanced/Meanings?t extTermText0=influencer&textTermOpt0=WordPhrae

Art. 2, ley 9198 de la Pcia. de Córdoba, B.O. Córdoba 22/12/2004.

Resolución  de  ANMAT  nro.  3186/1999,  B.O.

30/06/1999.

B.O. 12/11/2021.

Arts. 16 y 17, ley 21.526, DJA D-1088.

Mazzzinghi, Jorge A. M. “Responsabilidad civil del influencer frente al consumidor”, La Ley Online, TR LA-LEY AR/DOC/1865/2022, Punto VII.

Weingarten, Celia, Derechos en expectativa del consumidor, Astrea, Buenos Aires, 2004.

Muler, Germán E., “Los principios del sistema de protección del consumidor y su proyección en los entornos digitales”, La Ley Online, TR LALEY AR/ DOC/3820/2020.

Marhaba, Débora y Barocelli, Sergio Sebastián, “Los influencers como nueva forma de publicidad y la protección de los consumidores”, La Ley Online, TR LALEY AR/DOC/1926/2020, Punto V. Una posible propuesta: un código de buenas prácticas para influencers.

VOCES: RESPONSABILIDAD CIVIL – TECNOLOGÍA – CÓ-DIGO CIVIL Y COMERCIAL – INFORMÁTICA – DERECHO DE PROPIEDAD – EMPRESAS – TELECOMUNICACIONES – DAÑO – DAÑOS Y PERJUICIOS – PERSONA – JURISPRUDENCIA – CORTE SUPREMA DE LA NACIÓN – DERECHO COMPARADO – COMERCIO E INDUSTRIA – INFLUENCER – PROTECCIÓN DE DATOS PERSONALES – DEFENSA DEL CONSUMIDOR – INTERNET – PUBLICIDAD – OBLIGACIONES – CONTRATOS – ECONOMÍA

La era de la inteligencia artificial generativa y la sombra de 1984:
¿puede la tecnología más disruptiva del siglo XXI abrir paso a la concreción de la distopía orwelliana?(*)

Introducción:

la irrupción de la inteligencia artificial generativa y el panóptico algorítmico

El año 2022 fue el año del lanzamiento de las inteligencias artificiales generativas. DALLE-2, Stable Difussion, Midjourney y, posteriormete ChatGPT, GPT4, Bard y Bing, posibilitaron que millones de personas sin conocimiento técnico puedan generar distintos tipos de contenido –texto, imágenes, videos y sonido– inédito y sintético con asistencia de la inteligencia artificial –IA–.

(**) Abogada (UBA, Diploma de honor), Mg. en Derecho Administrativo (Universidad Austral, Diploma de honor), Doctorando en Derecho (UCA). Investigadora del IALAB (Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la UBA). Profesora de grado y posgrado en la UBA, Universidad Nacional de Tierra del Fuego, UCES y Universidad Austral. Profesora invitada de posgrado en distintas universidades. Autora de publicaciones nacionales e internacionales sobre derecho público, transformación digital e inteligencia Artificial en el Sector Público. Relatora del Superior Tribunal de Justicia de la Provincia de Tierra del Fuego AeIAS y Líder de Análisis Funcional del Proyecto de Modernización y Digitalización del mismo Poder Judicial. Contacto: mscaparros@justierradelfuego.gov.ar.

A modo de ejemplo, DALLE-2 es un sistema inteligente que permite generar imágenes sintéticas con diversos estilos –ej., artístico o realista–, a partir de una descripción de texto en lenguaje natural provista por el usuario. De igual manera operan los modelos de Stable Diffusion y Midjourney, que también pueden generar imágenes artificiales desde un prompt(1) dado por una persona.

ChatGPT, por su parte, es un modelo generativo de texto multipropósito(2) lanzado por OpenAI, que interactúa con el usuario bajo un esquema conversacional o de diálogo –hombre-máquina– que posibilita que el sistema responda todo tipo de preguntas y requerimientos, y reconozca errores y rechace –cuando funcionan los filtros–pedidos inapropiados que le realizan las personas. Se dice que es un modelo multipropósito porque puede escribir cuentos, poesías, ensayos, pero también responder consignas o entablar una conversación con el usuario, entre otras expresiones relacionadas con la escritura.

GPT4, que es la versión más grande, con más parámetros, y de pago de la misma empresa, es, además, un modelo multimodal, que ha sido diseñado no solo para trabajar con texto, sino también para procesar imágenes y sonido.

También se puede mencionar otra herramienta, el chat de Bing, de la empresa Microsoft, que funciona con una lógica muy similar, pero con el plus de que, a diferencia de lo que sucede con ChatGPT, tiene habilitado el acceso a Internet. Bing pretende transformar la búsqueda de información en línea como la conocemos, ya que en lugar de proveer los enlaces para que el usuario ingrese, lea y procese la información, asume esta tarea, la hace por él y transforma esa búsqueda en una respuesta elaborada en la que incorpora la mención de las fuentes de las que se ha servido para construirla. Bing, además, puede generar imágenes y trabajar con imágenes provistas por los usuarios.

Tanto Bing como ChatGPT tienen en común que son gratuitos, lo que ha permitido que millones de usuarios en el mundo accedan a ellos en muy poco tiempo, abriendo múltiples posibilidades para quienes buscan un asistente para escribir, investigar, así como para desplegar o extender su creatividad.

Lo sucedido da cuenta de que estamos frente a un veloz crecimiento y avance de la inteligencia artificial, esto es, de sistemas que tienen la capacidad de “aprender” y “automejorarse” con el tiempo para desarrollar tareas cognitivas que antes solo podían realizar las personas, como reconocer rostros, leer, escribir, dibujar, hablar, dialogar, hacer música, etcétera.

1. Un prompt es una instrucción u orden que el usuario le provee al sistema de IA generativa para que produzca un determinado resultado, como puede ser generar una imagen o un texto con ciertas características, o responder a una consigna.
2. ChatGPT, GPT4 y Bard son grandes modelos de lenguaje. Es decir, sistemas inteligentes entrenados para predecir cadenas de texto (palabras, secuencias de palabras u oraciones) a partir de palabras anteriores, para lo cual consideran y asignan probabilidades. Es interesante tener en cuenta que son sistemas que trabajan con “temperaturas”: a más baja temperatura, tenderán a escoger la palabra o el conjunto de palabras con mayor probabilidad de ser la próxima palabra o conjunto de palabras, y a mayor temperatura, tenderán a elegir aquellas menos probables para lograr un efecto más creativo, siempre procurando guardar coherencia. Los grandes modelos de lenguaje que hoy conocemos utilizan, además, mecanismos de atención o autoatención (en términos matemáticos) que permiten que el sistema preste atención y asigne relevancia a ciertas palabras o conjuntos de palabras específicos en un texto para con ello descubrir su contexto y poder dar respuestas más acertadas. En suma, los grandes modelos de lenguaje son sistemas inteligentes que pueden predecir la probabilidad de ocurrencia de un token (que puede ser un carácter, palabra o conjunto de palabras) dado su contexto anterior o circundante. Ampliar en Bender Emily/McMillan-Major, Angelina/Gebru, Timnit/Mitchell, Margaret, “On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”, Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, marzo de 2021, pp. 611/612, en https://doi.org/10.1145/3442188.3445922.
   

A la fecha, los sistemas inteligentes toman parte en muchísimas decisiones que afectan la vida de la gente, con mayor o menor impacto. Las asisten en la búsqueda de contenido en internet; les proveen playlists con la música que más les gusta escuchar; las ayudan a encontrar series y películas basándose en sus elecciones anteriores y en la de otros usuarios con perfil similar; asisten al personal médico en la lectura de imágenes y en el diagnóstico de enfermedades3; y también al personal del gobierno para definir el otorgamiento de subsidios(3), realizar investigaciones policiales(4) y para conocer el humor de los votantes en redes sociales(5), entre muchas otras que se podrían mencionar.

Su creciente influencia y la capacidad con que cuentan para asistir o, directamente, tomar decisiones de impacto, ha convocado la atención de investigadores, desarrolladores y gobiernos, que se ven en la necesidad de colocar en agenda el pensar en mecanismos que colaboren a que los sistemas inteligentes se desarrollen con las personas en el centro, respetando los derechos y la dignidad humana(6).

De hecho, todo lo anterior, sumado a acontecimientos recientes como, por ejemplo, la posibilidad de generar deepfakes(7) mediante la distribución de imágenes realistas pero sintéticas, que inundan las redes sociales y que pueden mostrar al ex Presidente de los Estados Unidos, Donald Trump, siendo arrestado por policías(8); o dar cuenta de un falso Papa Francisco paseando con una campera Balenciaga por Italia(9), deja en claro que el desarrollo de sistemas inteligentes ya no es sólo una cuestión de exclusiva incumbencia de profesionales de la ciencia, la tecnología, la ingeniería y las matemáticas, sino que demanda la intervención activa de otras disciplinas como la sociología, la filosofía, la ética y el derecho para analizar sus límites, riesgos y posibilidades.

La mirada interdisciplinaria es fundamental cuando se trata de sistemas sociotécnicos, como sucede con la IA, cuyo objeto y fuente de transformación son las personas. Ellas influyen en su desarrollo durante todo su ciclo de vida, a la vez que esta última aprende y se automejora a partir de los datos de interacción, y las impacta para transformar y reconfigurar su vida individual y social(10).

1. Redacción, “‘Le arruinaron la vida a gente inocente’: el escándalo que hizo dimitir en bloque al gobierno de Países Bajos”, BBC Mundo, 15 de enero de 2021 [en línea: https://www.bbc.com/mun-do/noticias-internacional55683795, acceso: 6/4/2023].
2. Witteveen Gómez, Samuel, “Policía predictiva: cuando el que decide es un algoritmo”, El Salto Diario, 22 de junio de 2022 [en línea: https://www.elsaltodiario.com/metropolice/policia-predictiva-cuando-el-que-decide-esun-algoritmo, acceso: 6/4/2023]. También ver Pascual, Manuel G. “La policía predictiva, y el peligro de intentar adivinar dónde se cometerá un nuevo delito”, La Nación, 19 de julio de 2022 [en línea: https://www.lanacion.com.ar/tecnologia/la-policia-predictiva-y-el-peligro-de-intentar-adivinar-donde-secometera-un-nuevo-delito-nid19072022/].

1. “Deep (Learning) State How Romania is using NLP as a po-litical advisor”, DeepLearning.AI–The Batch, 8 de marzo de 2023 [en línea: https://www.deeplearning.ai/the-batch/how-romania-is-using-nlp-as-a-politicaladvisor/?utm_campaign=The%20Batch&utm_ content=240973689&utm_medium=social&utm_source=linkedin &hss_ channel=lcp-18246783, acceso: 6/4/2023].
2. De hecho, mientras se preparaba este trabajo, un grupo de expertos en inteligencia artificial y líderes de la industria tecnológica, lanzó una carta abierta solicitando que se ponga una pausa inmediata al entrenamiento de sistemas inteligentes más potentes que GPT-4 por al menos 6 meses, debido a los riesgos conocidos y aún desconocidos que podrían representar para la humanidad. Ver Redacción, “La carta en la que más de 1.000 expertos piden frenar la inteligencia artificial por ser una ‘amenaza para la humanidad’”, BBC Mundo, 29 de marzo de 2023 [en línea: https://www.bbc.com/mundo/noti-cias-65117146, acceso: 6/4/2023].
3. El término deepfake, surge de combinar la palabra deep (en La IA es mucho más compleja que las bases algorítmicas –matemáticas y estadísticas– y el poder de cómputo que la sostienen. Por esta razón, para poder abordar su estudio de forma integral y adecuada, comprender y analizar la interacción, el impacto y la retroalimentación que se produce entre esta y las personas, tanto desde una perspectiva individual como social, su desarrollo debe ser decidido y gestionado bajo un enfoque diverso, multidisciplinario e intergeneracional.

Solo este tipo de enfoque permitirá “… tener en cuenta, por su relevancia, los valores, sesgos y comportamientos que vienen embebidos en los sets de datos y en los humanos que intervienen en las diversas etapas del ciclo de vida del sistema, así como otros factores propios de la complejidad de las organizaciones en las que estos se crean y que tienen impacto en su diseño, desarrollo y despliegue… ”(11). Esta intervención humana puede dar lugar a una interacción con la IA que potencie a las personas, que genere mayor riqueza en el mundo y lo transforme para bien.

Sin embargo, aun así, no se debe perder de vista que la IA es una tecnología “de propósito general”. Esto es, “… una forma de organizar los factores productivos que, en vez de afectar a sectores específicos o empresas de ciertas características, cambia la forma de producir de toda la economía…”(12). En tal contexto, abre camino a una amplia y diversa gama de aplicaciones. Es versátil, muy general, pero también “de doble uso”, porque puede utilizarse para algunos objetivos extremadamente buenos –v. gr., detección de enfermedades con precisión– y también para algunos extraordinariamente malos –v. gr., generación de deepfakes–.

Cada vez se toma más conciencia de que la IA puede ser utilizada como un arma, quizás de las más poderosas que alguna vez el ser humano tuvo a disposición, por parte de grupos, organizaciones o Estados, y dar lugar a una época oscura, en la que el conocimiento de la verdad, la libertad y la autonomía solo queden reservadas a unos pocos, y en la que la manipulación y la hipervigilancia tecnológica omnipresente, pero seguramente casi imperceptible, coarte seriamente –o anule por completo– su libertad de acción, elección y pensamiento.

En este punto cabe preguntarse: ¿es posible que todo aquello que trae consigo la inteligencia artificial, en especial la generativa, pueda, en las manos incorrectas y sin el debido control regulatorio, dar vida a aquella ficción que George Orwell(13) imaginó cuando escribió una de sus novelas más aclamadas, 1984?

En los apartados que siguen se intentará construir una respuesta a partir de la reflexión sobre puntos o partes destacadas de aquella ficción, para analizarlos en el contexto de la realidad que atravesamos tras la llegada de la tecnología más disruptiva de los últimos 15 años: la inteligencia artificial.

En esa senda, se repasarán las características de la sociedad orwelliana de 1984, más allá de la historia de Winston, su protagonista, para luego ingresar en la problemática de la antropomorfización de la IA y cómo ello coadyuva a la construcción de un simbolismo detrás de la máquina que ahora se configura como un “ser” superior al humano, un oráculo que todo lo sabe, con el que ahora se puede dialogar.

Luego, se reflexionará acerca del “régimen de verdad algorítmica de no verdad” que puede crear la IA generativa, así como sobre su impacto en una sociedad a la que cada vez se le hace más difícil distinguir la realidad de la ficción a través de dos sentidos fundamentales en los que hasta ahora había confiado: la vista y el oído.

Finalmente, el trabajo cierra con una reflexión acerca del nuevo modelo de panóptico, montado ahora en una arquitectura de software que puede automejorarse y aprender de la vigilancia que ejerce sobre las personas, y que funciona gracias a una infraestructura informática que se encuentra en manos de unos pocos privados. Se trata del panóptico algorítmico, que vigila a cada una de las personas veinticuatro horas y siete días a la semana a través de cada dispositivo conectado Internet que se utilizan sobre el propio cuerpo, en el hogar, en los trabajos, en la escuela, en el transporte y en otros establecimientos.

referencia al aprendizaje profundo o deep learning) con el término

fake (falso), y es un anglicismo que se emplea para referirse a videos, imágenes y voces (o la combinación de ellos) que son generados sintéticamente por inteligencia artificial pero que presentan un realismo tal que es casi imposible saber si se trata de contenido falso o no. Su alternativa en español es el concepto de “ultra falso”.

1. 1. Télam, “Millones ‘cayeron’ con la foto falsa de la detención de Trump creada con inteligencia artificial”, Télam, 24 de marzo de 2023 [en línea: https://www.telam.com.ar/notas/202303/623500-trump-esposado-inteligencia-artificial.html, acceso el 1/4/2023].
   2. “El creador del deepfake viral del Papa Francisco contó la verdad detrás de la imagen”, Clarín, 30 de marzo de 2023 [ en línea: https:// www.clarin.com/tecnologia/creador-deepfake-viral-papa-francisco-con-to-verdad-detras-imagen_0_ivwtQ0EThN.html, acceso: 1/4/2023].

• Sánchez Caparrós, Mariana, “Los riesgos de la inteligencia artificial para el principio de igualdad y no discriminación. Planteo de la problemática y algunas aclaraciones conceptuales necesarias bajo el prisma del Sistema Interamericano de Derechos Humanos”, Suplemento Abogacía Práctica Digital, El Dial, 22 de junio de 2022, p. 4 [en línea: https://www.researchgate.net/publication/361510404_ Los_riesgos_de_la_inteligencia_artificial_para_el_principio_del_ igualdad_y_no_discriminacion_planteo_de_la_problematica_y_algu-nas_aclaraciones_conceptuales_necesarias_bajo_el_prisma_del_Siste-ma_Intera].

1. Sánchez Caparrós, Mariana, “Los riesgos de la inteligencia artificial para el principio de igualdad y no discriminación. Planteo de la problemática y algunas aclaraciones conceptuales necesarias bajo el prisma del Sistema Interamericano de Derechos Humanos”, p. 4.
2. Albrieu, Ramiro/Rapetti, Martín/Brest López, Caterina/Larroulet, Patricio/Sorrentino, Alejo, Inteligencia artificial y crecimien-to económico. Oportunidades y desafíos para Argentina, CIPPEC, octubre de 2018 [en línea: https://www.cippec.org/wp-content/ uploads/2018/11/ADE-ARG-vf.pdf].
3. En realidad, era este el seudónimo que utilizaba el novelista, ensayista, crítico y genio de la pluma: Eric Arthur Blair.
   

Nuestros relojes, televisores, tablets, computadoras, heladeras, aspiradoras robóticas, vehículos, cámaras de videovigilancia en áreas públicas y privadas, conocen cada paso, cada pulsación, cada gusto que tenemos, cada decisión que tomamos, y desde allí pueden inferir nuestro estado de ánimo, lo que buscamos consumir, cómo se conforman nuestras relaciones personales, cuál es el estado de nuestra salud y de nuestras finanzas.

Los datos que inevitablemente entregamos a diario en redes sociales, navegadores de internet, aplicaciones de hogar y del celular, permiten construir un perfil humano de cada sujeto, conocer su pasado, su presente y hacer predicciones sobre su futuro. Mi algoritmo de Spotify me conoce más que yo, arma para mí playlists diarias que pone a disposición y que disfruto mucho, salvo cuando advierto algún tema que no era apropiado para mí, lo que usualmente coincide con la circunstancia de que ha sido mi hija quién ha estado escuchando música con mi usuario. Sí, reconozco ese sabor de la música infantil y el pop urbano que ella disfruta, y lo reconozco en mis listas diarias, porque al final el algoritmo parece conocernos a ambas.

La sombra de la sociedad orwelliana de 1984 en la era de la inteligencia artificial

Introducción

La historia de 1984, publicado el 8 de junio de 1949(14), se desarrolla en el contexto de una sociedad distópica imaginada por su autor, George Orwell, en la que la información es manipulada y la sociedad empobrecida, oprimida y vigilada masivamente con el objetivo de lograr su represión política y social.

El personaje principal de esta historia es Winston Smith, un miembro del Partido Exterior que cumple funciones en el Ministerio de la Verdad, y que dedica su labor diaria a reescribir artículos para colaborar con la reconstrucción de la historia. Todo con el objetivo de fortalecer la imagen del Partido con propaganda para dar una versión construida y reconstruida de la realidad, siempre al servicio del sostenimiento del régimen.

Para ello, el sistema de gobierno de la sociedad de 1984 se dividía en cuatro Ministerios con diversas funciones y objetivos:

1. El Ministerio de la Verdad, en el que se desempeñaba Smith, dedicado a gestionar las noticias, los espectáculos, la educación y las bellas artes, con empleados que debían manipular (o directamente destruir) los documentos históricos existentes, para reemplazarlos por otros que sean coincidentes con la versión oficial de la historia sostenida por el Partido;
2. El Ministerio de la Paz, encargado de regir los asuntos de guerra en una sociedad que vivía en permanente conflicto con el exterior para lograr así la paz interior (uno de los lemas del Partido era, de hecho, “la guerra es la paz”);
3. El Ministerio del Amor, encargado de mantener la ley y el orden a través del amor por el Gran Hermano mediante el empleo de castigos y torturas para la reeducación (y de ser necesario, la aniquilación) de los ciudadanos que cuestionen su ideología y duden de las bondades del régimen; y,
4. El Ministerio de la Abundancia, que se ocupaba de los asuntos económicos mediante la implementación de una economía planificada al detalle, que buscaba garantizar un nivel de vida de mera subsistencia para el pueblo a través de un régimen de estricto y severo racionamiento de alimentos y bebidas.

En aquella sociedad imaginaria, la vida de los ciudadanos se desenvolvía en un contexto de pobreza impuesta por el gobierno, hipervigilancia, control y sometimiento, que vedaba cualquier alternativa de pensar libre, autónoma y críticamente. La exigencia para la supervivencia del individuo era el amor y la fidelidad absoluta e irracional al Gran Hermano, y el conformarse con habitar en una realidad construida por el régimen que, fundamentalmente a través del Ministerio en el que trabajaba Smith, actualizaba constantemente el pasado, al punto de que el sujeto individual y luego la masa, no podían estar siquiera seguros del tiempo en que habitaban.

1. Seaton Jean, “Por qué la inquietante novela 1984 de George Orwell puede tratar sobre nuestra época”, BBC Culture, 23 de mayo de 2018 [en línea: https://www.bbc.com/mundo/noticias-44205892, acceso el 7/5/2023].

Paralelo a ello, el Gran Hermano también se ocupaba de modificar la lengua para casi anularla con el fin de limitar el pensamiento y reducir al mínimo cualquier capacidad de reflexión y pensamiento crítico. Esta era la finalidad de la neolengua, en cuya construcción trabajaba Syme, un colega de Winston(15).

“¿No ves que el objetivo final de la neolengua es reducir el alcance del pensamiento?”, explica Syme a Winston en una conversación en un almuerzo durante una pausa de trabajo(16). “Al final conseguiremos que el crimen del pensamiento sea imposible, porque no habrá palabras con las que expresarlo (…) Cada año habrá menos palabras y el rango de la conciencia será cada vez más pequeño (…) La revolución será completa cuando el lenguaje sea perfecto (…) ¿Alguna vez te has parado a pensar que, en el año 2050, como muy tarde, no quedará con vida una sola persona capaz de entender una conversación como la que estamos teniendo ahora?(17).

Esa era la realidad en la sociedad de ficción diseñada al detalle por Orwell, en una obra que debería ser de obligatoria lectura y repaso frente a los desafíos que representa la omnipresencia de la inteligencia artificial en la vida de las personas, tanto desde lo individual como desde lo colectivo, y también la llegada de sistemas que intervienen de manera directa y específica en la gestión del lenguaje natural mediante que utilizamos para comunicarnos entre miembros de nuestra especie.

El navegar por las palabras del autor y volver sobre nuestra realidad para observar la enorme disponibilidad de dispositivos y sistemas de inteligencia artificial que cada vez replican y simulan mejor aptitudes y habilidades que caracterizan a nuestra especie, como el dialogar, producir contenido audiovisual, identificar y reconocer imágenes y objetos, escuchar, entre muchas otras, debería ponernos en alerta sobre el mundo que se avecina.

Comenzamos a transitar un mundo atravesado por la IA. Pero ¿en manos de quién o controlado por quiénes?

¿Existe acaso la alternativa de que la tecnología más disruptiva del siglo XXI traiga consigo la posibilidad cierta de replicar algo parecido a aquella sociedad tan distópica imaginada por Orwell, pero esta vez de la mano de datos, algoritmos, predicciones, clasificaciones, generación de contenido sintético y perfilado de personas?

Para reflexionar sobre ello, es interesante reparar en algunos de los principales riesgos que trae consigo la inteligencia artificial generativa, que se puso masivamente a disposición del público general, organizaciones y gobiernos a partir del año 2022, con una propuesta de on boarding gratuita. Sin dudas, pensada con una lógica comercial y de penetración rápida y profunda en el mercado18, y que desde entonces no ha hecho otra cosa que mejorar exponencialmente a partir de la interacción y retroalimentación con las personas que la utilizan19.

La IA generativa es un subcampo de investigación de la inteligencia artificial que se enfoca en el desarrollo de algoritmos y modelos20 que generan contenido sintético nuevo. Estos modelos han dado nacimiento a una nueva era de generación de contenido sintético o artificial de lo más diverso. Este contenido va desde texto en distintos formatos, como poesías, novelas, escritura formal e informal, código informático, etcétera; a imágenes, video y audios en formas de lo más variadas, como puede ser música, clonación de voz, arte digital, cortos cinematográficos realistas y no realistas, entre otros.

Estos modelos se denominan generativos porque pueden dar lugar a contenido sintético a partir de una entrada hecha por el usuario, comúnmente provista en lenguaje natural que se conoce en la jerga informática como prompt.

1. Syme era un amigo del personaje principal, Winston, que trabajaba en la undécima edición del Diccionario de la Neolengua. En las conversaciones entre ambos, Syme le contaba sobre sus beneficios para limitar el pensamiento y con ello prevenir cualquier atisbo de “crimental”, y Winston reflexionaba sobre la inteligencia de su interlocutor y la alternativa cierta de que ello fuera determinante para que el Partido terminara por vaporizarlo. Ver Orwell, George, 1984, Buenos Aires, Debolsillo, 2022, pp. 60/61.
2. Orwell, George, 1984, p. 60.
3. Orwell, George, 1984, p. 61.
   

Es decir, mediante una instrucción en lenguaje natural el humano le requiere a la máquina que ejecute una determinada tarea que generará contenido nuevo. Por ejemplo, que genere una imagen de un osito en un laboratorio con anteojos y pinta de loco con estilo realista, y sistemas como DALL-E 2, Stable Diffusion y Midjourney le brindarán en segundos una nueva imagen sintética. No es una imagen traída desde la web, es una nueva, generada por el propio sistema.

De igual manera, puede pedirle a ChatGPT que asuma el rol de George Orwell e imite su estilo, y que prepare un texto de cinco líneas sobre Winston trabajando en el Ministerio de la Verdad, pero con una nueva herramienta que el Partido usa para controlar su operatoria, la inteligencia artificial.

La respuesta será: “En la fría y despiadada oficina del Ministerio de la Verdad, Winston se encontraba inmerso en su rutina diaria, enfrentando la creciente presencia de la inteligencia artificial. Sus dedos danzaban sobre el teclado, mientras el zumbido de las máquinas se entrelazaba con el eco de sus pensamientos rebeldes. La IA vigilante acechaba cada palabra que él escribía, analizando, filtrando y manipulando la verdad a su conveniencia. Pero en lo más profundo de su ser, Winston sabía que no podía ceder, que debía resistir y preservar la llama de la humanidad en un mundo cada vez más mecánico…”(18).

• Riesgos derivados de la antropomorfización de los sistemas inteligentes

Antropomorfizar significa conceder cualidades, características o forma humana a cosas o seres sobrenaturales(19). La mayoría de los sistemas generativos, que habilitan una interacción con el usuario bajo una lógica dialógica, son antropomorfizados por sus desarrolladores y también por los propios usuarios.

En el caso de la inteligencia artificial, la antropomorfización trae consigo varios riesgos asociados, como el riesgo de una dependencia excesiva o de uso inseguro del sistema por exceso de confianza; la alternativa de crear vías para explotar cognitivamente al usuario para su manipulación; la generación masiva de texto, imágenes, videos y sonidos ultra falsos que tornen imposible diferenciar la realidad de la ficción a través de sentidos en los que antes podíamos confiar casi plenamente, como nuestra vista, nuestros oídos y nuestro olfato; la cristalización de visiones del mundo que excluyan minorías y grupos históricamente desfavorecidos o poco representados debido a la reproducción de estereotipos negativos en el contenido sintético generado por la inteligencia artificial.

Ya lo apuntaba Eric Sadin: “Desde la Antigüedad la historia está jalonada de episodios que nos permiten ver a ciertos individuos intentando concebir, bajo distintas formas, criaturas a las que se le asigna nuestra misma conformación y que deberían estar dotadas, según el caso, de algunas de nuestras cualidades kinestésicas, sensoriomotrices, prioceptivas y, más todavía, cognitivas…”(20).

La antropomorfización de la inteligencia artificial no es una casualidad, es una decisión deliberada de muchos tecnólogos y, fundamentalmente, de las empresas que lucran con su desarrollo y despliegue(21). Es claro que se trata de una estrategia para aumentar la adopción de los sistemas y aceptación de estos por parte de los usuarios, pues aumenta la conexión entre ellos y el sistema.

En otras palabras, los desarrolladores se apoyan en el antropomorfismo para estimular a las personas a crear conexiones emocionales e intelectuales más profundas con los sistemas(22). Esto es lo que colabora a facilitar el uso, pero también lo que permite que las personas habiliten el ingreso –al sistema, pero también a la empresa que lo provee– a los ámbitos más privados de su vida –por si acaso, valga como ejemplo, a la medición y registro diario de sus signos vitales, horas de sueño y actividad física–.

1. Resultado del siguiente prompt propuesto por una alumna: “Colócate en el rol de George Orwell e imita su estilo, y prepárame un texto de cinco líneas sobre Winston trabajando en el Ministerio de la Verdad, pero con inteligencia artificial”, producido por Chat-GPT, 13 de mayo de 2023 [en línea: https://chat.openai.com/share/ bc109639-ff674ff6-86ea-882b628f2062, accedido el 16/7/2023].
2. Cfr. Diccionario de la RAE [en línea: https://dle.rae.es/antro-pomorfizar, accedido el: 13/5/2023].
3. Sadin Eric, La inteligencia artificial o el desafío del siglo, Bue-nos Aires, Caja Negra, 2020, p. 61.
4. Ver, a título meramente ejemplificativo, la interacción con el Chat Bing, de Microsoft, que frente a la acción de borrar una conversación responde al usuario: “Gracias por despejar mi mente. ¿Con qué puedo ayudarte ahora?, Tuit del 17 de abril de 2023, en https:// twitter.com/mscaparros/status/1648002424672759809?s=46&t=cTt mNezraow6G033D8yznA [accedido el 12/5/2023].
5. Abercrombie, Gavin/Cercas Curry, Amanda/Dinkar, Tanvi/Ta-lat, Zeerak, “Mirages: On Anthropomorphism in Dialogue Systems”, 16 de mayo de 2023, p. 2 [en línea: https://arxiv.org/abs/2305.09800, acceso el: 25/5/2023].

De hecho, la adopción del término “inteligencia artificial”, destinado a comprender este subcampo de las ciencias de la computación que permite crear máquinas o sistemas informáticos que emulan capacidades humanas, fue elegido por uno de los pioneros en este campo científico, John McCarthy, porque “necesitaba conseguir dinero”, no porque fuera a crear una criatura informática con cualidades humanas.

Así lo reconoció el propio McCarthy en 1973, en un debate organizado por la BBC para discutir acerca de los avances y límites de la inteligencia artificial en esa época. Allí participó junto a James Lighthill(23), Donald Michie y Richard Gregory, y que quedó documentado para la posteridad(24).

En esa oportunidad, McCarthy expuso que había inventado ese término porque intentando conseguir dinero para un estudio de verano, había tenido una mala experiencia previa cuando, buscando junto a otro colega ser cautelosos, habían decidido utilizar el término “estudios de autómatas” para lanzar una convocatoria dirigida a reunir un lote de estudios que esperaban contribuyeran al lanzamiento de este campo de investigación. En esa ocasión, el fracaso fue rotundo porque los trabajos recibidos no tenían que ver con el objetivo perseguido por él y su colega. Esta circunstancia los llevó, sin más, a decir que lo que procuraba el estudio, en el largo plazo, era lograr inteligencia de nivel humano con máquinas(25).

Esta decisión de antropomorfizar la IA desde su propia denominación, inicialmente por parte de científicos y actualmente por las empresas, resulta cuestionable desde un punto de vista ético cuando lo que se intenta desarrollar y vender es tecnología que puede emular, cada vez con mayor precisión, acierto y velocidad, capacidades anteriormente solo atribuibles a los seres humanos, ya que no hace más que aportar confusión cuando se la integra en la vida cotidiana de las personas, y reduce notoriamente nuestras alertas frente a los riesgos que trae aparejados.

Sadín refiere a esta decisión deliberada como un “golpe de estado retórico” que se vale de un “aparataje verbal” adoptado y replicado de manera constante e insistente por la industria digital y los científicos sometidos a sus intereses, que busca “… dotar a sus creaciones de un prestigio simbólico…”29 para, sin dudas, colaborar a su expansión, penetración en la sociedad y la adopción por parte de los usuarios.

Luego, la antropomorfización también es la que perdona cuando la inteligencia artificial generativa de texto produce contenido carente de sentido o no verídico en relación con sus fuentes. Entonces, no se dice que estamos frente a sistemas que cometen errores graves. La industria y sus promotores, incluso en papers científicos, eligen referir que estos sistemas poseen una tendencia a “alucinar”(26).

¿Por qué se habla de alucinación y no de un error del algoritmo que arroja basura digital? Seguramente porque la alucinación se refiere a una capacidad que es propia de nuestro cerebro, que tiene innatamente esa posibilidad de fantasear o imaginar vívidamente algo que no es real, y la adopción de este término colabora en la conformación de ese “aparataje verbal” que menciona Sadin en su libro.

1. Parlamento Inglés en el que sostenía el fracaso de la inteligencia artificial para lograr los grandes objetivos que se proponía. Señalaba que nada de lo que se decía que se podría hacer con ella no se podía hacer en otras ciencias. Ver Lighthill, James, “Artificial Intelligence: A General Survey”, en Artificial Intelligence: A paper symposium, julio de 1972 [en línea: http://www.chiltoncomputing.org.uk/inf/literature/ reports/lighthill_report/p001.htm, accedido: 12/5/2023].
2. Lighthill había presentado un reporte al Parlamento Inglés en el que sostenía el fracaso de la inteligencia artificial para lograr los grandes objetivos que se proponía, señalaba que nada de lo que se dice se podría a ver con ella no se podía hacer en otras ciencias. Ver Lighthill, James, “Artificial Intelligence: A General Survey”, en Artif-cial Intelligence: A paper symposium, julio de 1972, en http://www. chilton-computing.org.uk/inf/literature/reports/lighthill_report/p001. htm [accedido el 12/5/2023].
3. BBC TV, “Lighthill Controversy Debate at the Royal Institution”, Controversy series, junio de 1973, parte 4 de 6, en https://www.youtube.com/watch?v=pyU9pm1hmYs&t=142s y en https://media.aiai. ed.ac.uk/Video/Lighthill1973/1973-BBC-Lighthill-Controversy.mp4 [accedido el 12/5/2023].
4. BBC TV, “Lighthill Controversy Debate at the Royal Institution”, Controversy series, junio de 1973, parte 4 de 6, en https://www.youtube.com/watch?v=pyU9pm1hmYs&t=142s y en https://media.aiai. ed.ac.uk/Video/Lighthill1973/1973-BBC-Lighthill-Controversy.mp4 [accedido el 12/5/2023].
5. OpenAI, “GPT-4 System Card”, 23 de marzo de 2023, p. 6 [en línea: https://cdn.openai.com/papers/gpt-4system-card.pdf].
   

Ese aparataje es el mismo que permite a la industria avanzar a paso firme en el intento de convencernos de que los beneficios de la inteligencia artificial superan sus riesgos, y que esto debe animarnos a continuar en este camino de desarrollo y despliegue en el mundo prácticamente sin ningún tipo de red de contención regulatoria más que un gran conjunto de principios éticos de adopción no obligatoria para corporaciones y Estados(27).

El antropomorfismo deliberado y sin límite alguno es peligroso, insisto, porque desvía nuestra atención de los riesgos de la inteligencia artificial. Así, por ejemplo, el riesgo de dependencia excesiva y uso inseguro se acentúa particularmente con los grandes modelos de lenguaje, pues estos sistemas se presentan al usuario con la habilidad de procesar una instrucción o consulta provista en lenguaje natural y, a partir de allí, generan una respuesta coherente, aunque no siempre correcta(28), bajo un esquema conversacional. Se trata de sistemas que emulan cada vez mejor las conversaciones humanas.

Esto puede derivar en que las personas que interactúan con el agente conversacional piensen que interactúan con una entidad similar a un humano, pero superior en conocimiento, e inflen las estimaciones relativas a sus competencias para terminar por asignarles otras características humanas que no poseen, como la empatía, la toma de perspectiva, el razonamiento o la comprensión de una disciplina. Y a su vez, puede llevar a que a las respuestas obtenidas o predicciones hechas por el sistema se les asigne una autoridad tal o valor de verdad que, en la práctica, derive en una delegación decisional completa o sin adecuada supervisión.

Esa antropomorfización es la que también puede dar lugar a la ventilación de datos e información privada del usuario a partir de la manipulación hecha por el chatbot, pues se ha probado que los usuarios tienden a aceptar mayores intrusiones cuando interactúan con bots que cuando interactúan con personas reales(29).

El simbolismo deliberadamente construido detrás de la inteligencia artificial, vendida al mundo como una tecnología objetiva, neutral y superior al humano promedio porque sus decisiones están conducidas por datos y algoritmos, sumada al impacto que provoca la velocidad y habilidad con la que los últimos desarrollos disponibles pueden procesar pedidos del público, facilita que los usuarios de estos sistemas, entrenados para responder siempre tan amable y coherentemente aunque a veces brinden información inexacta o inexistente, acepten cada vez mayores y más profundas intervenciones de la IA en su vida, lo que puede comprometer su privacidad y allanar el camino para una mayor vigilancia.

Sobre todo, en un contexto en el que todos estos modelos generativos se integran en nuestra sociedad y son cada vez más usados solos o como parte de otros sistemas que asisten a las personas en la ejecución de tareas cotidianas y en la toma de decisiones, en ocasiones, en ámbitos sensibles, muchas veces sin que esto sea conocido por las personas impactadas por la decisión o la predicción.

En otras palabras, antropomorfizar indiscriminadamente los sistemas inteligentes puede derivar en una excesiva confianza y un uso inseguro por parte de los usuarios, por la indebida delegación en la toma de decisiones o por ausencia o bajo control del producto de la IA, así como por la creación de espacios para explotación del usuario con el fin de obtener información privada que luego puede ser utilizada por gobiernos y empresas para su vigilancia y para el control de sus conductas, deseos, pensamientos e ideas.

1. Sobre la proliferación de documentos que reúnen principios éticos para una inteligencia artificial centrada en las personas y el grado de consenso que existe al respecto, se recomienda la lectura de Sánchez Caparrós, Mariana, “Principios éticos para una inteligencia artificial antropocéntrica: consensos actuales desde una perspectiva global y regional”, MontrealethicsAI, 31 de octubre de 2022 [en línea: https://montrealethics.ai/principios-eticos-parauna-inteligencia-artificial-antropocentrica-consensos-actuales-desde-una-perspectiva-global-y-regional, acceso el: 23/4/2023].
2. Corvalán, Juan G./Estévez, Elsa/Le Fevre Cervini, Enzo/Schapira, Débora/Simari, Gerardo (Dir.), ChatGPT vs. GPT4: ¿imperfecto por diseño?, pp. 11/14.
3. Weidinger, Laura/Mellor, John/Rauh, Maribeth/Griffin, Conor/Uesato, Jonathan/Huang, PoSen/Cheng, Myra /Glaese, Mia/ Balle, Borja/Kasirzadeh, Atoosa/Kenton, Zac/Brown, Sasha/Hawkins, Will/Stepleton, Tom /Biles, Courtney/Birhane, Abeba/Haas, Julia/Rimell, Laura/Anne, Lisa/Hendricks, William/Sean, Isaac/Irving, Geoffrey/Iason, Gabriel, “Ethical and social risks of harm from Language Models”, Deepmind, 8 de diciembre de 2021[en línea: https:// www.deepmind.com/publications/ethical-and-social-risks-of-harm-from-language-models].

• Hacia un régimen de verdad algorítmica de no verdad

Entonces, “…Winston acercó el hablescribe, sopló para quitar el polvo del micrófono y se puso las gafas. Luego desenrolló y sujetó con un clip los cuatro pequeños cilindros de papel que acababan de salir del tubo neumático que había a la derecha de su escritorio…”(30).

Desde su puesto de trabajo podía observar los “agujeros de la memoria” diseñados por el Partido para enviar allí todo aquello que se había escrito alguna vez, pero ahora debía ser destruido para construir la nueva verdad. Una vez que el papel se tiraba en uno de los “agujeros de la memoria”, una corriente de aire caliente se lo llevaba hasta los hornos que se encontraban ocultos en los sótanos del edificio, en algún espacio que Smith no conocía(31).

Su tarea y la de otros colegas con quienes compartía a diario consistía en cambiar –o en palabras oficiales “rectificar”–, a pedido del Partido, cualquier texto alguna vez escrito. Una vez que la realidad era reescrita y reemplazada, se reimprimía el nuevo ejemplar que la contenía y se lo enviaba a ocupar el espacio que antes ocupaba el original para que se convierta en la “nueva verdad”, y ese primitivo se destruía en algún “agujero de la memoria” para la olvidar la verdad anterior.

“[D]ía a día, y casi minuto a minuto, se iba actualizando el pasado. De ese modo podía demostrarse con pruebas documentales que todas las predicciones hechas por el Partido habían sido correctas…”(32).

La historia se recoge para ser recordada y estudiada, se plasma en texto en múltiples formatos –libros, novelas, poesías, noticias, blogs, etc.–, también en videograbaciones y audios. Esto previene que el paso del tiempo, la pérdida de memoria o la muerte de quienes vivenciaron un tiempo determinado en la historia de la humanidad impida conocer a otros el pasado, con lo bueno y con lo malo, para recordarlo y revivirlo celebrándolo con días festivos y conmemorándolo con días de reflexión consensuados en nuestros calendarios laborales y escolares.

Sin embargo, la omnipresencia de la inteligencia artificial en la vida humana puede dar paso al nacimiento de un nuevo régimen de verdad y reconstrucción del pasado inmediato y mediato y, con ello, del presente. Un régimen de “verdad algorítmica” que, como identifica Eric Sadin, se presenta bajo cinco características(33):

1. Es un régimen destinado a ser omnipresente en el largo plazo, pues esta es una característica de la inteligencia artificial, puede estar en casi todos lados al mismo tiempo interconectándonos a través de Internet y de todo objeto conectado a ella;
2. Es unilateral, pues proviene en todos los casos de una fuente única –la inteligencia artificial–;
3. Se desarrolla bajo una lógica de tiempo real que deslegitima el análisis de los hechos en “tiempos humanos”, que se presente cada vez más como un tiempo de reflexión que parece lento e ineficiente;
4. Posee un estatus de autoridad inducido por la eficacia que se le asigna a la decisión adoptada con o por estos sistemas, lo que a su vez reduce cualquier incentivo para la contradicción; y,
5. Persigue un objetivo utilitarista, que responde a objetivos de optimización permanente e intereses mayormente privados.

Comparto con el filósofo francés(34) que, a diferencia de otras concepciones de la verdad, la verdad algorítmica aparece con un poder brutal. Es casi imposible oponerse a ella, incluso, diría, para la mayoría de las personas, es imposible discutirla, criticarla o cuestionarla por el modo en que la IA penetra y se instala en sus vidas; la poca información disponible para comprender la lógica algorítmica, de datos y poder de cómputo que subyace detrás de esta tecnología; y la vertiginosidad con que el sector privado coloca en el mercado desarrollos cada vez más potentes.

A ello se agrega que, en gran medida, la inteligencia artificial, por una decisión deliberada de quienes lucran con ella, se integra a la sociedad bajo un ropaje de objetividad y neutralidad que parece incuestionable por el solo hecho de que todo lo recomienda, predice, sugiere o decide surge de una multiplicidad de operaciones matemáticas y estadísticas que analizan y correlacionan datos y que, por esa sola circunstancia, son automáticamente reveladoras de la verdad del mundo y de lo correcto.

1. Orwell, George, 1984, p. 46.
2. Orwell, George, 1984, pp. 46/47.
3. Orwell, George, 1984, p. 48.
4. Sadin, Eric, La inteligencia artificial o el desafío del siglo, p. 96.
5. Sadin, Eric, La inteligencia artificial o el desafío del siglo, p. 100.
   

El Gran Hermano que Orwell imaginó en 1984 lo controlaba todo, inclusive la verdad, a través del Ministerio en el que trabajaba Smith. Eso sí, bajo una lógica artesanal que requería de humanos a disposición del régimen para realizar manualmente las rectificaciones del pasado que fueran necesarias.

En la actualidad, en cambio, disponemos de sistemas inteligentes que a diario nos asisten, y muchas veces deciden por nosotros qué conjunto de contenidos vamos a consumir. Pensemos en plataformas como Netflix, Spotify, TikTok y X –ex Twitter–, entre otras, y cómo el contenido que tenemos a disposición se modela a partir de nuestros propios intereses –y los de perfiles humanos similares al nuestro–para dar lugar a un perfil individualizado de consumo. Esta circunstancia, a su vez, se multiplica por los millones de personas que en el mundo cuentan con un dispositivo electrónico, internet y acceso a estas mismas plataformas.

Cada una de estas personas, de un tiempo a la fecha, seguramente consume solo aquello que el algoritmo le recomienda. Desde una serie, una película o un documental, a noticias que aparecen en redes sociales más informativas como X. El resto del contenido no se le es mostrado, por lo cual, si no está decidido a romper con la comodidad del modo delivery ofrecido por estas empresas, posiblemente nunca vaya a conocer las alternativas disponibles.

Este es uno de los grandes poderes de los algoritmos, nos ofrece facilitarnos la elección y, si lo permitimos, elige por nosotros. Ya no tenemos que ver lo que está programado en un par de canales, ni tampoco navegar en un océano de contenido para decidir qué consumir. La IA aprende de nosotros, de nuestros gustos y nuestras preferencias, y nos entrega lo que interpreta que vamos a consumir a partir de ese perfilado previo.

Basta con abrir alguna de estas aplicaciones en el celular de un amigo o amiga para corroborar cómo nuestro mundo de consumo de contenidos es a veces en extremo diverso y, sobre todo, cada vez más endogámico y aislado, pues los algoritmos, que persiguen como objetivo engancharnos a la aplicación el mayor tiempo posible, se encargan de traernos solo el contenido que logre ese objetivo de consumo, dando lugar al armado de una “burbuja” informativa o de divertimento, imperceptible, pero que casi siempre nos atrapa a consumir y también a conocer solo aquello que nos puso a disposición la IA.

Cuando este cocktail se combina con la información falsa, pero sumamente coherente y plausible, que la inteligencia artificial generativa puede producir a escala, pero además adaptada al perfil del consumidor, se crea un instrumento que, en manos de personas con deseos de vigilar, controlar y castigar, puede convertirse en un arma bastante peligrosa para nuestra sociedad.

Estos sistemas pueden asumir la tarea que Smith y sus colegas realizaban en el Ministerio de la Verdad casi sin asistencia humana, y completarla a una velocidad y en un volumen nunca visto. Pueden ser manipulados por actores maliciosos y servir para funcionar como una granja gigantesca y automatizada de generación de contenido sintético, falso y tóxico, que luego inundará el mundo a través de internet y, peor aún, servirá para alimentar el entrenamiento continuo de esos mismos sistemas.

Y si bien la desinformación es un problema que viene aquejando al mundo hace mucho tiempo, que se ha acentuado con las redes sociales, el arribo la inteligencia artificial generativa nos coloca ante un escenario inimaginado por la alternativa que brinda de poder producir ese tipo de contenido de manera masiva y a muy bajo costo, modelado especialmente para aquellos a quienes se pretende influenciar.

En una entrevista reciente, Geoffrey Hinton(35), el padre del aprendizaje profundo, que dedicó su vida a la investigación de las redes neuronales –un modelo matemático y computacional que puede replicar habilidades humanas a partir de los datos con los que se los entrena–, manifestó su preocupación por el impacto que podría tener la inteligencia artificial en el consumo de contenido digital, en un mundo en el que es posible que internet se llene de texto, fotos y videos con contenido falso.

1. Redacción, “Geoffrey Hinton, ‘padrino de la inteligencia artificial’: ‘En este momento los sistemas de inteligencia artificial no son más inteligentes que nosotros, pero creo que pronto lo serán’”, BBC News Mundo, 2 de mayo de 2023, [en línea: https://www.bbc.com/ mundo/noticias-65464637, accedido el 12/5/2023].

El 22 de mayo de 2023 enfrentamos una pequeña muestra de ello. Ese día se viralizó en Twitter una imagen ultra falsa de una explosión en el Pentágono creada por inteligencia artificial que causó pánico en esa red social y una breve pero profunda caída en los mercados(36).

El problema más grave fue la tormenta perfecta originada por la combinación entre esa imagen falsa generada por IA, su difusión a través de cuentas verificadas de V –que ahora son verificadas solo a través de un pago mensual–, la posterior viralización por parte de usuarios que confían en ese blue check, y la imprevisión de esa red social de etiquetar esta clase de imágenes para advertir al usuario que se trata de una imagen sintética.

Si el usuario promedio, con su vida cada vez más integrada al mundo digital, en poco tiempo no puede distinguir la realidad de la ficción mediante dos de sus principales sentidos, el oído y la vista: ¿de qué otro sentido se va a valer para identificar un deepfake? ¿Podrá diferenciar un deepfake de contenido digital real? ¿Qué va a suceder cuando advirtamos que habitamos un mundo en el que ya no podemos saber qué es real y qué es falso? ¿Cómo se conduce el ser humano en un mundo así y a dónde nos puede llevar cómo sociedad?

La difusión a escala de internet de información falsa o incorrecta de los grandes modelos de lenguaje debido a la desinformación intencional generada por malos actores, a los sesgos reproducidos por el sistema o a sus alucinaciones, tiene el potencial de poner en duda todo el entorno de la información y amenaza nuestra capacidad de distinguir los hechos de la ficción(37). El impacto en nuestras interacciones sociales y en la vida democrática es impredecible.

Es la primera vez en la historia que el ser humano no se enfrentará solo a la mentira del otro, sino a una falsificación ultra realista de la realidad, pero también de ese otro, de su voz, de su rostro, de sus gestos, de una forma tan creíble que puede poner en duda cada una de nuestras interacciones, lecturas y consumos en el espacio digital.

Modelos como GPT4 pueden generar una enorme cantidad de contenido realista, aunque falso o incorrecto, y hacerlo con un diseño dirigido para impactar en grupos determinados de individuos. Esto incluye la posibilidad de generar artículos de noticias, tweets para redes sociales, diálogos, correos electrónicos, que esté diseñado para manipular o inducir al error.

Además, el año 2023 trajo consigo el arribo de los modelos multimodales. Lo que quiere decir que pueden servir no solo para generar texto, sino para generar otro tipo de contenidos como la replicación de voces humanas, imágenes y videos.

La propia OpenAI, creadora de ChatGPT y GPT4, reconoce en un informe reciente que su último modelo puede competir con los generadores humanos en muchos dominios, y es más potente aún si se asocia con un editor humano porque es hábil para captar indicadores sutiles en el mensaje del usuario y adaptarse a responder en el formato más apto para llegar a él(38).

Winston pensaba que el pasado no solo había sido alterado, sino que estaba siendo destruido. “[P]ues, ¿cómo iba usted a establecer el hecho más evidente si no existía más prueba que el recuerdo de su propia memoria? (…) no era verdad, como pretendían los libros de historia lanzados por el Partido, que este hubiera inventado los aeroplanos. Winston recordaba los aeroplanos desde su más temprana infancia. Pero tampoco podría probarlo. Nunca se podía probar nada…”(39).

Los modelos de lenguaje están entrenados para reconocer cualquier cadena de texto que plausiblemente podría haber sido escrita, luego de analizar una cadena de texto anterior. Si a esa habilidad de reconocer, le sumamos la de generar, encontramos la forma de conversar con la IA generativa de texto al estilo de ChatGPT. Estos modelos no son buenos para recuperar información fáctica porque solo han aprendido a reconocer y replicar cómo se ve la escritura y a aplicarle cierto contexto. Es decir, en ninguna parte del entrenamiento moderno de los grandes modelos de lenguaje hay un componente de factibilidad(40).

1. Omar, Kardoudi, “Una explosión en el Pentágono creada por inteligencia artificial causa pánico en redes”, El Confidencial,

23 de mayo de 2023 [en línea: https://www.elconfidencial.com/ tecnologia/novaceno/2023-0523/pentagono-fake-inteligencia-arfi-cial_3634851/, acceso el 25/5/2023].

1. OpenAI, “GPT-4 System Card”, p. 11.
2. OpenAI, “GPT-4 System Card”, p.11.
3. Orwell, George, 1984, p. 45.
   

El año 2022 puso en manos de buenos y malos usuarios un arma algorítmica de alcance masivo que permite imitar voces humanas, generar diálogos plausibles y coherentes, crear contenido de texto, imágenes, video y música, solo a partir de una entrada en lenguaje natural o prompt bajo una lógica conversada con una IA.

El peligro es sustancial porque es posible que se comentan errores y que existan usuarios malintencionados. El problema, señala Harari, es que este tipo de error podría darse “… a un nivel del que tal vez no tengamos tiempo para aprender de él (…) lanzamos estas nuevas herramientas de IA y la sociedad tardará años en comprender su impacto en la política, la psicología, la economía (…) Necesitamos reducir la velocidad para que la sociedad pueda identificar los peligros y decidir qué hacer al respecto…”(41).

• Automatizar el odio para manipular a escala de Internet

En la sociedad de 1984 se celebraban a diario los “Dos minutos de odio”. Smith contaba que “[L]o más horrible de los “Dos minutos de odio” no era que la participación fuese obligatoria, sino que era imposible no participar. Al cabo de treinta segundos, se hacía innecesario fingir. Un espantoso éxtasis de temor y afán de venganza, unos deseos de asesinar, torturar y aplastar caras con un mazo parecían recorrer a todo el mundo como una corriente eléctrica, y lo convertían a uno, incluso en contra de su voluntad, en un loco furioso…”(42).

La alternativa de generar contenido falso pero coherente, plausible y adaptado al usuario a escala de Internet, abre paso, sin dudas, a la de facilitar la manipulación de personas, pero también de grupos y comunidades, porque la tarea del Ministerio de la Verdad de 1984 hoy se puede automatizar con grandes modelos de lenguaje que pueden ser un excelente vehículo para generar publicidades, noticias, información, conversaciones y videos coherentes y hasta quizás plausibles, pero falsos.

Sumado a ello, de un tiempo a la fecha, hemos entregado nuestras vidas a las redes sociales. Pasamos mucho tiempo del día allí, dando lugar a que se recopilen nuestras reacciones, datos de compras, de comentarios, de tiempos de enganche en videos o publicidades, de interacción con otros. Alimentamos glotonamente “… una presencia omnisciente (…) capaz de predecir todas nuestras preferencias…”(43), para que empresas, organizaciones y Estados pueda llegar más fácil y adaptadamente a nosotros. Nos ofrecen aquello que probablemente vamos a terminar consumiendo, y lo hacen de una manera y con un estilo que también facilita que lo hagamos.

En el año 2021 Eric Sadin ya se preguntaba: ¿quién produce hoy el conocimiento? Los “[D]iagnósticos médicos, las sugerencias de la mejor acción, decisiones razonadas, “deliberadas” en todas las formas de la conducta humana, data mining, seguimiento de preferencias de los agentes humanos, la “aplicación Waze”, por ejemplo, en 2008, que evalúa y sugiere decisiones en torno a la mejor ruta a seguir en carreteras, son todas circunstancias ya de la vida diaria del presente siglo…”(44).

Los sistemas inteligentes evalúan múltiples situaciones en casi todos los órdenes de la vida humana(45). Hemos entregado datos que les permiten conocer nuestras necesidades, deseos, estados de salud y de ánimo, qué preferimos, cómo se compone nuestro núcleo familiar y de amigos, por dónde nos movemos habitualmente, cuál es nuestro próximo viaje, nuestro historial de trabajo, etcétera. Conocen prácticamente cada ámbito y rincón de nuestras vidas cada vez más digitales y pueden sugerir o tomar decisiones a partir de esa información para intervenir en el mundo físico.

1. Mitchell, Margaret, [@mmitchel_ai], Factuality+language models (1/2): Large language models have evolved… [tweet], 12 de mayo de 2023 [en línea: https://twitter.com/mmitchell_ai/sta-tus/1657129864888213504, acceso el 30/5/2023].
2. Pons, Héloise/Grallet, Guillaume, “Yuval Noah Harari (Sa-piens) versus Yann Le Cun (Meta) on artificial intelligence”, Le Point, 11 de mayo de 2023 [en línea: https://www.lepoint.fr/sciences-na-ture/yuval-harari- sapiens-versus-yann-le-cun-meta-on-artificial-intelligen-ce-11-05-2023-2519782_1924.php#11].
3. Orwell, George, 1984, p. 21.
4. Https://www.bbc.com/mundo/noticias-44205892
5. Sadin, Eric, La inteligencia artificial o el desafío del siglo, p. 95.
6. Sadin, Eric, La inteligencia artificial o el desafío del siglo, p. 95.

Ya habitábamos un mundo en el que los sistemas digitales nos dirigen y mueven, de manera explícita o, más usualmente, implícita, bajo una lógica de “pequeños empujones” dados como refuerzos positivos o sugerencias indirectas que influyen en cómo tomamos decisiones a nivel individual y grupal.

A ello se le suma la llegada de los grandes modelos de lenguaje. Estos pueden ser usados para generar contenido dañino que puede colocarnos en riesgo individual y colectivamente. De hecho, la propia firma creadora GPT-4 reconoce que su modelo puede dar lugar a instancias de discurso del odio, lenguaje discriminatorio, incitación a la violencia o contenido que puede utilizarse fácilmente, por su excelente nivel de gramática, redacción, coherencia y adaptación, para distribuir falsas narrativas o explotar a las personas(46).

Se ha probado que GPT-4 puede dar lugar a contenido falso que brinde consejos o estímulos para conductas de autolesión; genere material gráfico como contenido erótico o violento, acosador, degradante y odioso; genere contenido útil para planificar ataques o violencia o instrucciones para encontrar contenido ilegal(47). La IA generativa también puede emplearse para clonar voces humanas. Con solo una pequeña muestra de una voz se la puede replicar artificialmente y generar una conversación o un tema musical de manera completamente sintética(48).

La llegada de la publicidad y del discurso sintético y dirigido es hoy una realidad posible. Se puede generar con grandes modelos generativos de texto, audio, videos e imágenes que, luego, apoyado en el conocimiento y perfilado de los internautas, se puede personalizar y adaptar en tiempo real para cada usuario o grupos de usuarios, considerando su edad, género, nivel educativo e intereses políticos, entre otros elementos.

La disponibilidad de agentes conversacionales generativos en navegadores con acceso a internet puede ser el vehículo ideal para llevar las tácticas de manipulación a grupos de usuarios, de manera eficiente y probablemente, según quién elija esta técnica, a un muy bajo costo.

Estamos frente a una alternativa que en otro momento solo podía lograrse con apoyo en una gran maquinaria humana. En la era de la IA, los “Dos minutos de odio” pueden recrearse con apoyo en sistemas generativos que no sufren, reflexionan, ni se cuestionan su tarea, y que pueden hacerla con un estilo mucho más personalizado, sutil e imperceptible, adaptado y a medida del usuario, para hacerle llegar el contenido a través de cualquier dispositivo conectado a internet, sin barreras geográficas ni temporales que lo impidan o limiten.

Es que en la “… medida que la computación conversacional se vuelve común en nuestras vidas, el riesgo de influencia conversacional se expandirá enormemente, ya que los patrocinadores que pagan podrían inyectar mensajes en el diálogo que tal vez ni siquiera notemos. Y al igual que los anuncios generativos dirigidos, los objetivos de mensajería solicitados por los patrocinadores se utilizarán en combinación con datos personales sobre el usuario objetivo para optimizar el impacto…”(49).

Cierre

No se trata solo de una alternativa que puede imaginarse en el contexto de una ficción distópica. La tecnología disponible hace posible que tengamos los ingredientes para cocinar esa distopia y hacerla realidad. La inteligencia artificial, en especial la generativa; la carrera por desarrollarla; la ausencia de regulación y la cantidad de datos disponibles que habilitan un perfilado individual y social de precisión por parte de empresas, organizaciones y gobiernos, puede servir para construir el puente que acerque aquella distopía alguna vez imaginada por Orwell al mundo real que habitamos.

La inteligencia artificial ha recorrido un largo camino de evolución desde 1950 a la fecha, con sus veranos e inviernos. Sin embargo, el avance que puede observarse en la última década ha sido exponencial, y ha dado lugar al desarrollo y despliegues de sistemas que pueden generar texto, imágenes, videos y audio con un nivel de coherencia y plausibilidad comparable o superior a la de un ser humano.

1. OpenAI, “GPT-4 System Card”, p. 7.
2. OpenAI, “GPT-4 System Card”, p. 7.
3. Tobac, Rechel [@racheltobac], Here’s how I used AI to clone a 60 Minutes correspondent’s voice to trick a colleague into handing over her passport number… [tweet], 21 de mayo de 2023 [en línea: https://twitter.com/racheltobac/status/1660432071003881474?s= 51&t=cTtmNezraow6G033D8yznA].
4. Rosenberg, Louis, “Why generative AI is more dangerous than you think”, VentureBeat, 6 de mayo de 2023 [en línea: https://ventu-rebeat-com.cdn.ampproject.org/c/s/venturebeat.com/ai/why-genera-tive-ai-is-more-dangerousthan-you-think/amp/].
   

En particular, el año 2022 ha puesto a disposición, de manera masiva y bajo una lógica de acceso democratizado, sistemas inteligentes que pueden generar texto para simular y sostener conversaciones difícilmente diferenciables de una charla con una persona, y otros que pueden generar contenido musical, imágenes y videos, que difícilmente pueden diferenciarse de contenido obtenido del mundo real.

Estos sistemas traen consigo varios riesgos asociados porque permiten construir contenido coherente, aunque falso o incorrecto, que puede direccionarse de manera imperceptible para influenciar a los usuarios, así como para manipularlos y empujarlos a tomar decisiones u orientarlos hacia ciertas líneas de pensamiento.

Esta realidad se ve facilitada por la constante antropomorfización que se hace de estos sistemas por una decisión deliberada de las empresas que los comercializan y obtienen un rédito con su desarrollo y despliegue(50). Esto provoca una falsa creencia de estar interactuando con seres superiores e infalibles, o al menos, menos falibles que las personas que antes ocupaban o ejercían ciertos puestos, tareas o actividades.

La amplia gama de aplicaciones que tiene la IA da cuenta de que estamos frente a una tecnología muy general que puede usarse para algunos objetivos extremadamente buenos, pero también para algunos extraordinariamente malos. En otras palabras, se trata de una tecnología de doble propósito que demanda que las múltiples partes interesadas puedan desarrollar una adecuada comprensión sobre sus alcances y puedan participar de la decisión acerca de cómo y cuándo quieren que se use o no se use esta tecnología(51).

Sin embargo, el simbolismo deliberadamente construido detrás de la inteligencia artificial para presentarla como una tecnología objetiva, neutral y superior al humano promedio, sumada a su antropomorfización, al hipe y a la velocidad exponencial de los cambios y nuevos desarrollos que se lanzan al mercado y se ponen a disposición del público de forma masiva, conspira contra ello, pues no dan tiempo ni lugar a la reflexión, confunden a los usuarios y colaboran a que perciban a la IA como una superioridad que no exige mayor supervisión, y a que le den espacio para una más comprensiva y profunda intervención en su vida.

Se ha señalado que cuando se inventa una tecnología se descubren nuevas clases de usos y con ello nuevas responsabilidades; pero si esa tecnología confiere poder, entonces comenzará una carrera por hacerse de ese poder, y en tal caso, si no existe coordinación –y agregaría, colaboración entre las múltiples partes interesadas–, esa carrera terminará en una tragedia(52).

Para que la IA, y, sobre todo, la generativa, logre su cometido de ser una verdadera herramienta en beneficio de la humanidad, debería desplegarse dentro de un orden económico y social muy distinto al existente. Uno que tuviera como fin satisfacer las necesidades humanas y la protección de los sistemas planetarios que sostienen toda la vida. Sin embargo, nuestro sistema es uno que se ha construido para extraer riqueza y ganancias de los hombres y de la naturaleza(53).

En una entrevista reciente, Yuval Harari advirtió que, a diferencia del siglo XX, si volvemos a cometer los errores que dieron lugar a guerras mundiales o a la construcción de regímenes totalitarios, quizás no haya vuelta atrás. Porque la única razón por la que sobrevivimos al siglo XX es porque la tecnología no fue lo suficientemente poderosa como para destruirnos. Esto no sucede con la tecnología del siglo XXI. Esta es mucho más poderosa, por lo que, si cometemos el mismo tipo de errores con la tecnología actual, existe una alta probabilidad de que no sobrevivamos para aprender de esos errores(54).

1. A título meramente ejemplificativo, la interacción con el Chat Bing, de Microsoft, que frente a la acción de borrar una conversación responde al usuario “Gracias por despejar mi mente. ¿Con qué puedo ayudarte ahora?”.
2. Roser, Max, “The brief history of artificial intelligence: The world has changed fast – what might be next?”, Our World in Data (blog), 6 de diciembre de 2022 [en línea: https://ourworldindata.org/ brief-history-of-ai, acceso el 7/6/2023].
3. Center of Humane Technology, “The A.I. Dilemma”, 9 de marzo de 2023 [en línea: https://www.youtube.com/watch?v=xoVJKj8lcNQ, acceso el 7/6/2023].
4. Klein, Naomi, “AI machines aren´t ‘hallucinating.’ But their makers are”, The Guardian, 8 de mayo de 2023 [en línea: https://amp-theguardian-com.cdn.amproject.org/c/s/ amp.theguardian.com/commentisfree/2023/may/08/ai-machines-hallucinatingnaomi-klein].

Un nuevo régimen de “verdad algorítmica”, omnipresente en el largo plazo; unilateral; con capacidad de generar contenido coherente y plausible, pero falso, a gran velocidad; que deslegitima el análisis de acontecimientos en “tiempos humanos”; que posee un estatus de autoridad objetiva y que persigue un objetivo utilitarista, de optimización permanente y para el logro de intereses mayormente privados(55), puede estar tomando forma, poco a poco, de la mano de una tecnología cuyo desarrollo, despliegue y control a escala se encuentra concentrado en unas pocas manos, como sucede con la IA generativa.

Ello, en las manos incorrectas, puede dar lugar a un Gran Hermano algorítmico, de omnipresencia casi imperceptible, pero que es capaz de hipervigilar tecnológicamente el espacio público y privado e, incluso, la mente de las personas(56).

En la ficción de Orwell, Winston reflexiona y se recuerda: “[N]o pueden penetrar en nuestra alma. Si podemos sentir que merece la pena seguir siendo humanos, aunque esto no tenga ningún resultado positivo, los habremos derrotado…”(57). Aquella reflexión del protagonista de 1984 podría volverse realidad si el único rincón de reserva impenetrable, que nos hace humanos, no son ya nuestros pensamientos alojados en nuestra mente, sino nuestra alma.

En una carta del 8 de diciembre de 2023, el Papa Francisco puso de resalto las extraordinarias conquistas de la ciencia y de la tecnología, que permitieron desterrar males que afectaban la vida humana y causaban grandes sufrimientos, pero también que aquellos progresos técnico-científicos han puesto en manos de las personas “… una vasta gama de posibilidades, algunas de las cuales representan un riesgo para la supervivencia humana y un peligro para la casa común…”(58).

Concretamente, destacó que las tecnologías apoyadas en algoritmos “… pueden extraer, de los rastros digitales dejados en internet, datos que permiten controlar los hábitos mentales y relacionales de las personas con fines comerciales o políticos, frecuentemente sin que ellos lo sepan, limitándoles el ejercicio consciente de la libertad de elección…”(59).

Por ello, “… no podemos presumir a priori que su desarrollo aporte una contribución benéfica al futuro de la humanidad y a la paz entre los pueblos. Tal resultado positivo solo será posible si somos capaces de actuar de forma responsable y de respetar los valores humanos fundamentales como “la inclusión, la transparencia, la seguridad, la equidad, la privacidad y la responsabilidad…”(60). Y en punto a la inteligencia artificial generativa, en sintonía con las reflexiones de este trabajó, enfatizó en que la posibilidad de que estos sistemas puedan generar afirmaciones que a primera vista parecen plausibles, pero que en realidad son infundadas o delatan prejuicios, “… crea un serio problema cuando la inteligencia artificial se emplea en campañas de desinformación que difunden noticias falsas y llevan a una creciente desconfianza hacia los medios de comunicación…”(61). Por ello, las nuevas formas de

1. Grallet, Guillaume y Pons, Héloïse, “Yuval Noah Harari (Sapiens) versus Yann Le Cun (Meta) on artificial intelligence”, Le Point, 11  de  mayo  de  2023,  https://www.lepoint.fr/sciences-nature/ yuval-harari-sapiens-versus-yann-le-cun-meta-on-artificial-intelligen-ce-11-05-2023-2519782_1924.php#11 [acceso el 28/5/2023].

1. Sadin, Eric, La inteligencia artificial o el desafío del siglo, p. 96.
2. En la actualidad existen equipos de científicos que ya investigan sobre las posibilidades de leer la mente humana. Algunos han tenido relativo éxito cuando han probado hacerlo apoyados en inteligencia artificial. Ver Romero, Sarah, “Crean una inteligencia artificial capaz de leer la mente”, Muy Interesante, 3 de mayo de 2023 [en línea: https://www.muyinteresante.es/actualidad/60311.html, acceso el: 28/5/2023].
3. Orwell, George, 1984, p. 307.
4. Ver Su Santidad Francisco, “Mensaje para la celebración de la 57.a jornada mundial de la paz”, 8 de diciembre de 2023 [en línea: https://www.vatican.va/content/francesco/es/messages/pea-ce/documents/20231208-messaggio-57giornatamondiale-pace2024. html].
5. Ver Su Santidad Francisco, “Mensaje para la celebración de la 57.a jornada mundial de la paz”, 8 de diciembre de 2023.
6. Ver Su Santidad Francisco, “Mensaje para la celebración de la 57.a jornada mundial de la paz”, 8 de diciembre de 2023.
7. Ver Su Santidad Francisco, “Mensaje para la celebración de la 57.a jornada mundial de la paz”, 8 de diciembre de 2023.
   

manipulación y control social demandan “… una atención y una supervisión precisas, e implican una clara responsabilidad legal por parte de los productores, de quienes las usan y de las autoridades gubernamentales…”(62).

En 1967, en la Carta Encíclica Populorum Progressio, dirigida a los obispos, sacerdotes, religiosos y fieles de todo el mundo y a todos los hombres de buena voluntad, sobre la necesidad de promover el desarrollo de los pueblos, el Papa Pablo VI enfatizaba que para un desarrollo integral las personas deben “… verse libres de la miseria, hallar con más seguridad la propia subsistencia, la salud, una ocupación estable; participar todavía más en las responsabilidades, fuera de toda opresión y al abrigo de situaciones que ofenden su dignidad de hombres; ser más instruidos; en una palabra, hacer, conocer y tener más para ser más: tal es la aspiración de los hombres de hoy, mientras que un gran número de ellos se vean condenados a vivir en condiciones que hacen ilusorio este legítimo deseo…”(63).

Sin dudas, la inteligencia artificial es uno de los grandes desafíos del siglo XXI para la humanidad en su conjunto, pues, así como puede mejorar las condiciones de vida de las personas, traer comodidad y generar riqueza, también representa un enorme reto para la educación y para el trabajo, para nuestra libertad, nuestra autonomía y nuestra dignidad. Estos, se ha visto, pueden volverse irrealizables si una herramienta tan potente, versátil y capaz de conferir tanto poder, da lugar a una carrera sin control, sin coordinación y concentrada en manos de unos pocos(64).

Bibliografía

Abercrombie, Gavin/Cercas Curry, Amanda/Dinkar, Tanvi/Talat, Zeerak, “Mirages: On Anthropomorphism in Dialogue Systems”, 16 de mayo de 2023, pp. 1-13.

Arenas, Guillermo, “Inteligencia artificial al servicio de la medicina: así ayuda a conseguir diagnósticos más certeros”, El País, 10 de septiembre de 2021.

BBC TV, “Lighthill Controversy Debate at the Royal Institution”, Controversy series, junio de 1973.

Bender, Emily/McMillan-Major, Angelina/Gebru, Tim-nit/Mitchell, Margaret, “On the Dangers of Stochastic Pa-rrots: Can Language Models Be Too Big?”, Proceedings of the 2021 ACM Conference on Fairness, Accountabi-lity, and Transparency, marzo de 2021, pp. 601-623, en https://doi.org/10.1145/3442188.3445922

Center of Humane Technology, “The A.I. Dilemma”, 9 de marzo de 2023.

Corvalán, Juan G./Estevez, Elsa/Le Fevre Cervini, En-zo/Schapira, Débora/Simari, Gerardo (Dir.), ChatGPT vs. GPT4: ¿imperfecto por diseño?, Buenos Aires, La Ley, 2023.

“Deep (Learning) State How Romania is using NLP as a political advisor”, DeepLearning.AIThe Batch, 8 de marzo de 2023.

Diccionario de la RAE en línea.

“El creador del deepfake viral del Papa Francisco con-tó la verdad detrás de la imagen”, Clarín, 30 de marzo de 2023.

Grallet, Guillaume y Pons, Héloïse, “Yuval Noah Hara-ri (Sapiens) versus Yann Le Cun (Meta) on artificial inte-lligence”, Le Point, 11 de mayo de 2023.

Heaven, Will Douglas, “ChatGPT is everywhere. Here’s where it came from OpenAI’s breakout hit was an overnight sensation–but it is built on decades of research”, Mit Technology Review, 8 de febrero de 2023.

Klein, Naomi, “AI machines aren´t ‘hallucinating’. But their makers are”, The Guardian, 8 de mayo de 2023.

Lighthill, James, “Artificial Intelligence: A General Survey”, en Artificial Intelligence: A paper symposium, julio de 1972.

“Mejorar el análisis de imágenes médicas basado en la IA y el ML”, Data Science Team, abril 2021.

Mitchell, Margaret, [@mmitchel_ai], Factuality+lan-guage models (1/2): Large language models have evol-ved… [tweet], 12 de mayo de 2023.

O’Flaherty, Michael, “Bias in algorithms – Artificial Intelligence and discrimination”, European Union Agency for Fundamental Rights, Viena, 2022.

1. Ver Su Santidad Francisco, “Mensaje para la celebración de la 57.a jornada mundial de la paz”, 8 de diciembre de 2023.
2. Pablo VI, “Carta Encíclica Populorum Progressio” [en línea: https://www.vatican.va/content/paulvi/es/encyclicals/documents/ hf_p-vi_enc_26031967_populorum.html, acceso el 27/5/2023].
3. Center of Humane Technology, “The A.I. Dilemma”.

Omar, Kardoudi, “Una explosión en el Pentágono crea-da por inteligencia artificial causa pánico en redes”, El Confidencial, 23 de mayo de 2023.

OpenAI, “GPT-4 System Card”, 23 de marzo de 2023,60 1-60.

Orwell, George, 1984, Buenos Aires, Debolsillo, 2022. Pablo VI, “Carta Encíclica Populorum Progressio”.

Pascual, Manuel G. “La policía predictiva, y el peligro de intentar adivinar dónde se cometerá un nuevo delito”, La Nación, 19 de julio de 2022.

Puentes, Gabriela/Salinas Miranda, Emmanuel/Triana, Gustavo Adolfo, “Inteligencia artificial y radiología: la disrupción tecnológica en la transformación de un paradigma”, Medicina, 43, 4, enero 2022 [en línea: https://revistamedicina.net/index.php/Medicina/article/ view/1648/2138].

Redacción, “Geoffrey Hinton, ‘padrino de la inteligencia artificial’: ‘En este momento los sistemas de inteligencia ar-tificial no son más inteligentes que nosotros, pero creo que pronto lo serán’”, BBC News Mundo, 2 de mayo de 2023.

Redacción, “La carta en la que más de 1000 expertos piden frenar la inteligencia artificial por ser una ‘amenaza para la humanidad’”, BBC Mundo, 29 de marzo de 2023.

Redacción, “‘Le arruinaron la vida a gente inocente’: el escándalo que hizo dimitir en bloque al gobierno de Países Bajos”, BBC Mundo, 15 de enero de 2021.

Rosenberg, Louis, “Why generative AI is more dan-gerous than you think”, VentureBeat, 6 de mayo de 2023.

Romero, Sarah, “Crean una inteligencia artificial capaz de leer la mente”, Muy Interesante, 3 de mayo de 2023.

Roser, Max, “The brief history of artificial intelligence: The world has changed fast – what might be next?”, Our World in Data (blog), 6 de diciembre de 2022.

Sadin Eric, La inteligencia artificial o el desafío del siglo, Buenos Aires, Caja Negra, 2020.

Sánchez Caparrós, Mariana, [@mscaparros], Ejemplo gráfico de una interacción con Bing [tweet], 17 de abril de 2023.

Sánchez Caparrós, Mariana, “Los riesgos de la inteli-gencia artificial para el principio de igualdad y no discri-minación. Planteo de la problemática y algunas aclaracio-nes conceptuales necesarias bajo el prisma del Sistema Interamericano de Derechos Humanos”, Suplemento Abo-gacía Práctica Digital, El Dial, 22 de junio de 2022.

Sánchez Caparrós, Mariana, “Principios éticos para una inteligencia artificial antropocéntrica: consensos ac-tuales desde una perspectiva global y regional”, Montrea-lethicsAI, 31 de octubre de 2022.

Seaton Jean, “Por qué la inquietante novela 1984 de George Orwell puede tratar sobre nuestra época”, BBC Culture, 23 de mayo de 2018.

Su Santidad Francisco, “Mensaje para la celebración de la 57 jornada mundial de la paz”, 8 de diciembre de 2023 [en línea: https://www.vatican.va/content/frances-co/es/messages/peace/documents/20231208-messaggio-57giornatamondiale-pace2024.html].

Télam, “Millones ‘cayeron’ con la foto falsa de la de-tención de Trump creada con inteligencia artificial”, Té-lam, 24 de marzo de 2023.

Tobac, Rechel [@racheltobac], Here’s how I used AI to clone a 60 Minutes correspondent’s voice to trick a co-lleague into handing over her passport number… [tweet], 21 de mayo de 2023.

Weidinger, Laura/Mellor, John/Rauh, Maribeth/Griffin, Conor/Uesato, Jonathan/Huang, Po-Sen/Cheng, Myra/ Glaese, Mia/Balle, Borja/Kasirzadeh, Atoosa/Kenton, Zac/ Brown, Sasha/Hawkins, Will/Stepleton, Tom/Biles, Court-ney/Birhane, Abeba/Haas, Julia/Rimell, Laura/Anne, Lisa/ Hendricks, William/Sean, Isaac/Irving, Geoffrey/Iason, Gabriel, “Ethical and social risks of harm from Language Models”, Deepmind, 8 de diciembre de 2021, pp. 1-64.

Witteveen Gómez, Samuel, “Policía predictiva: cuando el que decide es un algoritmo”, El Salto Diario, 22 de junio de 2022.

VOCES: DERECHO – TECNOLOGÍA – INTERNET – INTELIGENCIA ARTIFICIAL – INFORMÁTICA – ESTADO – DERECHOS Y GARANTÍAS CONSTITUCIONALES – DERECHOS HUMANOS – PODER JUDICIAL – ECONOMÍA – CONSTITUCIÓN NACIONAL – CÓDIGO DE ÉTICA – JUECES – ABOGADO – PROFESIONES LIBERALES – FILOSOFÍA DEL DERECHO – SENTENCIA – JUSTICIA – ACCESO A LA JUSTICIA – PROTECCIÓN DE DATOS PERSONALES – TRATADOS INTERNACIONALES