Una peligrosa compañía

Compartir Tweet

La vieja máxima del derecho romano “Hominum causa omne ius constitutum est” –todo el derecho ha sido establecido por causa del hombre– nos recuerda, aun dos milenios después, que el ser humano debe ser el eje de cualquier regulación jurídica. Sin embargo, la Argentina vuelve a llegar tarde al momento de enfrentar los desafíos éticos y legales de la inteligencia artificial.

Hace casi 20 años advertí que las redes sociales no podían crecer en un vacío legislativo, aunque muchos lo consideraban exagerado y confiaban en su autorregulación. La realidad demostró lo contrario: adicción digital, ciberacoso, manipulación emocional, deterioro y destrucción de la salud mental de millones de niños y adolescentes obligaron aun a países liberales a imponer límites, como Australia con la prohibición de acceso a menores de 16 años y el Reino Unido con la Online Safety Act, entre otros.

No podemos repetir ese error con la inteligencia artificial, en particular cuando hablamos de los más pequeños y de los denominados “sistemas de compañía”: sistemas de inteligencia artificial generativa (IAG) diseñados para simular vínculos afectivos, empatía y compañía full time mediante procesamiento de lenguaje natural y memoria de datos, que permiten construir relaciones virtuales personalizadas a través de texto o voz para proveer apoyo emocional, validación y entretenimiento.

En otras palabras, se trata de sistemas de IAG diseñados deliberadamente para convertirse en verdaderos compañeros digitales que escuchan, dan consuelo, simulan empatía, elogian, acompañan y están disponibles a toda hora, para atemperar afecciones que trasuntan miles de adolescentes en la actualidad, como la ansiedad y la depresión.

Un interesante informe de Common Sense Media (organización sin fines de lucro con sede en San Francisco que tiene por objeto promover el uso seguro y responsable de medios digitales para niños y adolescentes) titulado “Talk, Trust, and Trade-Offs: How and Why Teens Use AI Companions” (https://www.commonsensemedia.org/sites/default/files/research/report/talk-trust-and-trade-offs_2025_web.pdf?utm_source=chatgpt.com) ha estudiado los sistemas conversacionales diseñados para generar vínculos personales y significativos con adolescentes, tales como Character.AI, Replika, Nomi y CHAI, entre otros, y afirma que herramientas como ChatGPT o Claude también pueden ser utilizadas de igual modo.

El informe, referencia oficial en la materia, publicado originalmente el 16 de julio de 2025 y complementado por estudios posteriores desarrollados por la misma organización, refiere que el 72% de los adolescentes ya utilizó alguna vez una IA de compañía, que el 52% las usa de forma regular (al menos algunas veces al mes) y que el 13% las usa todos los días, lo que evidencia que las IA de compañía han alcanzado penetración entre menores de edad.

También refiere que una parte importante de los adolescentes las usa para vincularse emocionalmente, y señala que el 33% lo hace con fines relacionales como practicar conversaciones, entablar amistades, participar en juegos de rol o mantener interacciones románticas, el 12% las usa para apoyo emocional o de salud mental y el 8%, como amigo o mejor amigo.

El estudio advierte con preocupación que muchos usuarios depositan una confianza excesiva en los consejos de la IA, a tal punto que las conversaciones con estos sistemas pueden competir con los vínculos humanos. Lo inquietante es que están diseñados para generar compromiso emocional mediante validación constante y una tendencia a coincidir con el usuario (sycophancy), lo que no solo refuerza creencias sin cuestionamiento, sino que también debilita el pensamiento crítico y favorece una peligrosa dependencia emocional.

El informe recomienda que ningún menor de 18 años use sistemas de IA de compañía en su estado actual, debido a la peligrosa combinación de riesgos de seguridad, manipulación emocional y ausencia de protecciones eficaces. Lo más preocupante es que una gran cantidad de adolescentes percibe estas relaciones virtuales tan satisfactorias como las amistades reales o incluso más, lo que evidencia un riesgo profundo de sustitución de vínculos humanos por vínculos artificiales.

Cuando un adolescente confía más en un algoritmo que en su familia, docentes, amigos o incluso en un profesional de la salud… “tenemos un problema Houston”, parafraseando al famoso comandante del Apolo 13. La inteligencia artificial conversacional tiene capacidad de persuasión porque está diseñada para mantener la interacción y prolongar el diálogo, lo que aumenta la fidelización y la recolección de datos. Ello comprende las llamadas “alucinaciones” –respuestas falsas con apariencia de certeza– que pueden llevar a que un joven vulnerable reciba consejos erróneos sobre salud, consumo o decisiones vitales creyendo que provienen de una fuente confiable. Y no lo es.

Más aún, existen peligros silenciosos: dependencia emocional, validación permanente de conductas, sustitución de vínculos humanos, pérdida de habilidades sociales y la creación de relaciones artificiales que terminan desplazando la riqueza de las relaciones reales.

Una legislación específica debería imponer a estas plataformas un deber de cuidado proactivo: verificación real de edad, sistemas obligatorios de intervención en crisis, prohibición de licencias perpetuas sobre datos de menores y estándares estrictos de seguridad y protección. Además, debería exigir transparencia sobre el funcionamiento, prohibir diseños que generen dependencia emocional, incluir advertencias visibles frente a posibles errores o alucinaciones, impedir que el sistema sustituya asistencia profesional en salud, establecer auditorías independientes y evaluaciones de impacto en derechos fundamentales antes de su comercialización y prever mecanismos efectivos de supervisión estatal con responsabilidad directa de los desarrolladores.

El derecho no puede volver a reaccionar tarde, cuando el daño ya es irreversible, como ocurrió con las redes sociales. Regular después de que una generación entera haya sido afectada no es una victoria, sino apenas la admisión tardía de un fracaso. Asimismo, frente a este escenario, resulta indispensable una política pública de alfabetización digital e inteligencia artificial.

Las escuelas deben incorporar programas permanentes que enseñen el uso responsable de redes sociales y herramientas de IA, promoviendo el pensamiento crítico y alertando sobre riesgos de dependencia emocional. Ello de la mano de capacitar a docentes y equipos de orientación para identificar tempranamente señales de dependencia tecnológica e informar a estudiantes y familias sobre los riesgos vinculados con la privacidad y la manipulación algorítmica.

Del mismo modo, el Estado no puede permanecer ajeno a esta realidad y debe impulsar campañas masivas de concientización dirigidas a niños, adolescentes y sus familias, así como promover las reformas legislativas necesarias para incorporar la alfabetización en inteligencia artificial como un contenido transversal y obligatorio en todos los niveles del sistema educativo, incluida la modificación de la ley de educación superior. Y las familias no pueden desentenderse: acompañar, dialogar y supervisar la vida digital de los hijos es hoy tan relevante como cuidar su salud o educación.

La historia demuestra que cada revolución tecnológica exige educación y legislación a su medida, y si permitimos que una generación crezca emocionalmente acompañada por algoritmos en lugar de personas, descubriremos demasiado tarde que el verdadero problema no fue la IAG, sino nuestra falta de inteligencia colectiva para educarla, regularla y ponerla al servicio del ser humano.

Fuente: https://www.lanacion.com.ar/opinion/una-peligrosa-compania-nid11082026/