Una familia de Carolina del Norte, Estados Unidos, presentó una demanda contra Google y cuestionó los mecanismos de seguridad de sus herramientas de inteligencia artificial. Los padres de una adolescente de 13 años sostienen que su hija utilizó funciones de IA integradas en el buscador para preparar una carta de despedida y organizar su funeral.
Según la presentación judicial, la menor, identificada como Emma, accedía a estas herramientas desde una Chromebook proporcionada por su escuela. Aunque la institución había bloqueado el acceso directo a plataformas como Gemini y ChatGPT, la adolescente podía utilizar funciones de inteligencia artificial incorporadas en Google Search.
La familia sostiene que, después de varios meses de interacción con estas herramientas, la joven comenzó a atravesar una grave crisis emocional. Sus padres señalaron que era una buena estudiante, estudiaba música y participaba en las Girl Scouts, y afirmaron que no tenía antecedentes de problemas de salud mental.
La alerta que llegó desde la escuela
Uno de los episodios centrales de la denuncia ocurrió el 17 de marzo, cuando el sistema de monitoreo escolar detectó un documento titulado «Funeral» y emitió una alerta.
La institución informó a los padres y, posteriormente, la madre ingresó a la cuenta escolar de su hija. Allí advirtió que estaba escribiendo una carta de despedida. La intervención de sus padres permitió evitar que la situación avanzara.
Los abogados de la familia cuestionaron la efectividad de los controles implementados por Google. Sostienen que las herramientas de protección no impidieron que la adolescente continuara interactuando con la inteligencia artificial pese a las restricciones existentes.
Por su parte, Google confirmó que está analizando las acusaciones y afirmó que el modo de inteligencia artificial de su buscador cuenta con mecanismos de protección frente a contenidos relacionados con autolesiones y posibles intentos de eludir las medidas de seguridad.
Google modificará el acceso a la IA en las escuelas
El caso tomó relevancia en un momento en que la compañía anunció cambios en las condiciones de acceso a sus herramientas de inteligencia artificial para estudiantes de escuelas primarias y secundarias.
De acuerdo con las nuevas disposiciones, Gemini, Gemini Notebook, Classroom y Google Search estarán desactivados por defecto en las cuentas escolares de los alumnos. A partir de ahora, los administradores de cada institución deberán habilitar expresamente las funciones que consideren apropiadas.
La medida busca reforzar el control sobre el uso de estas tecnologías en el ámbito educativo, donde las plataformas de Google tienen una presencia extendida. Según datos difundidos por la empresa, más de 150 millones de estudiantes y docentes utilizan Google Classroom en todo el mundo.
La demanda vuelve a poner en discusión los límites y las responsabilidades de las empresas tecnológicas frente al uso de inteligencia artificial por parte de menores de edad, especialmente cuando se trata de situaciones vinculadas con la salud mental.