En el afán de monitorear la salud mental de los estudiantes, prevenir la violencia infantil e incluso evaluar posibles amenazas de tiroteos, varias escuelas de Estados Unidos han implementado un sistema basado en inteligencia artificial. Aunque la iniciativa presenta aparentes beneficios, también implica riesgos para la seguridad, especialmente debido a la falta de protección de la información de los alumnos.

El caso en cuestión ocurrió en las escuelas públicas de Vancouver, Washington, según una investigación de Associated Press. El estudio reveló que un software, utilizado en aproximadamente 1,500 distritos escolares del país con la promesa de mantener seguros a los estudiantes mediante vigilancia web con IA, no protegía adecuadamente los documentos ni los nombres de los alumnos. En consecuencia, lejos de cumplir su propósito, terminaba por socavar la confianza entre los estudiantes y el personal escolar, afectando la seguridad general de las instituciones.

El programa, desarrollado por Gaggle Safety Management, se expandió significativamente desde la pandemia, cuando las escuelas comenzaron a proporcionar dispositivos como tabletas y computadoras portátiles a los estudiantes.

Gaggle emplea un algoritmo de aprendizaje automático que analiza la actividad en línea de los alumnos durante las 24 horas del día, siempre que utilicen equipos escolares o inicien sesión con su cuenta institucional desde un dispositivo personal.

Este algoritmo identifica posibles indicadores de problemas como acoso escolar, autolesiones, suicidio o violencia en el entorno escolar. Cuando detecta contenido preocupante, genera una captura de pantalla y la envía a los revisores …