O avanço da tecnologia de inteligência artificial (IA) nos sistemas de vigilância escolar, implementada com a promessa de proteger alunos e prevenir tragédias, tem ocasionado situações de criminalização infantojuvenil por brincadeiras ou comentários fora de contexto. Um dos casos ocorreu no Tennessee, onde uma estudante de 13 anos foi presa após fazer uma piada ofensiva em uma conversa online com colegas de classe.
A adolescente, aluna da oitava série da Fairview Middle School, havia sido alvo de piadas por causa de sua pele bronzeada e chamada de “mexicana”, mesmo não sendo. Quando uma amiga perguntou o que ela planejava para a quinta-feira, a garota respondeu com a frase: “na quinta a gente mata todos os México”. A conversa, feita por meio de um sistema vinculado ao e-mail escolar, foi detectada pelo software de monitoramento Gaggle, utilizado para rastrear conteúdos considerados ameaçadores. Sem qualquer análise de contexto, o sistema acionou as autoridades. Poucas horas depois, a menina foi detida, interrogada sem a presença dos pais, passou por uma revista íntima e teve que pernoitar em uma cela. Seus pais só puderam vê-la no dia seguinte. A Justiça determinou oito semanas de prisão domiciliar, avaliação psicológica e 20 dias em uma escola alternativa.
Milhares de distritos escolares utilizam softwares como Gaggle e Lightspeed Alert para rastrear atividades online, procurando sinais de que os alunos possam se machucar ou ameaçar outras pessoas. Esses sistemas monitoram e-mails, arquivos, conversas e buscas feitas por alunos em dispositivos escolares. Com a ajuda da inteligência artificial, a tecnologia pode acessar conversas online e alertar imediatamente autoridades escolares e policiais.
Situações semelhantes à do Tennessee também ocorreram na Flórida. A advogada Shahar Pasch defende o caso de uma adolescente que fez uma piada sobre tiroteio escolar em uma história privada no Snapchat. A plataforma detectou automaticamente a frase, alertou o FBI, e a estudante foi presa horas depois no pátio da escola. Já em West Palm Beach, a Dreyfoos School of the Arts testou o sistema Lightspeed Alert em 2024. Dois alunos digitaram uma ameaça contra um professor e, mesmo deletando a mensagem logo em seguida, foram detidos em menos de cinco minutos.
Defensores alegam que a tecnologia já evitou suicídios e tiroteios, mas críticos argumentam que as ferramentas têm causado danos graves ao interpretar mal conteúdos inofensivos. Além da criminalização injusta, outro ponto que tem sido questionado é o alto índice de falsos positivos gerados pelos softwares de IA.
Um levantamento feito no distrito de Lawrence, Kansas, revelou que, entre 1.200 alertas emitidos pelo Gaggle em um período de 10 meses, quase dois terços foram considerados “não preocupantes” pelos administradores escolares. Mais de 200 notificações falsas partiram de trabalhos escolares. Na Flórida, o distrito escolar de Polk County relatou mais de 500 alertas gerados pelo Gaggle em quatro anos. Isso resultou em 72 internações involuntárias de estudantes com base na Lei Baker, que permite avaliações psiquiátricas forçadas em pessoas que representem risco.
Com informações da AP News.
