Estou desenvolvendo uma IA para proteção digital de crianças e adolescentes. Queria feedback técnico da comunidade.

Nos últimos meses comecei a estruturar um projeto chamado Sistema Sentinela, uma plataforma de IA preventiva voltada à detecção de riscos digitais envolvendo crianças e adolescentes.

A ideia nasceu de uma percepção simples: boa parte dos mecanismos atuais de proteção online ainda é reativa. Ou seja, o sistema entra em ação depois da denúncia, depois do dano, depois da exposição ou depois que algum moderador humano precisou revisar algo sensível.

Em temas como grooming, aliciamento digital, ciberbullying, indução a conteúdos autolesivos e contatos suspeitos, esse modelo é muito limitado.

O problema não é só encontrar uma palavra proibida em uma mensagem. Muitas vezes o risco aparece no contexto: isolamento emocional, manipulação, insistência, mudança gradual de tom, tentativa de migrar a conversa para outro canal, envio de contato disfarçado em imagem ou construção de confiança ao longo de várias interações.

A proposta

O Sistema Sentinela está sendo pensado como uma camada de inteligência analítica para ambientes autorizados e parceiros, como plataformas digitais, jogos, fóruns, ISPs, redes educacionais ou sistemas de moderação.

A ideia não é criar vigilância generalizada, nem ler conversas privadas de forma irresponsável.

O objetivo é operar com:

• consentimento;
• governança de dados;
• privacidade por design;
• minimização de dados;
• análise de risco;
• intervenção proporcional;
• validação técnico-científica.

Em vez de simplesmente classificar uma mensagem como “permitida” ou “proibida”, a plataforma atribui sinais de risco contextual. Esses sinais podem alimentar um fluxo de moderação, alerta familiar, preservação de evidências ou escalonamento para análise humana, dependendo da política da plataforma parceira.

Arquitetura em alto nível

O desenho atual trabalha com uma arquitetura orientada a eventos.

Em alto nível, os componentes pensados são:

• um motor de análise textual para identificar intenção semântica;
• um motor multimodal para lidar com imagens e texto embutido;
• um orquestrador de risco para consolidar sinais;
• uma camada de grafos para mapear padrões recorrentes;
• um dashboard de triagem para analistas/moderação;
• um pipeline de MLOps para aprendizado contínuo com feedback humano.

A parte mais importante, na minha visão, não é apenas o modelo de IA. É a engenharia ao redor dele.

Um classificador isolado pode errar muito. Um sistema de proteção precisa lidar com falso positivo, falso negativo, auditoria, explicabilidade, logs mínimos, segurança, governança e revisão humana.

O desafio técnico

Alguns pontos que considero críticos:

1. Linguagem cifrada

Predadores e abusadores não usam necessariamente termos explícitos. Muitas vezes utilizam apelidos, gírias, emojis, manipulação emocional e mudança gradual de contexto.

Isso torna frágil qualquer abordagem baseada apenas em regex ou lista de palavras.

2. Multimodalidade

Um risco pode aparecer em texto, imagem, print, áudio transcrito ou até em número de telefone enviado como imagem para escapar da moderação textual.

Por isso a análise não pode ser somente NLP.

3. Privacidade

Esse é o ponto mais sensível.

Um sistema assim não pode virar uma máquina de vigilância. O desenho precisa partir de minimização: analisar apenas o necessário, descartar o que não representa risco, mascarar identificadores e registrar somente eventos relevantes dentro de uma política clara.

Privacidade não pode ser um recurso posterior. Tem que nascer na arquitetura.

4. Falso positivo

Um falso positivo nesse contexto pode gerar consequências sérias. Por isso, o sistema não deve ser pensado como “juiz automático”, mas como camada de apoio à decisão.

A IA pode sinalizar, classificar, priorizar e organizar evidências, mas decisões críticas precisam de regra, auditoria e, em muitos casos, revisão humana.

5. Validação externa

Não basta dizer que o modelo funciona. Um projeto desse tipo precisa ser validado com ICT, especialistas em infância, segurança digital, direito, psicologia, LGPD e moderação de conteúdo.

Sem validação independente, o risco de viés e erro operacional é alto.

Maturidade atual

Hoje trato o projeto como um protótipo funcional em estágio TRL 5–6: arquitetura base definida, componentes planejados/integrados em ambiente controlado e necessidade de validação técnica em ambiente operacional relevante.

O próximo passo seria encontrar parceiros para validação, principalmente empresas de cibersegurança, plataformas digitais, edtechs, instituições de pesquisa ou organizações que atuam com proteção digital de crianças e adolescentes.

Por que estou publicando aqui

A comunidade técnica costuma olhar para esse tipo de ideia com a desconfiança correta.

E é exatamente esse tipo de crítica que eu quero.

Algumas perguntas que estou tentando responder:

1. Como desenhar uma arquitetura de detecção de risco sem cair em vigilância abusiva?
2. Como reduzir falsos positivos em um domínio tão sensível?
3. Como auditar decisões de IA em sistemas de proteção infantil?
4. Como estruturar logs e evidências sem armazenar dados pessoais desnecessários?
5. Como equilibrar prevenção, privacidade, segurança e revisão humana?
6. Quais tecnologias vocês considerariam mais adequadas para uma primeira PoC?
7. Quais riscos técnicos ou éticos vocês enxergam nesse tipo de projeto?

Minha visão é que proteção digital infantil não deveria ser tratada apenas como moderação de conteúdo, mas como infraestrutura preventiva, auditável e responsável.

Ainda estou estruturando o projeto e refinando o material técnico. Qualquer feedback sincero da comunidade será muito bem-vindo.