Pitch: Criei uma API de moderação de conteúdo com modelos próprios (Anti-IA, NSFW, Gore e mais)

Olá, comunidade TabNews.

Quero compartilhar um projeto que venho desenvolvendo para resolver um problema que muitos de nós, que trabalhamos com aplicações que permitem upload de conteúdo, enfrentamos: a moderação de imagens em escala. Foi para atacar essa dor de cabeça, de forma escalável e controlada, que criei o Detecta IA.

O principal diferencial aqui foi a decisão de não depender exclusivamente de modelos de prateleira. Em vez disso, dediquei um tempo considerável para treinar, do zero, uma série de modelos de detecção específicos. O objetivo era ter mais controle sobre a precisão e a granularidade da análise, além de abordar nichos que nem sempre são o foco de soluções maiores, como a detecção de conteúdo gerado por IA.

O resultado é uma API capaz de analisar imagens e identificar uma gama variada de conteúdos. Isso vai desde a detecção de material gerado por Inteligência Artificial, um desafio cada vez mais presente, até a moderação mais tradicional de conteúdo NSFW, gore ou violento. Além disso, a ferramenta consegue identificar temas mais específicos como a presença de armas, drogas e bebidas, e até mesmo fazer uma análise do texto contido na imagem através de OCR.

Para quem for integrar, o processo foi pensado para ser o mais direto possível. Trata-se de uma API RESTful onde você faz uma requisição POST, envia a imagem, e especifica no corpo da requisição quais análises deseja rodar. Por exemplo, você pode pedir para verificar apenas por nsfw e gore, ou combinar múltiplas checagens. O retorno é um JSON estruturado, com os scores de confiança para cada modelo solicitado, permitindo que você aplique suas próprias regras de negócio com base nos resultados. A ideia é que seja uma ferramenta flexível, que se adapte à política de moderação de cada plataforma.

A melhor forma de validar a eficácia de um sistema como este é com o teste da comunidade. Por isso, deixei o site aberto para testes gratuitos, com um limite diário de análises, para que vocês possam subir suas próprias imagens e ver a precisão dos modelos em cenários reais.

O feedback de outros desenvolvedores sobre a usabilidade da API, a precisão das detecções e possíveis novos casos de uso seria extremamente valioso para a evolução do projeto.

Site para testes e documentação da API:
https://detectaia.juliaklee.wtf/

Obrigada pelo tempo e estou à disposição para discutir a parte técnica ou qualquer outra dúvida que surgir.