Executando verificação de segurança...
8
MrJ
3 min de leitura ·

📥 [Aviso de Coleta] Treinando o TabLM: O Desafio dos 100M em PT-BR - Criando uma IA de 100M com o "DNA" do TabNews 🧠 [Pesquisa e Dataset]

Olá, pessoal do TabNews!

Estou escrevendo para compartilhar uma iniciativa da Crom AI Research, que toca em um ponto sensível da nossa área: a dependência de modelos de IA gigantescos e estrangeiros.

🚨 ATUALIZAÇÃO IMPORTANTE: PRAZO ESTENDIDO! 🚨

Atenção: Ouvimos o feedback de vocês nos comentários e decidimos dar mais tempo!

Somamos as 72 horas originais + 48 horas de extensão, totalizando 120 horas (5 dias) a partir da publicação deste post (30/03). Isso significa que o prazo para garantir sua remoção antes do fechamento da v1.0 vai até o dia 04 de abril de 2026.

🛑 O formulário de opt-out ficará SEMPRE ABERTO! Se você preencher depois desse prazo de 120h, não tem problema. Os que solicitarem a remoção após o prazo da v1.0 serão removidos na atualização v1.1 e incluídos em nossa blacklist de forma permanente para todas as versões futuras. Não temos pressa com esse projeto, o foco aqui é estudar e queremos fazer as coisas da forma certa!

Formulário: https://docs.google.com/forms/d/e/1FAIpQLSeZ28dYyI4uste78_T6BecokC4Enlpyz2nZkJtSElG9CRLMIQ/viewform

🎯 O Problema: O "Gap" do Português em Modelos Pequenos

Se você já tentou rodar um modelo de IA localmente no seu computador, sabe que modelos abaixo de 1B de parâmetros costumam ser "burros" em Português. Eles alucinam, misturam idiomas ou simplesmente não entendem comandos simples (Instruct).

Nosso objetivo é quebrar essa barreira.

Queremos explorar o treinamento de modelos Instruct/Chat com menos de 100M de parâmetros que sejam genuinamente proficientes em PT-BR técnico.

🧠 Por que o TabNews?

O TabNews não é apenas um site de notícias; é uma das bases de dados mais limpas e ricas em dialeto técnico brasileiro. Para um modelo minúsculo , a qualidade do dado vale mais que a quantidade.

Queremos que o TabLM aprenda a:

  1. Chat: Conversar como um desenvolvedor sênior brasileiro.
  2. Search: Permitir buscas semânticas profundas dentro do ecossistema de conteúdo local.
  3. Instruct: Seguir comandos técnicos simples sem precisar de 16GB de VRAM.

📊 O Dataset: crom-tabnews-db

Para tornar isso realidade, estamos consolidando um dataset curado.

Transparência e Ética:

  • Licenciamento ODC-By: O dataset será aberto sob a Open Data Commons Attribution. Isso protege a autoria: quem usar, terá que dar o crédito à fonte original.
  • Foco em Pesquisa: Não é um produto comercial, é um experimento de Soberania Digital.
  • Saneamento: Faremos o possível para remover dados sensíveis (tokens, chaves, e-mails) que usuários possam ter postado por acidente.

🛡️ Cláusula de Respeito (Opt-Out)

Respeitamos a propriedade intelectual. Se você é autor no TabNews e NÃO deseja que seus textos façam parte deste experimento de treinamento de IA:

  1. Prazo: Daremos 72 horas antes da consolidação da V1.0.
  2. Como sair: Basta [PREENCHER ESTE FORMULÁRIO - LINK] ou comentar abaixo: "Não autorizo a inclusão do meu perfil no crom-tabnews-db".
  3. Remoção Permanente: Uma vez solicitado, seu username entra em nossa blacklist para todas as versões futuras.

🚀 Próximos Passos

Assim que a coleta e a limpeza terminarem, subiremos tudo para o Hugging Face da Crom AI. O objetivo final é que qualquer um de vocês possa rodar um assistente técnico básico em PT-BR direto no navegador ou em um terminal, de forma 100% offline e privada.

O que você acha do desafio de criar um Chat-PTBR com menos de 100M? É possível ou estamos sendo otimistas demais? Vamos debater nos comentários. E tenha acesso a toda pesquisa.

Pesquisa CTabSearch conduzida por Juan Cândido (MrJ) e @pedrodev2026.

Fonte: https://crom.run/

Carregando publicação patrocinada...
8
jlucfarias

Posso ser sincero? Acredito que essa prática, mesmo com dados abertos, dando créditos e permitindo entrar em blacklist, ainda me parece errado. É uma péssima prática que as big techs estão adotando e não gostaria que um projeto como esse seguisse a mesma prática.

Outra coisa, acredito que deveria haver uma atualização dos termos de uso do tabnews sobre o uso dos dados por terceiros, principalmente para raspagem de dados e treinamento de IAs.

Não me entenda mal, eu apoio o projeto, mas não essa ideia de "você tem 72 horas para pedir pra estar fora". O que faz com que todo mundo esteja dentro por padrão. O que deveria ser era algo voluntário, mesmo eu sabendo que a quantidade de pessoas que aceitasse seria minúscula.

1
Slider

Dependendo de gente com esse teu pensamento a gente ia continuar na era das cavernas mesmo.

Tem 999.999 empresas gringas (com ligação direta com governo dos EUA, China, o caralho a 4) raspando TUDO que é site público do planeta, incluindo o TabNews, sem pedir porra nenhuma, sem dar crédito, sem opt-out, sem nada. Elas baixam livros piratas aos montes no Anna’s Archive, treinam modelo em cima de tudo que é repositório do GitHub, Stack Overflow, Reddit, Twitter... e tu vem com essa de “não gostaria que um projeto como esse seguisse a mesma prática”?

Pelo amor de Deus, cara.

Aqui o cara tá sendo mais correto que as big techs:

  • tá dando crédito (ODC-By)
  • tá oferecendo opt-out com blacklist permanente
  • tá avisando com antecedência
  • é pesquisa aberta, sem fins comerciais

E tu ainda acha ruim?

Então me explica: tu quer que ele treine o modelo com o quê? Com vento?? Com dados sintéticos em PT-BR que não existem em quantidade suficiente? Com o que exatamente?

Se fosse opt-in voluntário, como tu quer, ia ter 12 pessoas participando e o modelo ia sair uma merda. Todo mundo sabe disso, inclusive tu.

Quem não quiser que o texto dele sirva pra soberania digital brasileira é só preencher o formulário e pronto. Não é difícil.

Para de viagem e para de querer que projeto pequeno siga regra de santo enquanto as grandes fazem o que querem, e outra.. por esse pensamento minusculo que a gente não tem porcaria nenhuma boa.. não tem um sistema de geolocalização, não tem buscador, não tem app de comunicação próprio.. SOMOS 200% DEPENDENTES DE GRINGO e tu me vem com essa.. pqp..

4
jlucfarias

Dependendo de gente com esse teu pensamento a gente ia continuar na era das cavernas mesmo.

Eu não disse que o projeto não deveria existir (inclusive deixei bem claro que apoio o projeto), disse que o projeto começou eticamente semelhante ao "mal" que não se quer propagar

Tem 999.999 empresas gringas raspando TUDO que é site público [...] e tu vem com essa de “não gostaria que um projeto como esse seguisse a mesma prática”?

Exatamente. Toda ação tem uma consequência atrelada e eu estou pensando no projeto não só pelo ponto de vista técnico, mas do ponto de vista ético que é inclusive o ponto de partida do projeto. Se eu quero criticar os outros por uma questão de erro dele, o primeiro que deve agir corretamente sou eu. Então se o projeto nasce a partir dessa crítica, ele deve também ser exemplo.

tá avisando com antecedência

Numa plataforma que nem todos os que são detentores dos dados vão conseguir ver.

E tu ainda acha ruim?

Do ponto de vista ético? Sim como foi estipulado; do ponto de vista técnico? Acho a ideia excelente.

Então me explica: tu quer que ele treine o modelo com o quê?

Eu não sou especialista no projeto, não sei como direcionar para o melhor em relação a isso. Mas sei que existem problemas inerentes à forma do projeto e é nisso que estou tentando alertar.

Se fosse opt-in voluntário, como tu quer, ia ter 12 pessoas participando e o modelo ia sair uma merda.

É provável, mas é uma barreira que poderia ser ultrapassada dd outras formas. Quais? Não sei, não sou especialista no projeto.

para de querer que projeto pequeno siga regra de santo enquanto as grandes fazem o que querem

Há tantos projetos pequenos que seguem essa "regra de santo" que você diz e nem por isso deixaram de ser importantes, seja na prática ou historicamente.

por esse pensamento minusculo que a gente não tem porcaria nenhuma boa... não tem um sistema de geolocalização, não tem buscador, não tem app de comunicação próprio.. SOMOS 200% DEPENDENTES DE GRINGO

Eu concordo que o Brasil é historicamente atrasado em muitas frentes e com uma alta dependência de outros países para muitas coisas (na real não há um país realmente auto suficiente), mas isso não implica em agir dessa forma (eu não concordo que os fins justificam os meios). Eu concordo que precisamos realizar várias ações de melhoria nessa questão de soberania digital e tenho diversas ideias sobre isso (só de seguir o exemplo da Alemanha em relação a padrões abertos e projetos europe-centric, já seria algo excelente).

Enfim, quero reiterar que apoio o projeto, mas não concordo que ele esteja eticamente alinhado com os próprios princípios (ao menos se eu estiver correto que o uso predatório de dados dos usuários pelas big techs for um problema para os criadores do projeto) e que há possíveis questões jurídicas se continuar dessa forma.

0
Slider

Clássico pra crlh...

Quando te convém, tu vira "não sou especialista" e "não sei como fazer melhor". Mas quando quer moralizar, aí vira filósofo da ética e diz que o projeto tá "eticamente semelhante ao mal das big techs" kkkkkkk..

Pô, bixo..

Tu mesmo disse que apoia o projeto, mas fica ai reclamando da única forma prática de ele existir com qualidade... Quer opt-in voluntário? Beleza. Aí vão participar uns 12 dev que curtem o papo e o modelo sai uma m*rda inútil em PT-BR técnico.... exatamente o que já temos aos montes.

Tu fala que o projeto "nasce da crítica às big techs, então tem que ser exemplo". Perfeito. E o exemplo aqui é:

  • conteúdo público
  • aviso com antecedência
  • formulário de opt-out sempre aberto + blacklist permanente
  • licença ODC-By com crédito
  • sem fins comerciais, só pesquisa

Isso é muito mais do que Google, Meta, OpenAI, Anthropic e companhia fazem. Elas raspam tudo sem avisar, sem opt-out fácil, sem crédito, e ainda lucram bilhões... Tu reclama delas mas quer que o projeto pequeno se comporte como uma ONG de freiras?

"Nem todos vão ver o aviso".. então o que tu sugere? O cara mandar e-mail pra cada um dos milhares de autores do TabNews? Publicar anúncio no jornal? Isso é ser MUITO infantil. Quem se importa de verdade preenche o formulário em 2 minutos. Quem não vê ou não liga, provavelmente não tá nem aí.

E o papo de "fins não justificam os meios"? Beleza, mas na prática isso significa continuar 200% dependente de gringo. Não temos geolocalização boa, não temos buscador decente, não temos modelo forte em PT-BR, não temos porra nenhuma porque sempre tem gente como tu travando o que é possível com "ética de santo".

Projetos pequenos que "seguem a regra de santo" existem? Existem... E a maioria morre ou vira irrelevante exatamente por isso... Enquanto isso, as big techs vão continuar construindo um império em cima dos nossos dados...

Resumo: tu apoia o projeto mas quer castrar a única chance dele dar certo. Isso não é ética, é TOTAL incoerência vestida de "moralidade".

Se tu tem uma ideia concreta melhor que opt-out + dataset curado de conteúdo público, manda.

Senão, para de atrapalhar quem tá tentando fazer algo real uai...

3
jlucfarias

Olha, são dois ramos diferentes do conhecimento.

Eu realmente não sou especialista, ou você prefere que eu minta? Eu não posso dizer os melhores caminhos porque tecnicamente não sou especialista, mas consigo analisar e ver problema ético no projeto. Só isso

Se essa é a única forma prática dele existir, então no final ainda continuará seguindo um modelo, mesmo com ações mais brandas, predatório.

É infantil pedir autorização explícita e ter garantia de segurança jurídica dentro do território que se quer criar uma soberania? Você não pode partir do pressuposto de que quem não vê não está "nem aí", nem todos vivem aqui. Alguns usam só de vez em quando, não seria razoável pedir a autorização delas?

Os sistemas de geolocalização foram criados com esse mesmo modelo predatória das big techs? Os buscadores decentes também? O Brasil pode ter tudo isso, sem agir dessa forma. Se ainda ficaríamos a mercê de países estrangeiros, então vamos criar essas coisas, mas sem utilizar esses métodos que estão sendo criticados. Já tivemos buscadores, porém foram comprados ou não tiveram incentivos econômicos para continuar, dá pra começar do zero (vai dar trabalho e demorar, mas não precisa ser como está sendo criticado). Sobre geolocalização não tenho condições de discutir. O restante das coisas, podemos pegar iniciativas de padrões abertos e começar a seguir dali. Ou apoiar financeiramente projetos brasileiros já existentes e de código aberto. Ou apoiar brasileiros que contribuem com código aberto, sendo ele nacional ou não. É um trabalho de longo prazo que precisaria ser feito se realmente é desejado uma soberania digital brasileira.

Os projetos que morrem geralmente é por falta de incentivos econômicos, não por falta de demanda ou de "apoio moral".

Eu apoio o projeto e quero que ele siga um caminho ético, é um problema querer isso?

Mudar para opt-in já é uma ideia concreta, só não está sendo aceita, o que é normal numa discussão. Pegue o projeto Sabiá da Maritaca AI. É um projeto que utilizou somente base de dados públicas e com as devidas autorizações (até onde se sabe). É claro que não foi um projeto igual e com os mesmos dados, mas é um que pode ser usado como exemplo.

Dar opinião não é atrapalhar, inclusive o próprio criador da postagem original pediu opiniões. Não é permitido discordar mais?

0
pedrodev2026

isso das 72 horas é na primeira versão (v1), o formulário vai estar sempre aberto e nos proxímos updates será removido os que pediram para remover que não conseguiram nas 72 horas.

0
jlucfarias

Independente da versão, ainda continua sendo uma má prática. Como já foi dito, é como se vocês dissessem que só estão avisando que vão começar logo e quem não viu que se vire.
Eu não estou reclamando por mim, nem do prazo, mas de ignorar que o ético seria a voluntariedade desde o dia 1, não um aviso de coleta como se todos tivessem a obrigação de estar presente por aqui para não entrar logo na primeira versão.
Uma outra forma de fazer isso era se vocês tivessem conversado antes com a administração da plataforma para indicar esse desejo e eles nos consultado na intenção de alteração os termos de uso para se adequar a esse uso da plataforma (a administração eu me abstenho de criticar em relação ao prazo, mesmo que fosse o mesmo)

0
Gabriela33

Deveria ser opt-In. Mas independente disso o que esta publico é publico e alguem vai usar esses dados melhor que seja codigo aberto do que alguem que vende esses dados raspados como inteligencia plus.

o tabnews esta indexado no google e so por isso gemini ja usa os dados de todos mundo que escreve aqui

nao tem como evitar. nao quer ajudar ia nao escreva oubescreva tudo errado.

o propio tab ja ta cheio de ia slop

-2
jlucfarias

Pode ser público, mas não é de uso irrestrito. Tem um Copyright no rodapé daqui, termos de uso e há possibilidade de processo, não tenho certeza se um projeto open-source tem essa possibilidade na legislação brasileira.
Se for comprovado que houve raspagem da Google, mesmo sendo indexado, cabe (não que vá ocorrer) ação por parte do tabnews.
Ninguém aqui escreve pra IA, escreve pra outros humanos, mesmo os que usam IA para escrever

2
misaelbr

O conteúdo aqui postado aqui é enquadrado como Fair Use. Pode ser utilizado sem permissão e sem comunicar o autor, para fins de pesquisa - que seria o caso do projeto desse tab.

-1
jlucfarias

Não consegui encontrar nada na lei brasileira (Lei 9610/98) que exprime a mesma ideia do Fair Use americano e não me parece, dentro dessa mesma lei, que ofereça algo nessa linha de que pode usar à vontade, mesmo para fins de pesquisa. Mesmo não tendo dados pessoais sensíveis, o uso de scraping também cairia na LGPD e existem algumas condições para fazer isso dentro da LGPD

2
FabRenan

a ideia tecnica é legal, mas esse prazo de 72h ai é bem apertado. nem todo mundo consegue acompanhar o tabnews todo dia e se o cara nao viu o post a tempo ja era?
pra um projeto que fala tanto em comunidade o ideal era ter um prazo maior ou ser opt-in mesmo pra evitar dor de cabeça. do jeito que ta parece que tao querendo passar o carro pra começar o treino logo e quem nao viu o aviso que se vire.

0
MrJ
  • Autor
    Autor

O pedro tirou essa duvida do pessoal: "isso das 72 horas é na primeira versão (v1)"

Só para começarmos os estudos, o google form vai ficar disponivel e toda atualização removeremos os que foram pedidos, se o projeto for para frente, crio um anuncio no tabnews chamando atenção para ficar sempre em destaque.

1
Kadu

Mesmo assim, vai entrar muita gente que talvez não queria, e se eles nunca ficarem sabendo disso, seus dados serão usados sem que eles sequer saiba. No mínimo, teria que usar bem mais notificações do que apenas esse post, pois nunca 100% dos usuários conseguirão ver.

1
pedrodev2026

eu, como um dos criadores do projeto, acho que é possível, porque se treinar com dados em PT-BR, e fazer um instruction-tuning também com dados em PT-BR, dá para treinar um modelo de menos de 100M que saiba PT-BR, claro que não vai ser o melhor dos modelos, mas funcionar vai funcionar

0
viewer

Cara, que idiotice... Não compensa nem debater um assunto desse!
1- Você nem escreveu o texto q postou;
2- Você nem deve saber como realmente funciona as coisas por baixo dos panos;
3- Pelo o q eu vi do site, você tbm não fez nada, apenas vibecodou.

-1
pedrodev2026

PRAZO ESTENDIDO! 🚀

O Prazo para preencher o formulário antes da consolidação da V1.0 foi estendido mais 48 horas, lembrando que o formulário sempre estará aberto para quando tiver a próxima versão, a gente remover do dataset

-1
pedrodev2026

Projeto Adiado!

O TabLM e o crom-tabnews-db foram adiados por tempo indeterminado, por consequência disso, o prazo para se inscrever no formulario de opt-out antes do lançamento da v1.0 será estendido também por tempo indeterminado.