Executando verificação de segurança...
16
Gustavo33
2 min de leitura ·

Arquivo contendo todos os conteúdos do tabnews (E algumas curiosidades)

[Edit]

Eu também fiz um arquivo contendo todos os usuários do TabNews, para saber mais sobre ele clique aqui

Estou disponibilizando um arquivo json que contém todos os conteúdos do TabNews, isso inclui também todas as respostas.

O código que usei para gerar esse arquivo é open source, e você pode encontrar ele aqui

o JSON está localizado em https://raw.githubusercontent.com/33gustavo33/tabnews-fetch-all-contents/main/data.json

É um arquivo de 7,9 megabytes, então pode demorar um pouco para carregar tudo.

Algumas curiosidades do TabNews que eu descobri:

Fonte: https://github.com/33gustavo33/tabnews-fetch-all-contents

4
filipedeschamps

Toda vez que isso acontece (de usarem a API do TabNews para construir algo), eu e o Guga ficamos extremamente felizes, pois é de fato um sonho se realizando: pessoas usando a API e os conteúdos aqui para construir algo, treinar programação, fazer qualquer coisa que descubra algo novo, como no seu caso Gustavo33, que fez o levantamento destas curiosidades. Muito muito bom!

E muito legal que usou o cabeçalho Link para pegar a última página e também a lib tabnews.js 🤝 Uma curiosidade é que o cabeçalho Link traz as URLs absolutas das páginas, por exemplo a URL da próxima página, então não precisaria nem pegar qual a última página nem calcular o índice da próxima página, bastando apenas pegar a URL que é devolvida pelo campo next, e se ele não existir, significa que chegou ao final. Mais informações sobre essa mecânica nessa publicação: Nova melhoria: Paginação na API e no Site

Em paralelo, algo que nossa API está sofrendo muito é justamente na paginação, sendo que nos últimos itens a API está tomando um timeout dentro da lambda (pois passa de 60 segundos de execução).

2
Gustavo33
Autor
Autor

Toda vez que isso acontece (de usarem a API do TabNews para construir algo), eu e o Guga ficamos extremamente felizes, pois é de fato um sonho se realizando: pessoas usando a API e os conteúdos aqui para construir algo, treinar programação, fazer qualquer coisa que descubra algo novo, como no seu caso Gustavo33, que fez o levantamento destas curiosidades. Muito muito bom!

O principal objetivo desse post não foi exatamente para levantar essas curiosidades, mas sim para disponibilizar o arquivo que contém todos os conteúdos, pois com este arquivo qualquer pessoa pode levantar suas próprias curiosidades, curiosidades como: Qual é a resposta com mais tabcoins, etc.

E muito legal que usou o cabeçalho Link para pegar a última página e também a lib tabnews.js🤝

Uma das partes mais legais de usar o tabnews.js nesse projeto, foi perceber coisas que faltavam nele, assim eu posso adicionar ao tabnews.js o que eu percebi que faltou.

Em paralelo, algo que nossa API está sofrendo muito é justamente na paginação, sendo que nos últimos itens a API está tomando um timeout dentro da lambda (pois passa de 60 segundos de execução).

É, quando você está navegando depois da página 30 é bem comum aparecer isso:
Erro 504 Gateway timeout

Alías, uma pergunta que gostaria de fazer: porque a rota /api/v1/users não pode ser acessada por usuários 'normais'?

2
rafael

O principal objetivo desse post não foi exatamente para levantar essas curiosidades, mas sim para disponibilizar o arquivo que contém todos os conteúdos, pois com este arquivo qualquer pessoa pode levantar suas próprias curiosidades, curiosidades como: Qual é a resposta com mais tabcoins, etc.

Agora fiquei curioso, será que já tem dados o suficiente para alguém conseguir rodar uma "IA" para analisar o tipo de conteúdo que tem maior potencial de gerar comentários ou Tabcoins?

Como humano é possível assumir algumas coisas, mas com certeza será legal ver esse tipo de experimento no futuro e como seria uma "publicação perfeita" criada pela IA, talvez com um título engraçado como "Meta anuncia com um vídeo no Metaverso gerado por uma IA desenvolvida em Rust que demitirá todos os funcionários que não seguem Elon Musk no Twitter" 😂

1
Gustavo33
Autor
Autor

Agora fiquei curioso, será que já tem dados o suficiente para alguém conseguir rodar uma "IA" para analisar o tipo de conteúdo que tem maior potencial de gerar comentários ou Tabcoins?

É uma boa pergunta, atualmente o TabNews tem 1687 conteúdos (sem contar as respostas), não sei nada sobre IA mas acho que isso não seria o suficiente pra 'treinar' ela.

1
filipedeschamps

Alías, uma pergunta que gostaria de fazer: porque a rota /api/v1/users não pode ser acessada por usuários 'normais'?

Ela infelizmente está sem paginação e o retorno é impraticável sem isso (também vai dar timeout), mas espero que no futuro a gente consiga dispobilizar ela de forma pública novamente 🤝

1
Gustavo33
Autor
Autor

Entendi, queria fazer um ranking dos usuários que tem mais tabcoins, eu ainda vou fazer isso, mas vai ser por uma "gambiarra".

Ela infelizmente está sem paginação e o retorno é impraticável sem isso (também vai dar timeout), mas espero que no futuro a gente consiga dispobilizar ela de forma pública novamente

Então se ela tivesse paginação isso resolveria o problema, certo? se sim talvez eu faça um PR para essa rota ter paginação 🤝

1
1
1
Gustavo33
Autor
Autor

Maravilha, o tempo que demorou pra rodar esse script foi 1 hora e 2 minutos, acho que vou fazer umas otimizações no codigo e rodar novamente, só para ver quanto tempo vai levar (acho que vai ser menor).

1