Sitemap com 691 URLs e 0 páginas indexadas: o que mudei num site gerado por um agente de IA (3.744 → 863 páginas)
Sou desenvolvedor e, nas últimas semanas, montei sozinho um site de informação em coreano (concursos, auxílios do governo, calculadoras de salário e receitas) trabalhando com um agente de código com IA (Claude Code), que planeja, escreve o código, faz o deploy e depura comigo. O site é reconstruído a cada hora e o custo de servidor e API é zero.
Em dois dias o repositório tinha 3.744 arquivos HTML. Enviei um sitemap com 691 URLs para o Google Search Console e o número de páginas indexadas ficou em 0. Este post é sobre o que eu mudei e os números de cada etapa.
O problema
- Sobras de um projeto antigo: páginas traduzidas automaticamente para inglês, japonês e chinês, 810 por idioma, só tradução de máquina do original.
- Muitas páginas de detalhe "finas": cada edital ou palavra-chave virava uma página, mas com quase nenhum texto próprio.
O que mudei (números contados nos commits do repositório)
| Etapa | Antes | Depois |
|---|---|---|
| Apaguei as páginas multilíngues antigas e páginas de redirecionamento velhas | 3.744 arquivos | 1.311 |
Páginas de detalhe com menos de 200 caracteres de texto próprio viraram noindex e saíram do sitemap | sitemap 1.329 URLs | 615 |
Essas páginas noindex deixaram de ser geradas; uma única tela que carrega os dados mostra o mesmo conteúdo | 1.446 arquivos | 863 |
A regra das páginas finas
Depois do build, para cada página de detalhe eu removo cabeçalho, rodapé e menu compartilhados e conto os caracteres que sobram. Abaixo de 200, a página recebe noindex automaticamente. Exemplo simplificado da lógica:
def texto_unico(html, boilerplate):
texto = extrair_texto_principal(html) # sem cabeçalho/rodapé
linhas = [l for l in texto.splitlines() if l.strip() and l.strip() not in boilerplate]
return sum(len(l) for l in linhas)
if texto_unico(html, BOILERPLATE) < 200:
marcar_noindex(caminho)
sitemap.discard(url)
O limite de 200 não é oficial; escolhi olhando a distribuição das minhas próprias páginas.
lastmod honesto
Como o build roda a cada hora, usar a hora do build como lastmod faria todas as páginas parecerem "atualizadas" o tempo todo. Agora o lastmod só muda quando o hash do texto principal muda.
O que aprendi delegando para a IA
- Contar antes de apagar. Nunca aceitei "reduzi bastante as páginas" como resposta; pedi para contar arquivos por commit.
- Regra em código, não em pedido. Em vez de "apague as páginas fracas", pedi um critério que dá o mesmo resultado toda vez que roda.
- Redirecionar antes de apagar. URL apagada vira 404 para quem já linkou; os redirecionamentos entraram primeiro.
Se alguém aqui já passou por "sitemap enviado, 0 indexadas" num site gerado automaticamente, quero saber o que funcionou para vocês.
O relato original com os números por commit está no site (em coreano, a tradução do navegador funciona bem): https://sungprofile.cloud/dev/search-index-cleanup/?utm_source=tabnews&utm_medium=referral&utm_campaign=ai_2610