0

Sitemap com 691 URLs e 0 páginas indexadas: o que mudei num site gerado por um agente de IA (3.744 → 863 páginas)

Sou desenvolvedor e, nas últimas semanas, montei sozinho um site de informação em coreano (concursos, auxílios do governo, calculadoras de salário e receitas) trabalhando com um agente de código com IA (Claude Code), que planeja, escreve o código, faz o deploy e depura comigo. O site é reconstruído a cada hora e o custo de servidor e API é zero.

Em dois dias o repositório tinha 3.744 arquivos HTML. Enviei um sitemap com 691 URLs para o Google Search Console e o número de páginas indexadas ficou em 0. Este post é sobre o que eu mudei e os números de cada etapa.

O problema

  • Sobras de um projeto antigo: páginas traduzidas automaticamente para inglês, japonês e chinês, 810 por idioma, só tradução de máquina do original.
  • Muitas páginas de detalhe "finas": cada edital ou palavra-chave virava uma página, mas com quase nenhum texto próprio.

O que mudei (números contados nos commits do repositório)

EtapaAntesDepois
Apaguei as páginas multilíngues antigas e páginas de redirecionamento velhas3.744 arquivos1.311
Páginas de detalhe com menos de 200 caracteres de texto próprio viraram noindex e saíram do sitemapsitemap 1.329 URLs615
Essas páginas noindex deixaram de ser geradas; uma única tela que carrega os dados mostra o mesmo conteúdo1.446 arquivos863

A regra das páginas finas

Depois do build, para cada página de detalhe eu removo cabeçalho, rodapé e menu compartilhados e conto os caracteres que sobram. Abaixo de 200, a página recebe noindex automaticamente. Exemplo simplificado da lógica:

def texto_unico(html, boilerplate):
    texto = extrair_texto_principal(html)  # sem cabeçalho/rodapé
    linhas = [l for l in texto.splitlines() if l.strip() and l.strip() not in boilerplate]
    return sum(len(l) for l in linhas)

if texto_unico(html, BOILERPLATE) < 200:
    marcar_noindex(caminho)
    sitemap.discard(url)

O limite de 200 não é oficial; escolhi olhando a distribuição das minhas próprias páginas.

lastmod honesto

Como o build roda a cada hora, usar a hora do build como lastmod faria todas as páginas parecerem "atualizadas" o tempo todo. Agora o lastmod só muda quando o hash do texto principal muda.

O que aprendi delegando para a IA

  • Contar antes de apagar. Nunca aceitei "reduzi bastante as páginas" como resposta; pedi para contar arquivos por commit.
  • Regra em código, não em pedido. Em vez de "apague as páginas fracas", pedi um critério que dá o mesmo resultado toda vez que roda.
  • Redirecionar antes de apagar. URL apagada vira 404 para quem já linkou; os redirecionamentos entraram primeiro.

Se alguém aqui já passou por "sitemap enviado, 0 indexadas" num site gerado automaticamente, quero saber o que funcionou para vocês.

O relato original com os números por commit está no site (em coreano, a tradução do navegador funciona bem): https://sungprofile.cloud/dev/search-index-cleanup/?utm_source=tabnews&utm_medium=referral&utm_campaign=ai_2610

Carregando publicação patrocinada...