Meu app passou 8 semanas invisível no Google por causa de uma linha no robots.txt
Hoje várias pessoas me falaram a mesma coisa: procuraram o Dalius no Google e não acharam de jeito nenhum. Fui olhar, e o problema estava no meu próprio código desde 11 de setembro. Conto aqui porque é um erro fácil de repetir em qualquer app com área logada.
A linha
O Dalius é um app de foco e estudo, quase todo atrás de login. Para esconder a área logada da busca, o robots ficou assim (Next.js):
rules: {
userAgent: "*",
allow: ["/inicio", "/login", "/register", "/privacidade", "/termos", "/descobrir", "/u/"],
disallow: ["/", "/api/", "/convite/"],
},
sitemap: `${SITE_URL}/sitemap.xml`,
Parece certo: libera o público e bloqueia o resto. O problema é o "resto". O Google fica com a regra mais longa que combina com o caminho, então o Disallow: / pegou tudo que eu não listei:
- A raiz.
dalius.com.br/é só um redirect para/inicio, e o Google não podia abrir para ver esse redirect. - O
/sitemap.xml. O mesmo arquivo dizia onde estava o sitemap e proibia de ler o sitemap. - O
/enem, uma landing que estava no sitemap com prioridade 0,9. - O
/_next/, ou seja, o CSS e o JS das páginas públicas, além do ícone e das imagens.
A landing em si estava liberada. Mas sem raiz, sem sitemap e sem o site cadastrado no Search Console, o Google não tinha por onde chegar nela. Na inspeção de URL apareceu: "O Google não reconhece o URL". Oito semanas no ar, e ele nunca tinha visto a página principal.
O sintoma fácil de checar é buscar site:seudominio.com.br. O meu mostrava só a raiz, com "Não há nenhuma informação disponível para esta página".
A correção
allow: [
"/$", // só a raiz exata
"/inicio",
"/enem",
"/sitemap.xml",
"/_next/",
// ...o resto das páginas públicas e os arquivos que elas carregam
],
O $ fecha o padrão: /$ libera só a raiz, e /hoje continua bloqueado. Para não voltar a acontecer, coloquei um teste que aplica a regra do Google nas URLs que importam (versão simplificada):
// O padrão mais longo ganha, e o Allow ganha no empate.
const crawlable = (path: string) => {
const matches = (p: string) => (p.endsWith("$") ? path === p.slice(0, -1) : path.startsWith(p));
const longest = (list: string[]) => Math.max(-1, ...list.filter(matches).map((p) => p.length));
return longest(rules.allow) >= longest(rules.disallow);
};
for (const path of ["/", "/inicio", "/enem", "/sitemap.xml", "/_next/static/x.css"])
expect(crawlable(path), path).toBe(true);
for (const path of ["/hoje", "/configuracoes", "/api/chat"])
expect(crawlable(path), path).toBe(false);
No caminho achei mais um: o HTML não tinha nenhum rel="icon" e o /favicon.ico dava 404, então o resultado na busca saía com um globo cinza.
Ainda não sei o resultado final. Corrigi hoje, pedi a indexação e estou esperando o Google reler. Conto nos comentários quando aparecer.
O problema que código não resolve
Buscando "dalius app", o Google responde "Exibindo resultados para dailus app". A Dailus é uma marca de maquiagem com mais de 3 milhões de seguidores, e o Dalius ninguém conhece ainda. Além disso, Dalius é nome de muita gente lá fora.
Coloquei dados estruturados na landing (Organization e WebSite, com alternateName e sameAs) para dizer que é uma marca, mas isso é só um sinal. Por enquanto, divulgo sempre o endereço e nunca digo "procura no Google".
O bug que mais me ensinou
Em 23/09, 2 horas de estudo apareceram como 8. O POST de cada trecho de foco chegava duas ou três vezes: a rede caía depois de o servidor gravar, o navegador repetia, o app reabria e reenviava a fila. Cada chegada virava um bloco novo.
Agora o cliente gera um clientId antes de enviar, um por trecho, e o banco barra o repetido com @@unique([userId, clientId]). O startedAt não servia de chave: hora lançada à mão nasce como meio-dia menos a duração, então dois lançamentos no mesmo dia podem ter o mesmo começo sem ser a mesma coisa.
Os números
Comecei em 09/09. Dois meses depois são 196 contas, 2.165 horas de foco registradas, 22 pessoas que focaram nos últimos 7 dias e 1 assinatura paga ativa.
Contas novas nos últimos 60 dias:
| Canal | Contas | Focaram |
|---|---|---|
| Link de convite | 58 | 37 |
| Amigo, sem link | 48 | 21 |
| Discord | 30 | 23 |
| 23 | 7 | |
| YouTube + TikTok | 5 | 0 |
Convite e amigo trazem 60% das contas. No Discord, a maior parte de quem entra foca, mas dá muito trabalho. O Instagram traz gente, só que pouca fica.
Stack
Next.js 16 na Vercel, Postgres no Supabase com Prisma (106 models, 110 migrations), Supabase Realtime no chat, app em Expo com a regra de negócio num pacote compartilhado do monorepo, Stripe e Mercado Pago, Vitest e Playwright. Sou só eu programando, com muita ajuda do Claude Code.
O Dalius
Cronômetro com horas líquidas, hábitos, ofensiva e um bichinho que cresce com o seu foco, para usar com os amigos. Começa grátis: https://dalius.com.br
Se você tem app com área logada, vale abrir o seu robots.txt agora. E se você já passou por colisão de nome com uma marca maior no Google, como resolveu?
Fonte: https://dalius.com.br