1

Meu app passou 8 semanas invisível no Google por causa de uma linha no robots.txt

Hoje várias pessoas me falaram a mesma coisa: procuraram o Dalius no Google e não acharam de jeito nenhum. Fui olhar, e o problema estava no meu próprio código desde 11 de setembro. Conto aqui porque é um erro fácil de repetir em qualquer app com área logada.

A linha

O Dalius é um app de foco e estudo, quase todo atrás de login. Para esconder a área logada da busca, o robots ficou assim (Next.js):

rules: {
  userAgent: "*",
  allow: ["/inicio", "/login", "/register", "/privacidade", "/termos", "/descobrir", "/u/"],
  disallow: ["/", "/api/", "/convite/"],
},
sitemap: `${SITE_URL}/sitemap.xml`,

Parece certo: libera o público e bloqueia o resto. O problema é o "resto". O Google fica com a regra mais longa que combina com o caminho, então o Disallow: / pegou tudo que eu não listei:

  • A raiz. dalius.com.br/ é só um redirect para /inicio, e o Google não podia abrir para ver esse redirect.
  • O /sitemap.xml. O mesmo arquivo dizia onde estava o sitemap e proibia de ler o sitemap.
  • O /enem, uma landing que estava no sitemap com prioridade 0,9.
  • O /_next/, ou seja, o CSS e o JS das páginas públicas, além do ícone e das imagens.

A landing em si estava liberada. Mas sem raiz, sem sitemap e sem o site cadastrado no Search Console, o Google não tinha por onde chegar nela. Na inspeção de URL apareceu: "O Google não reconhece o URL". Oito semanas no ar, e ele nunca tinha visto a página principal.

O sintoma fácil de checar é buscar site:seudominio.com.br. O meu mostrava só a raiz, com "Não há nenhuma informação disponível para esta página".

A correção

allow: [
  "/$", // só a raiz exata
  "/inicio",
  "/enem",
  "/sitemap.xml",
  "/_next/",
  // ...o resto das páginas públicas e os arquivos que elas carregam
],

O $ fecha o padrão: /$ libera só a raiz, e /hoje continua bloqueado. Para não voltar a acontecer, coloquei um teste que aplica a regra do Google nas URLs que importam (versão simplificada):

// O padrão mais longo ganha, e o Allow ganha no empate.
const crawlable = (path: string) => {
  const matches = (p: string) => (p.endsWith("$") ? path === p.slice(0, -1) : path.startsWith(p));
  const longest = (list: string[]) => Math.max(-1, ...list.filter(matches).map((p) => p.length));
  return longest(rules.allow) >= longest(rules.disallow);
};

for (const path of ["/", "/inicio", "/enem", "/sitemap.xml", "/_next/static/x.css"])
  expect(crawlable(path), path).toBe(true);
for (const path of ["/hoje", "/configuracoes", "/api/chat"])
  expect(crawlable(path), path).toBe(false);

No caminho achei mais um: o HTML não tinha nenhum rel="icon" e o /favicon.ico dava 404, então o resultado na busca saía com um globo cinza.

Ainda não sei o resultado final. Corrigi hoje, pedi a indexação e estou esperando o Google reler. Conto nos comentários quando aparecer.

O problema que código não resolve

Buscando "dalius app", o Google responde "Exibindo resultados para dailus app". A Dailus é uma marca de maquiagem com mais de 3 milhões de seguidores, e o Dalius ninguém conhece ainda. Além disso, Dalius é nome de muita gente lá fora.

Coloquei dados estruturados na landing (Organization e WebSite, com alternateName e sameAs) para dizer que é uma marca, mas isso é só um sinal. Por enquanto, divulgo sempre o endereço e nunca digo "procura no Google".

O bug que mais me ensinou

Em 23/09, 2 horas de estudo apareceram como 8. O POST de cada trecho de foco chegava duas ou três vezes: a rede caía depois de o servidor gravar, o navegador repetia, o app reabria e reenviava a fila. Cada chegada virava um bloco novo.

Agora o cliente gera um clientId antes de enviar, um por trecho, e o banco barra o repetido com @@unique([userId, clientId]). O startedAt não servia de chave: hora lançada à mão nasce como meio-dia menos a duração, então dois lançamentos no mesmo dia podem ter o mesmo começo sem ser a mesma coisa.

Os números

Comecei em 09/09. Dois meses depois são 196 contas, 2.165 horas de foco registradas, 22 pessoas que focaram nos últimos 7 dias e 1 assinatura paga ativa.

Contas novas nos últimos 60 dias:

CanalContasFocaram
Link de convite5837
Amigo, sem link4821
Discord3023
Instagram237
YouTube + TikTok50

Convite e amigo trazem 60% das contas. No Discord, a maior parte de quem entra foca, mas dá muito trabalho. O Instagram traz gente, só que pouca fica.

Stack

Next.js 16 na Vercel, Postgres no Supabase com Prisma (106 models, 110 migrations), Supabase Realtime no chat, app em Expo com a regra de negócio num pacote compartilhado do monorepo, Stripe e Mercado Pago, Vitest e Playwright. Sou só eu programando, com muita ajuda do Claude Code.

O Dalius

Cronômetro com horas líquidas, hábitos, ofensiva e um bichinho que cresce com o seu foco, para usar com os amigos. Começa grátis: https://dalius.com.br

Se você tem app com área logada, vale abrir o seu robots.txt agora. E se você já passou por colisão de nome com uma marca maior no Google, como resolveu?

Carregando publicação patrocinada...
1

Cuidado com o /convite/ no disallow. O robots bloqueia o rastreamento, não a indexação. Link de convite circula fora do site e, se algum cair numa página pública, o Google pode indexar a URL sem nem abrir. Aí ela aparece sem descrição, igual à sua raiz no site:. E, com o caminho bloqueado, o Google nem lê o noindex. Pra deixar os convites fora da busca, passa o /convite/ pro allow (só tirar do disallow não basta, o Disallow: / continua valendo) e manda noindex via metadata.robots ou X-Robots-Tag.

No teste, a lista fixa deixa passar o mesmo erro do /enem: página no sitemap e esquecida no allow. Se o sitemap vem de app/sitemap.ts, dá pra percorrer ele:

for (const { url } of await sitemap())
  expect(crawlable(new URL(url).pathname), url).toBe(true);

Testa também /?utm_source=x: pelo exemplo da doc (/*.php$ não casa com /filename.php?parameters), o /$ não pegaria a raiz com query. Um /? no allow deve resolver.