Pitch: Passei 1 ano construindo meu próprio “Google” e finalmente coloquei no ar

Eu sempre tive curiosidade sobre como os motores de busca realmente funcionam por trás. Aquela coisa de digitar algo e, em segundos, ter milhares de resultados organizados nunca deixou de me chamar atenção.

Há cerca de um ano, comecei um projeto pessoal sem muita pretensão, mais por aprendizado mesmo. A ideia era simples: criar uma ferramenta de análise de SEO sem depender dessas plataformas que cobram caro por algo que, no fundo, eu queria entender como construir.

Foi aí que nasceu o Pimgle.

No começo, era só um crawler bem básico. Eu deixava rodando nos momentos, na minha própria máquina, coletando dados, errando bastante, ajustando, quebrando e reconstruindo. Nessa época, eu ainda não estava usando IA como uso hoje, então foi muito na base de tentativa e erro mesmo.

Lembro de um momento específico que ficou marcado. Eu estava voltando de uma viagem, dentro do avião, sem muita distração. Resolvi abrir o notebook e comecei a montar a home e as páginas de resultado. Foi ali que o projeto começou a tomar uma forma mais real.

Depois de alguns meses com o crawler rodando, o banco já tinha milhões de registros. Parecia muito, e de certa forma era mesmo, mas quando você compara com o tamanho da internet, percebe que é só um grão de areia. Ainda assim, já dava para sentir que estava crescendo além do que eu tinha imaginado no início.

Foi nesse ponto que percebi que precisava de algo mais robusto para busca. Acabei escolhendo o Meilisearch pela simplicidade e velocidade de implementação, e isso destravou bastante coisa.

Recentemente, coloquei o projeto no ar.

Além do buscador, o Pimgle tem um recurso chamado Webtrack, que faz uma análise básica de um site. Ele mostra dados como quantidade de links internos e externos, além dos domínios externos que o próprio Pimgle encontrou apontando para aquele domínio, entre outras informações úteis.

Está longe de ser um Google, e nem é essa a ideia. Tem várias limitações, principalmente de infraestrutura e processamento, mas ver algo que saiu praticamente do zero, rodando, indexando mais de 1 milhão de páginas e com mais de 10 milhões de links associados no banco, é uma sensação difícil de explicar.

Você vai perceber que nem todos os sites aparecem nas buscas ainda. Isso é esperado. É um projeto pessoal, com praticamente zero investimento e recursos bem limitados. O crawler está evoluindo aos poucos, aprendendo e expandindo o alcance. Então é questão de tempo até o pimglebot chegar em cada canto que ainda não foi explorado.

Ainda tem muito para evoluir, mas já é algo real e publicado e isso para mim é o mais satisfatório.

Se alguém quiser dar uma olhada:
Pimgle: https://pimgle.com/
Exemplo do webtrack: https://pimgle.com/webtrack/oliveiraweb.com.br