Programador desenvolve mecanismo de busca com IA que roda em dois servidores caseiros

Ryan Pearce desenvolveu um buscador próprio com IA utilizando apenas dois computadores instalados em sua lavanderia.

O projeto resultou nos mecanismos Searcha Page e sua versão anônima, Seek Ninja, que já contam com um banco de dados de mais de 2 bilhões de entradas. O número representa menos de 0,5% do índice do Google, que possui cerca de 400 bilhões de registros, mas Pearce pretende dobrar a base nos próximos seis meses. O sistema foi montado em um processador AMD EPYC 7532 de 32 núcleos, lançado em 2020 como um dos chips mais potentes para estações de trabalho.

Diferente de assistentes que resumem resultados ou respondem diretamente ao usuário, a IA criada por Pearce aplica algoritmos de aprendizado de máquina para expandir palavras-chave e interpretar melhor o contexto das buscas, entregando resultados relevantes com consumo de recursos muito inferior ao do Google.

Até o momento, Pearce escreveu aproximadamente 150 mil linhas de código, embora estime ter iterado mais de 500 mil ao longo do desenvolvimento. Grande parte dessas alterações buscou reduzir a dependência de modelos de linguagem, com a criação de módulos que funcionam de forma independente da IA.