Executando verificação de segurança...
Respondendo a "Se criamos um ser que entende e imita nossa ide..." dentro da publicação [Não disponível]
1
clacerda

Se considerarmos que a linguagem é o que define um ser humano, é claro que Large Language Models(LLM) vão se destacar no "Jogo da Imitação"

O pulo do gato é que a linguagem não é o define um ser humano, mas a linguagem é o que define a própria realidade!!!

Sua empolgação é inversamente proporcional ao seu conhecimento sobre IA.(Fábio Akita)

A tecnologia é trivial, mas o AlexNet provou que a escala é a chave!!
+mais poder computacional + dados de treinamento = melhores predições.

Cada dia que passa mais dados são produzidos, cada dia que passa mais chips são produzidos, porque achar que a evolução vai parar?! Não existe nenhuma, absolutamente zero evidencias para achar que vamos encontrar algum limite superior na capacidade de imitação das máquinas!

Carregando publicação patrocinada...
1
DaniellourencoJr

As LLM modernas encontram padrões baseados em massivas quantidades de dados.
Uma forma de se enxergar isso seria: A IA é um zip, uma compressão de toda a internet em um arquivo de mízeros gigabytes.
A IA só irá melhorar com o aumento da qualidade dos dados (novas descobertas na ciência serão incorporadas pelas próximas versões) ou com uma mudança conceitual.

Um exemplo aleatório de mudança conceitual:
Redes neurais (como as LLMs) são múltiplos neurônios que multiplicam o input por pesos definidos no treinamento. Talvez uma rede que não mudasse seus pesos no treino, mas as conexões (qual neurônio se conecta com qual) conseguisse ultrapassar o limite atual na evolução das IAs

Esse foi só um exemplo besta. O que quero dizer é: a maneira atual de se fazer IAs já foi explorada ao limite, só estamos adicionando mais poder computacional e descobrindo formas melhores de se usar (como RAGs e agentes)

1
clacerda
  • Autor
    Autor

O que eu quero dizer é que todos os dias terabytes de dados novos são usados para treinar as ias de ontem nos chips de hoje!!! Mesmo que não exista nenhuma evolução fundamental no paradigma a linha vai continuar a subir mesmo que a velocidade diminua...o que duvido muito cobsiderando que já estamos esbarrando no limite de energia, esse já é o gargalo hoje, não é mais dado ou mais chips...

1
DaniellourencoJr

As variáveis que temos em mãos atualmente para aprimorar as IAs são:

  • Dados
  • Arquitetura (Paradigma)
  • Qualidade dos prompts (RAGs e Agentes inclusos)

Chips e energia são barreiras para uso massivo, não para a qualidade das respostas. Ou seja, usar chips melhores (consumindo mais energia, na maioria das vezes) não deixa a IA melhor por si só.
Quando temos acesso a chips melhores, podemos treinar uma nova IA que use mais parâmetros, mudando a arquitetura, mesmo que só um pouco.

Sobre os dados de treinamento

Uma característica interessante sobre isso é que o aumento na qualidade das respostas após o treinamento sobre um tipo específico de dados não cresce de forma linear. Se eu dou 100 tutoriais de git para a IA, ela melhora bastante. A mesma coisa para os próximos 1000. Mas se eu der 50 mil tutoriais de git, duvido que ela fique sequer duas vezes melhor.

O máximo que podemos fazer é: dar dados diversos.
A IA vai melhorar em todos os assuntos até atingir um conhecimento mais ou menos uniforme em cada assunto até bater um limite. Um limite onde por mais que eu dê mais exemplos levemente diferentes, isso não leva a um salto, e talvez nem mesmo a uma melhora medível.
E eu acredito que esse limite é o próprio limite do conhecimento humano.
O que me leva para o próximo ponto.

A IA imita, não inova

Nenhum dado, nenhum chip, nenhuma energia fará a IA fazer algo novo, que nenhum ser humano tenha feito. E enquanto ela não for capaz de inovar, não posso considerar ela uma evolução do ser humano.

Arquitetura

Tudo que eu disse só vale para a arquitetura atual de redes neurais. Se for possível reproduzir o real processo de raciocínio de um sistema nervoso (não necessariamente o do ser humano) então ela será, teoricamente, capaz de evoluir até nosso nível e além.

Energia

Acredito que na hora em que não for mais viável aumentar o número de parâmetros a eficiência das LLMs aumentará e menos energia será necessária. E parâmetros não podem ser aumentados ao infinito, dependendo somente da nossa tecnologia. Assim como aumentar o tempo do treinamento causa over fitting, aumentar o número de parâmetros pode causar efeitos colaterais indesejados.

Conclusão

No fim, só consigo imaginar a IA igualando ao ser humano em aparência. Quando ela bater o 100% de capacidade de imitar um ser humano (se é que ela já não alcançou) teremos sim uma pausa na evolução da tecnologia e uma melhora no nosso uso para ela.