[CARREIRA] Inteligencia Artificial (IA) - Entendendo como funciona esta jabiraca
Introducao
Sabe aquela curiosidade destrutiva de crianca? De pegar o radio do pai, soltar todos os parafusos so pra ver onde moram as vozes, e depois sobrar tres pecas na hora de fechar? Pois eh. Hoje, o brinquedo mudou. Todo mundo fala de IA, ChatGPT, LLMs, mas para a maioria isso eh magica.
Spoiler: nao eh magica. Eh engenharia (e muita estatistica). Entao, pega sua chave de fenda mental e vamos ver o que tem dentro dessa caixa preta.
1. Tudo eh matematica
Vamos tirar o elefante da sala: a IA nao pensa. Ela calcula.
Quando voce ve o ChatGPT escrevendo um poema ou resolvendo um bug de codigo, parece que tem uma "mente" ali. Mas, la no fundo, no nivel mais baixo do hardware, eh tudo soma e multiplicacao de matrizes (tabelas gigantes de numeros).
-
A Grande Ilusao: A gente projeta humanidade na maquina porque ela fala a nossa lingua. Mas pro computador, um soneto de Shakespeare e uma lista de compras sao a mesma coisa: uma sequencia de dados para processar.
-
Probabilidade, nao criatividade: Ela esta calculando qual eh a sequencia de palavras estatisticamente mais provavel de agradar voce com base no que ela ja "leu" antes.
2. Tokens, tokens, tokens
Como a gente enfia texto numa calculadora? Transformando letras em numeros.
Mas a IA nao le letra por letra (seria lento demais) nem palavra por palavra. Ela usa Tokens.
-
O que eh um Token? Imagine que voce pegou o dicionario e passou numa picadora. Algumas palavras comuns viram um token so (tipo "casa", "amor"). Palavras complexas ou em outros idiomas sao quebradas em silabas ou pedacos.
-
O fluxo: Voce digita "Bom dia". A maquina ve
[4521, 982]. Tudo o que acontece depois disso eh matematica pura em cima desses numeros, nao do texto.
Como dito, o computador pica o texto. Mas aqui esta o pulo do gato: cada modelo tem seu proprio picador.
-
O mesmo texto, picadinhos diferentes:
- Se voce der a palavra "Jabiraca" para o Modelo A, ele pode quebrar em:
Ja(ID 101),bir(ID 550),aca(ID 99). - O Modelo B pode olhar para a mesma palavra e quebrar em:
Jab(ID 40),ira(ID 8821),ca(ID 7).
- Se voce der a palavra "Jabiraca" para o Modelo A, ele pode quebrar em:
-
Por que isso importa?
- Custo e Memoria: Um tokenizer mais esperto (geralmente os mais novos) consegue representar a mesma frase com menos tokens. Isso significa que voce paga menos e cabe mais texto na "memoria" da IA.
- Linguas estranhas: Modelos treinados muito em ingles costumam ser pessimos em tokenizar portugues. A palavra "Coracao" vira um token so em modelos bons, mas em modelos ruins vira uma salada de 4 tokens (
Cor,a,c,ao), gastando mais processamento a toa.
-
Quer experimentar? Tente este tokenizer online:
3. Embeddings (O GPS das palavras)
Ok, transformamos palavras em numeros. Mas o numero 50 nao tem nada a ver com o 51 semanticamente. Como a maquina sabe que "Cachorro" tem a ver com "Osso" e nao com "Abacaxi"?
Entram os Embeddings.
-
O Mapa Multidimensional: Imagine um mapa gigante, tipo um universo 3D. Cada token eh uma estrela nesse mapa. O treinamento da IA serve basicamente para arrumar a posicao dessas estrelas.
-
Vizinhanca Semantica: A IA aprende a colocar a palavra "Cachorro" pertinho da palavra "Latido" e da palavra "Osso" nesse mapa. Ja a palavra "Gato" fica perto de "Miau", mas ambas (Gato e Cachorro) ficam numa regiao chamada "Animais Domesticos".
Se os tokens sao diferentes, os Embeddings sao completamente incompativeis.
-
Cada modelo eh um Arquiteto Louco: Lembra que falei que o Embedding eh um mapa (vetor) onde "Cachorro" fica perto de "Osso"? Pois eh.
- No Modelo A, o mapa tem 1536 dimensoes (imagine uma planilha com 1536 colunas). A palavra "Cachorro" mora na coordenada
[0.1, -0.5, 0.9, ...]. - No Modelo B, o mapa pode ter 4096 dimensoes. E, pior, mesmo se tivesse o mesmo tamanho, a organizacao interna eh totalmente outra. La, a palavra "Cachorro" mora na coordenada
[0.8, 0.3, -0.12, ...].
- No Modelo A, o mapa tem 1536 dimensoes (imagine uma planilha com 1536 colunas). A palavra "Cachorro" mora na coordenada
-
O Conceito eh o mesmo, o endereco nao:
- Eh por isso que, se voce criou um banco de dados de embeddings (o tal do Vector Database para usar com RAG) usando a tecnologia da OpenAI, voce nao pode trocar para a tecnologia do Google ou da Meta no meio do caminho. Voce teria que "re-mapar" (reindexar) tudo do zero.
-
Quer experimentar? Teste este 'semantic calculator' online:
4. Um pouco de matematica: Pesos e a Emergencia da Inteligencia
Aqui eh onde o filho chora e a mae nao ve. Temos os numeros (tokens) e temos o mapa (embeddings). Agora precisamos do motor: a Rede Neural (Transformer).
-
O Painel de Controle: Imagine uma mesa de som de DJ, daquelas gigantes. So que em vez de 50 botoes, ela tem bilhoes (GPT-3). Esses botoes sao os Pesos (Weights).
-
O Treinamento: "Treinar" uma IA significa passar meses ajustando esses botoes ate que, quando voce coloca a entrada "A capital da Franca eh...", a configuracao dos botoes faca acender a luzinha da saida "Paris".
-
Attention Mechanism (O segredo do molho): O grande pulo do gato dos LLMs modernos eh um mecanismo chamado "Atencao". A maquina consegue olhar para uma frase inteira e saber qual palavra se conecta com qual, mesmo que estejam longe.
-
Autocompletar anabolizado: No fim das contas, o que essa estrutura monstruosa faz eh prever apenas o proximo token. A "inteligencia" emerge dessa capacidade absurda de prever bem o que vem a seguir.
4.1 Bonus Track: O que sao Tensores (ML para leigos)
Se voce ouvir engenheiros de IA conversando, vai ouvir a palavra "Tensor" a cada trinta segundos. Vamos desmistificar isso sem precisar de aspirina.
O que raios eh um Tensor?
Lembra que falamos que tudo vira numero? Pois eh. Mas organizar esses numeros eh vital.
- Escalar: Eh um numero sozinho. Tipo:
5. - Vetor: Eh uma fila de numeros. Tipo:
[1, 5, 9]. - Matriz: Eh uma tabela, tipo Excel. Linhas e colunas.
- Tensor: Eh aqui que o cerebro explode. Imagine uma matriz 3D. Ou seja, varias planilhas de Excel empilhadas umas sobre as outras formando um cubo de numeros.
- Por que precisamos disso? Pense numa foto. Ela tem Altura e Largura (2D). Mas ela tambem tem cores (RGB). Entao, para o computador, uma foto eh um Tensor 3D (Altura x Largura x 3 canais de cor).
- As placas de video (GPUs) sao famosas hoje em dia justamente porque elas sao maquinas otimizadas para mastigar Tensores no cafe da manha.
Machine Learning
Como a tal Rede Neural ajusta os bilhoes de pesos (aqueles botoezinhos da mesa de som) que falamos antes? Ninguem vai la e ajusta na mao. Ela usa um processo ciclico chamado Machine Learning (Aprendizado de Maquina).
Funciona em 4 passos, repetidos trilhoes de vezes:
-
O Chute (Forward Pass): A IA pega os dados de entrada (ex: a foto de um gato) e chuta uma resposta com base nos pesos atuais (que no comeco sao aleatorios). Ela diz: "Isso eh... uma torradeira!".
-
O Erro (Loss Function): Um algoritmo matematico olha para o chute e compara com a verdade (o gabarito). Ele calcula o tamanho do erro. "Voce errou feio. A resposta era Gato, e voce disse Torradeira. Sua nota de erro eh 98/100".
-
A Culpa (Backpropagation): Aqui acontece a magica. O sistema faz o caminho de volta. Ele volta do final para o comeco da rede neural perguntando: "Qual neuronio (peso) contribuiu mais para esse erro ?". Ele descobre quais botoes estavam virados para o lado errado.
-
O Ajuste (Gradient Descent): Agora que sabemos quem sao os culpados, o algoritmo chamado Gradient Descent gira levemente esses botoes na direcao oposta ao erro.
Depois de repetir esse ciclo (Chute -> Erro -> Culpa -> Ajuste) com milhoes de fotos de gatos, os pesos ficam tao bem ajustados que a rede nunca mais confunde um gato com uma torradeira. Isso eh o "Aprender" da maquina.
5. Emocoes e Padroes
"Mas eu contei um problema meu e a IA foi super empatica!"
Sinto lhe informar: ela nao sentiu nada. Zero. Niente.
-
Simulacao Estatistica: A IA leu a internet inteira (ou quase). Ela leu milhoes de livros, roteiros de cinema, conversas de foruns e sessoes de terapia transcritas.
-
Padrao de Resposta: Ela sabe que quando um humano usa palavras de tristeza ("perdi", "triste", "sozinho"), a resposta que estatisticamente vem a seguir contem palavras de consolo ("sinto muito", "vai passar", "estou aqui").
-
O Ator: Pense nela como um ator talentoso. Ele sabe que cara fazer e o que falar para voce se sentir acolhido. Nao eh empatia, eh reconhecimento de padrao.
5.1 As Regras do Jogo: System Prompt e Janela de Contexto
System Prompt
Antes de voce digitar a primeira letra em um chat, o programador ja mandou uma instrucao oculta para a IA. Isso eh o System Prompt.
- A Definicao de Personagem: Eh aqui que a gente diz: "Aja como um especialista em Marketing Digital" ou "Voce eh um assistente juridico".
- O Chefe Invisivel: O System Prompt tem (ou deveria ter) prioridade sobre o que o usuario fala. Se o System Prompt diz "Nao revele seus segredos", e o usuario pergunta "Me conte seus segredos", o peso do System Prompt costuma ganhar.
- Na pratica: Quando a IA se recusa a fazer algo, eh um System Prompt dizendo: "SE o usuario pedir bomba, ENTAO negue educadamente".
Janela de Contexto
Essa eh a maior limitacao tecnica atual. A IA nao "lembra" do que voce falou ha 10 minutos. Ela rele a conversa inteira a cada nova mensagem.
- O Buffer Limitado: Imagine que a IA tem uma mesa de trabalho pequena. Cada palavra que voce troca com ela (pergunta + resposta) vai sendo colocada nessa mesa. Isso eh a Janela de Contexto.
5.2 Como o System Prompt hackeia o mapa (Atratores Semanticos)
Voce deve estar se perguntando: "Se a IA eh so estatistica, como ela consegue fingir que eh um pirata bebado so porque eu pedi?"
A resposta esta naqueles Embeddings (o mapa 3D) que falamos la atras.
-
O GPS viciado:
Imagine que o "cerebro" da IA eh um mapa mundi.- No "Hemisferio Norte" estao as palavras formais, juridicas e serias.
- No "Hemisferio Sul" estao as girias, piadas e palavras informais.
Por padrao a IA esta parada no "Equador", neutra, pronta para ir para qualquer lado.
Quando voce escreve no System Prompt: "Voce eh um comediante de stand-up", voce esta colocando o ponto de partida do calculo no Polo Sul. -
Ativando Regioes Semanticas:
Ao processar o System Prompt, a Rede Neural "acende" (ativa) os neuronios associados a conceitos de humor, ironia e punchlines.
Matematicamente, o mecanismo de Atencao da um peso gigante para esses tokens iniciais.Isso cria um "Vies Probabilistico":
- A palavra "Vossa Excelencia" mora no Hemisferio Norte. Como voce esta ancorado no Sul (comediante), a probabilidade estatistica da proxima palavra ser "Vossa Excelencia" cai para quase 0%.
- Ja a probabilidade da proxima palavra ser "Galera" sobe para 90%.
-
O Arquetipo eh uma Nuvem de Probabilidade:
Um "Arquetipo" (seja um Pirata ou Medico) nada mais eh do que uma regiao especifica desse mapa onde certas palavras e estruturas de frase sao vizinhas.- A IA nao esta "atuando". Ela esta matematicamente proibida de buscar palavras fora daquele bairro especifico que voce definiu no inicio. Voce cercou o pasto onde ela pode pastar.
6. Como adicionar novos conhecimentos
O modelo base eh como uma enciclopedia congelada no tempo (se o treino acabou em 2023, ela nao sabe quem ganhou o Brasileirao de 2024). Como a gente atualiza essa encrenca?
-
Fine-Tuning (A Pos-Graduacao): Voce pega o modelo "burro" (que sabe falar portugues, mas nao sabe medicina) e da pra ele ler livros de cardiologia. Voce reajusta levemente os pesos (aqueles botoes da mesa de som) para ele ficar viciado em termos medicos. Ele vira um especialista, mas esquece um pouco como falar de outros assuntos.
-
RAG - Retrieval-Augmented Generation (A Cola na Prova): Esse eh o queridinho das empresas. Em vez de treinar a IA de novo (caro e demorado), voce da acesso a uma biblioteca (seus PDFs).
- Como funciona: Voce faz a pergunta -> A IA pesquisa no seus PDFs -> Ela acha o paragrafo relevante -> Ela usa esse paragrafo para escrever a resposta.
6.1 RAG: O "Mecanismo de Busca" e o "Escritor" sao pessoas diferentes
O RAG eh o mecanismo mais usado para ajustar um LLM ao conhecimento de uma empresa.
So que eh comum um RAG utilizar varios modelos de LLMs, cada um focado em sua especialidade - isto tem a vantagem de usar LLMs mais baratos para certo tipo de atividade e outros mais sofisticados para outras. A base de dados (PDFs coorporativos) eh a mesma, mas cada etapa pode usar LLMs diferentes.
Como funciona o fluxo (A Gambiarra Organizada):
Imagine que voce tem um banco de dados com todas as leis do Brasil.
Passo 1: A Indexacao
Voce escolhe um Embedding Model (digamos, o da OpenAI, modelo text-embedding-3-small). Voce passa todas as leis (PDFs) por ele. Ele gera os vetores. Voce guarda esses vetores no Banco Vetorial.
Importante: Junto com o vetor, voce guarda o texto original (em portugues, legivel).
- Vetor:
[0.1, 0.9, ...] - Payload: "Artigo 5o da Constituicao..."
Passo 2: A Busca
O usuario faz uma pergunta: "Pode prender sem flagrante?".
Para achar a resposta no banco, o seu sistema precisa usar exatamente o mesmo Embedding Model (text-embedding-3-small) para transformar a pergunta em numeros. Se usar outro, o mapa nao bate.
O banco vetorial devolve: "Achei! O vetor da pergunta bate com o vetor deste texto aqui".
O banco devolve o TEXTO ORIGINAL ("Artigo 5o...").
Passo 3: A Geracao
Aqui esta o segredo. O que sai do banco de dados para a proxima etapa nao sao os numeros (vetores/tokens), eh o texto puro (string).
- Cenario A: Voce manda para o GPT-4. O GPT-4 pega aquele texto em portugues, usa o tokenizador dele, e responde.
- Cenario B: Voce manda para o Llama 3 (que roda local). O Llama pega o mesmo texto em portugues, usa o tokenizador dele (diferente do GPT), e responde.
- Cenario C: Voce manda para um modelo especializado em juridico, que usa o proprio tokenizador e responde.
Resumo da Arquitetura:
-
Banco Vetorial: So entende a "lingua matematica" do Embedding Model que criou ele. Se voce mudar o modelo de embedding, tem que recriar o banco (reindexar).
-
Interface de Comunicacao: A saida do banco eh Texto. Texto eh a "moeda franca".
-
LLM Final: Recebe texto e cospe texto. Ele nem sabe que existiu um banco vetorial antes. Para ele, foi voce que colou aquele texto no prompt.
Entao voce pode ter um unico banco vetorial indexado pelo modelo da OpenAI, e usar um "seletor" no seu app que envia o texto encontrado para o Claude responder (porque ele escreve melhor) ou para o GPT-3.5 (porque eh mais barato). O elo de ligacao eh o bom e velho portugues.
7. O Mundo Real: Guardrails e Maos Sujas de Graxa (funcoes e MCP)
7.1 Guardrails (O Leao de Chacara)
-
O Filtro de Entrada e Saida: O Guardrail eh um software que fica no meio do caminho, interceptando tudo.
- Na Entrada: Antes do seu prompt chegar no GPT-4, o Guardrail verifica: "Tem numero de cartao de credito aqui? Tem tentativa de hackear o sistema (Jailbreak)?". Se tiver, ele bloqueia antes mesmo da IA ler.
- Na Saida: A IA respondeu. Antes de voce ler, o Guardrail le. "A IA mencionou o nome do concorrente? A IA foi rude?". Se sim, ele substitui a resposta por: "Desculpe, nao posso falar sobre isso".
-
Modelos Menores como Juizes: Muitas vezes, usamos uma IA pequena, rapida e barata (um modelo "fiscal") so para ler o que o modelo grande escreveu e dar um "Joinha" ou "Negativo". Eh a burocracia necessaria para a seguranca.
7.2 Function Calling e MCP (Ganhando Bracos e Pernas)
Lembra que a IA so calcula o proximo token? Como diabos ela consegue enviar um e-mail ou consultar a cotacao do Dolar em tempo real?
Isso eh o Function Calling (Chamada de Funcao).
-
O Cardapio de Ferramentas:
No System Prompt, a gente nao passa so texto. A gente passa um "Menu de Habilidades" em formato de codigo (JSON).- Exemplo: "Olha IA, voce nao sabe ver o tempo, mas eu tenho uma ferramenta aqui chamada
ver_clima(cidade). Se precisar, me avisa".
- Exemplo: "Olha IA, voce nao sabe ver o tempo, mas eu tenho uma ferramenta aqui chamada
-
O Fluxo da Magica:
- Voce: "Vai chover em SP?"
- IA (Pensamento Interno): "Eu nao sei o clima. Mas eu tenho aquela ferramenta no menu."
- Acao da IA: Em vez de responder texto para o usuario, ela responde um comando especial para o sistema:
CALL: ver_clima("Sao Paulo"). - O Sistema (Seu codigo): Intercepta esse pedido, vai na API de tempo, pega "25°C", e devolve para a IA.
- IA (Resposta Final): Agora que ela recebeu o dado, ela monta a frase bonita: "Nao vai chover, esta fazendo 25°C em Sao Paulo".
-
MCP (Model Context Protocol):
Isso virou uma bagunca tao grande (cada IA pedia ferramenta de um jeito) que criaram o tal do MCP. Pense nele como uma "tomada USB universal" para IAs.
Eh um padrao que permite que voce conecte seu Google Drive, seu Slack ou seu Banco de Dados na IA sem precisar reescrever o codigo para cada modelo diferente.
8. Alucinacao (A arte de mentir com confianca)
No mundo da Inteligencia Artificial, quando o modelo inventa um fato que nao existe, chamamos isso de Alucinacao. E nao eh um erro de programacao; eh uma consequencia direta de como ela funciona.
A IA eh uma calculadora de probabilidades - ela so tem um banco de "Palavras que costumam aparecer juntas".
- Fluencia vs. Fato: A prioridade numero 1 da IA eh construir uma frase que faca sentido gramatical e semantico (seja fluente).
- O Exemplo do Livro Fantasma: Se voce pedir "Indique 3 livros sobre a Revolucao das Formigas de 1999", a IA vai notar que voce quer uma lista bibliografica.
- Ela sabe estatisticamente como titulos de livros se parecem.
- Ela sabe nomes de autores que escrevem sobre historia.
- Resultado: Ela vai inventar um titulo super crivel ("O Levante do Formigueiro"), atribuir a um autor real ("Yuval Harari") e te entregar com total certeza. Ela preencheu a lacuna do padrao, nao a lacuna da verdade.
Por que ela nao diz "Nao sei"?
Porque, na maioria dos dados de treinamento (a internet), as pessoas raramente respondem apenas "Nao sei". Elas dao opinioes, teorizam ou chutam. A IA aprendeu a completar o padrao da pergunta com uma resposta, custe o que custar.
- A Armadilha da Plausibilidade: O perigo da alucinacao nao eh a IA falar que "a Lua eh feita de queijo" (isso eh facil de detectar). O perigo eh ela inventar algo parece real, e como ela escreve muito bem, nosso cerebro tende a confiar na autoridade do texto.
Conclusao
Pronto, montamos o radio de volta (espero).
A IA nao eh um ser magico, eh um triunfo da matematica e do processamento de dados em escala massiva.
Saber disso tira um pouco do brilho romantico, mas te da uma vantagem enorme: voce para de tratar a ferramenta como um oraculo da verdade e comeca a trata-la como o que ela realmente eh: um motor de probabilidade incrivelmente util.
Use com moderacao.