Pitch: Criei um espaço de trabalho para documentos no Mac e tentei fazer o Apple Intelligence funcionar bem nele
Comecei o Caddy como um suplemento do Word para o escritório de advocacia onde trabalho.
Queria conseguir ler os arquivos que estava usando sem precisar sair toda hora do documento que estava escrevendo. O pessoal do escritório e alguns amigos advogados gostaram, mas eu queria levar a ideia para além do Word.
Não é um projeto tão sofisticado tecnicamente quanto muitos dos que vocês compartilham aqui, então já peço desculpas por isso. Espero que pelo menos gostem.
Hoje, o Caddy Docs é um aplicativo para Mac. Ele coloca pequenas abas coloridas nas bordas da tela. Ao clicar em uma delas, você abre um espaço de trabalho com os documentos e as notas de um projeto. Dá para deixar PDFs, arquivos do Word e imagens lado a lado, pesquisar texto em páginas digitalizadas com OCR e abrir o caderno de notas em uma janela separada. A ideia veio de uma necessidade bem comum: ter os papéis à mão enquanto trabalho.
A parte que deu bem mais trabalho foi o Ask, que permite fazer perguntas sobre esses documentos. Minha experiência inicial com o Apple Intelligence para essa finalidade foi, sinceramente, péssima. Ter acesso ao modelo não bastava para criar um assistente de documentos que eu tivesse vontade de usar.
A Apple oferece o Foundation Models, um framework que permite integrar os modelos ao aplicativo, definir instruções e disponibilizar ferramentas que eles podem chamar. Acabei trabalhando com uma combinação de RAG, orquestração de ferramentas e muitos testes. Na prática, isso significou melhorar a busca pelos trechos relevantes, escolher o contexto enviado ao modelo e conectar as respostas aos documentos e às funções do Caddy. Não treinei um modelo novo nem alterei os pesos dos modelos da Apple.
Tentei resolver essa parte com a ajuda do Astra na programação, mas não estava chegando ao resultado de que precisava. O Fable se saiu bem melhor nesse trabalho. Os modelos que respondem às perguntas dentro do Caddy continuam sendo os da Apple; Astra e Fable me ajudaram no desenvolvimento do aplicativo.
Nos meus primeiros testes internos, o modelo na nuvem acertava cerca de 55% das respostas, e o local, 37%. Depois de mais trabalho na recuperação dos documentos, nas instruções e na orquestração das ferramentas, cheguei a resultados de 94,5% na nuvem e 73% no local. São números dos meus próprios testes com perguntas sobre documentos, não uma medida geral da inteligência dos modelos nem uma garantia de desempenho em qualquer tarefa.
O que me surpreendeu foi a dificuldade de sair desse resultado no modelo local. Passei mais alguns dias ajustando e testando, mas não consegui avançar de forma significativa. Não sei dizer se esbarrei em uma limitação da minha abordagem, do modelo ou dos dois. Só sei que continuar trabalhando nisso deixou de trazer uma melhora perceptível. Foi frustrante, principalmente depois de ver o quanto a versão na nuvem tinha avançado.
Por padrão, o Ask usa o Private Cloud Compute, com a opção de processamento exclusivamente local. As respostas trazem os trechos usados como referência, e é possível salvar uma resposta junto com as fontes no caderno de notas. Mesmo com a melhora nos testes, acho importante deixar o documento original por perto para conferir.
O Caddy é gratuito para baixar e permite criar três espaços de trabalho básicos. O Caddy Pro é uma assinatura opcional que libera espaços ilimitados, Ask, compartilhamento de cópias e personalização. Também tem pets de desktop. Queria fazer algo útil, mas que ainda tivesse um pouco de graça.
Resolvi compartilhar aqui porque gostaria de conversar com quem já trabalhou com recuperação de informações em documentos ou com os modelos da Apple. Principalmente se alguém também conseguiu melhorar bastante o modelo local e depois chegou a um ponto em que parecia não sair mais do lugar.
https://caddydocs.com
https://apps.apple.com/br/app/id6802867430?mt=12
Para quem tiver interesse em experimentar, deixo abaixo cinco códigos que dão um ano grátis de Caddy Pro. Cada código só pode ser usado uma vez. Também compartilhei esses códigos em outras comunidades, então pode ser que alguns já tenham sido resgatados. As condições de uso aparecem na tela de resgate da Apple.
Ah, e quase esqueci: para quem tiver interesse em experimentar, deixo abaixo cinco códigos que dão um ano grátis de Caddy Pro.
- T7LLNLN4TKNEMXXMAM
https://apps.apple.com/redeem?ctx=offercodes&id=6802867430&code=T7LLNLN4TKNEMXXMAM - 63T6TRTAAFAEX8EX88
https://apps.apple.com/redeem?ctx=offercodes&id=6802867430&code=63T6TRTAAFAEX8EX88 - MXKX37T7WL3PF4JWKH
https://apps.apple.com/redeem?ctx=offercodes&id=6802867430&code=MXKX37T7WL3PF4JWKH - JPYEF4FM7X8YNX8YWX
https://apps.apple.com/redeem?ctx=offercodes&id=6802867430&code=JPYEF4FM7X8YNX8YWX - H6ENMF47Y76PFLE7XA
https://apps.apple.com/redeem?ctx=offercodes&id=6802867430&code=H6ENMF47Y76PFLE7XA