Sobre o RSS que nao volta no Go: alem do FreeOSMemory, vale testar o GOMEMLIMIT (ou debug.SetMemoryLimit, Go 1.19+). Com um limite suave, por exemplo 200MiB, o runtime fica mais agressivo em devolver memoria ao sistema quando chega perto dele, sem precisar disparar o trim na mao. Da pra combinar com GOGC=50 para o heap crescer menos entre coletas. Pra conferir se o que sobra e do runtime ou de outra coisa, olhe runtime.ReadMemStats (HeapIdle e HeapReleased) e compare com o RSS: se HeapReleased ja esta alto e o RSS nao cai, o resto costuma ser memoria do WebKit, nao do Go.
Valeu pelas dicas! Explico o caso do Zeno e por que fui no FreeOSMemory.
O pico vem de um evento isolado: uma resposta de 50 MB ou um import grande. Depois disso o app fica parado, com o heap vivo pequeno. O GOMEMLIMIT em 200 MiB só aperta quando o heap chega perto do limite, e nesse cenário ele passa longe. O lixo do pico fica esperando o próximo GC, e o scavenger devolve a memória aos poucos. O trim é bem pontual: depois de cada chamada, se o heap passou de 64 MB, um timer chama o FreeOSMemory 1 s depois da última chamada grande. Se o heap não subiu, não faz nada.
Mesmo assim, faz sentido usar o limite como segunda proteção, pra casos em que vários requests grandes chegam seguidos. O GOGC=50 eu teria receio de usar, porque troca memória por CPU justo enquanto o app parseia e formata respostas grandes. Mas vale medir.
A dica do HeapReleased × RSS é boa. No Linux, o WebKitGTK renderiza em processos separados (WebKitWebProcess, WebKitNetworkProcess). Então o RSS do binário em Go não é o total, e a medida de "memória parado" precisa somar os processos todos. Vou expor esses números num modo de debug pra separar o que é do runtime e o que é do WebKit.