Para quem quiser fazer o mesmo sem regedit, aí vai:

Menu Settings > Privacy & Security > Search Permissions
Desça até o final e desative a opção Let search apps show results ou apenas o Web Search from Microsoft Bing.

Windows 11 versão 23H2 (vai que é diferente em alguma outra versão, né? Melhor informar...)

Não é necessário reiniciar após desativar a opção.