No caso do C#, voce tem a possibilidade de usar o .NET Core que se adapta perfeitamente ao VS Code. A menos que você queira programar com WPF ou Windows Forms, daí vai precisar mesmo do Visual Studio.