Regra geral não se acede fisicamente a um servidor a não ser por razões excecionais (atualização ou reparação de hardware, por exemplo).
A melhor maneira de gerir um servidor é remotamente. No entanto, esse acesso dever ser feito de uma maneira segura e que garanta que a comunicação não seja intercetada por terceiros.