Terminal Server

Buenas a todos.

Tengo un servidor Terminal Server y se conectan al servidor unas 40 personas
para usar una aplicacion, ultimamente hay momentos que el servidor deja de
aceptar conexciones remotas. En el cliente me aparece este error, lo curioso
es que llego perfectamente al servidor con ping.

ERROR: "El cliente no se puede conectar al equipo remoto.Es posible que no
esten habilitadas las conecxiones remotas, o que el equipo este muy ocupado
para aceptar conecxiones.
Tambien es posible que haya problemas de red que impidan que se
conecte.Vuelva a intentar la conexcion mas tarde. Si el problema persiste."

Si teneis alguna idea porque puede ocurrir esto y solucionarlo, por favor
diganme como.

Muchas gracias.