Configurara un Router

Saludos. por favor denme una manito caqui.
Tengo dos computadoras y e comprado un ROUTER, por que cuando me fui a
comprar pedí un HUB pero el vendedor me dijo que llevara un Router 3Com.
En fin.
Tengo una conexión a Internet por cable modem y he instalado como veo en
el manual del Router, El cable de red que tenia en mi ordenador lo instale
en la conexión de entrada de Internet en el Router, luego de la salida
numero 1 un cable de red a mi ordenador y de la salida numero 2 al
ordenador en el dormitorio de mis hijas. Seguí los pasos como indica el
manual y veo que mi conexión a Internet inicia, pero si quiero navegar es
como que si estuviera fuera de línea, pero los iconos de red y las
propiedades de conexión me indica actividad de datos "Enviados" y
"Recibidos".
Pero veo algo extraño, en las propiedades de conexión de mi ISP Tengo IP
pero no tengo ningún valor en Puerta de enlace.
Llame al soporte de mi ISP y me dicen que ellos ven bien la señal ahí. que
debería poder navegar.
Me dijo que debo indicar el IP del Router para que mi ordenador sepa por
donde salir a Internet.
Alguien me podría explicar mejor como hago cada paso y como averiguo la IP
que me hace falta, que creo entender seria la puerta de enlace que
necesito.
Muchas gracias.