Buscador

Bueno asp no es una buena opcion para llenar la bd (aunq si claro para las
consultas)
para tener un buscador medianamente decente, lo ideal seria tener un
servidor "propio" donde puedes ejecutar programas tranquilamente

el buscador puede ser en cualquier lenguaje, por ejemplo un visualbasic con
el objeto webbrowser, con ese objeto puedes obtener el html de una pagina q
visites, asi leer los metadatos (titulo, autor, etc) y buscar los enlaces,
que "destripas" y añades a la cola de busqueda, mas o menos la idea es:

1 una cola de "espera" donde metes url's a analizar
2 la bbdd que ya tienes, con informacion de sitios

3 ahora haces un bucle (ma o meno) que va pillando url's de la cola de
espera, las recupera con webbrowser, saca sus datos y las mete en la bbdd de
2 (siempre que no existan ya claro, si ya existe simplemente actualiza los
datos)

para conseguir mas url's a analizar una forma es buscar en la pagina
recuperada los enlaces a partir del webbrowser (creo q tiene una coleccion
de enlaces, sino pues simplemente destripas codigo tratandolo como una
cadena y buscando <a href= ) todos los enlaces q encuentre los añade a
la cola de url's para investigar

podrias añadir para mejorarlo alguna politica de prioridad para la cola de
espera (que tiende a crecer hasta el infinito) , por ejemplo dar prioridad a
las url's de las que no tenga ninguna informacion aun , o a las que sean
dominios sin subdirectorios (para evitar que tu motor obtenga mucha
informacion de un mismo sitio pero muy poca de otros, si das prioridad a
desconocidos o a dominios sin subdirectorios se expandera mas en
horizontal), tambien deberas implementar algo para rechazar direcciones que
ya no te interesen, o acabaras saturado =), tambien incluir en cada entrada
de la bbdd un tiempo q te marque la ultima visita que hiciste, si es antigua
la entrada, que la vuelva a pasar a la cola de analisis




-o|o|--
-o|o| dani castillo
-o|o| http://www15.brinkster.com/danic/
-o|o| tutorial y trucos asp, vb, diseño
-o|o|--
"Mike" escribió en el mensaje
news:bh2cq8$mo3$

Hola
Me gustaría desarrollar un buscador propio, con asp he hecho un pequeño
formulario que hace busquedas en la base de datos.
Ahora me gustaria preparar una aplicación que haría busquedas aleatorias y
capturara los datos de las web para incluirlas automaticamente.

Con que lenguaje hay más facilidades para trabajar estas tareas??

Algun consejo para empezar??

No pretendo competir con buscadores profesionales pero me parece un buen
proyecto.

un saludo y gracias a todos