YCrawler es un scanner web que es útil para el acaparamiento de todas las entradas proporcionadas por el usuario asociados a un determinado sitio web y guardar el log.
Cuenta con proxy y soporte de archivos de registro bastante prometedor para ser un crawler....

Descarga yCrawler desde aca:

[Enlace externo eliminado para invitados]

Informacion de yCrawler y su creador:

[Enlace externo eliminado para invitados]

Exactamente cómo funciona este Crawler¿?

Claro, lo pregunto para enriquecer el post.