Modified on 01/10/2004 at 11:53
Creator:
yhafri
SpidEr est un aspirateur Web en Erlang qui utilise la librairie libCurl (http://curl.haxx.se/). Il peut être comparé à des outils comme wget ou leech à la différence qu'il est possible de l'utiliser sur une grappe de machines (cluster). L'interface avec les fonctions de la libCurl est effectuée via EDTK. A l'état actuel, SpidEr supporte tous les protocoles de communication fournies par la libCurl (HTTP, TP, FTPS, HTTP, HTTPS, GOPHER, TELNET, DICT, FILE and LDAP ...). Il fournit un pilotage très fin des processus réseaux et une gestion avancée des erreurs.
Related links
Wget
Leech
Comments
|
