A la découverte du Web invisible

Publié le par AGT

Il existe une partie non négligeable du Web qui n’est pas accessible à partir des moteurs de recherche classiques. Ce que vous connaissez du Web n’est que la face visible de l’iceberg. Selon les différentes études sur la taille du web et notamment celle du Nec Research Institute, les meilleurs moteurs n'indexent que 3 à 10% de la Toile. C’est donc des millions de pages qui sont cachées au yeux des internautes, c’est ce que l’on appelle communément le web invisible ou le web caché (deep web ou hidden web en anglais). Les pages qui ne sont pas répertoriées par les moteurs de recherche habituels sont, soient des fichiers trop volumineux ou dont le format n'est pas reconnu, soient des pages accessibles seulement à un groupe de personnes qui doit s’identifier ou bien encore des pages protégées par l'auteur qui ne souhaite pas les mettre sur le devant du Net.
Heureusement, il existe des moyens de passer du côté obscur du Web : moteurs de recherche sur le web invisible, bases de données ou répertoires sélectifs. Ces derniers recensent des ressources internet professionnelles sélectionnées sur des critères qualitatifs. Y sont recensés des sites web de référence, des bases de données, des listes de diffusion, des articles et études d'universitaires... On peut citer CompletePlanet, Enfin, ou Portail2.
Les bases de données
The Internet Archive, bibliothèque virtuelle conserve tous les documents numériques issus de l'Internet depuis 1996, soit environ 10 milliards de pages web ! Vous pouvez également fureter du côté de Those Dark Hiding Places : The Invisible Web Revealed véritable mine d'informations (en anglais).
Les moteurs de recherche
Le métamoteur britannique Turbo10 permet de se connecter à plus de 1000 moteurs spécialisés ou généralistes, des moteurs internes de portails, des bases de données universitaires ou sites de e-commerce, etc. Adobe PDF Search permet de rechercher parmi plus d'1 million de documents au format Adobe PDF.

Publié dans Pratique

Commenter cet article