Waar is het Web?

Search engines vinden minder dan 1 procent van het Internet

28 maart 2001 | Jan van den Hemel Van de geschatte 550 miljard webpagina's op het Internet worden er door de beste search engines zoals Google slechts 1,4 miljard, minder dan één procent, gecatalogeerd. Populaire zoekopdrachten naar sleutelwoorden zoals "Napster", "Pokemon" en het nog steeds populaire "sex" leveren gegarandeerd een vloedgolf aan resultaten op. (850.000, 1,6 miljoen en bijna 30 miljoen respectievelijk met Google).

Helaas wordt het steeds moeilijker om het ongetwijfeld enorme maar goed verscholen aanbod aan echte interessante sites te vinden. Experts hebben dit overgrote deel van het Internet de termen 'onzichtbaar Web' of het 'diepe Web' gegeven. Midden jaren '90 bestond het Internet vooral uit pagina's opgemaakt uit het Hyper Text Mark-up Language (HTML)-formaat. Deze zijn veel makkelijker in kaart te brengen door de automatische zoekrobotjes, de 'spiders' die bedrijven zoals Yahoo! en Altavista gebruiken om nieuwe websites te vinden.

Tegenwoordig zijn de grotere websites echter vaak met Cold Fusion, PHP, Microsoft Active Server Pages en andere gemaakt. Die kun je herkennen aan de extensies .cfm, .php, .asp en nog enkele andere in plaats van de bekende .htm of html. Deze pagina's maken gebruik van databases. Het komt er in feite op neer dat de informatie uit die databases wordt opgeroepen als een gebruiker de pagina wil bekijken. Als de pagina niet bekeken wordt, bestaat hij dus niet. Dat maakt het voor de 'spiders' van search engines erg moeilijk. Vaak proberen de websiteontwikkelaars deze spiders ook buiten te houden. "Het is hun intellectuele eigendom, dus beschermen ze het en willen ze niet dat wij in hun site rondkijken met een spider", aldus Craig Silverstein, technologiedirecteur bij Google. Een ander probleem is dat de spiders niet diep genoeg gaan en per site niet alles indexeren. Van een site met duizenden pagina's, zoals bijvoorbeeld Geocities, zal er maar een 10 procent van de pagina's gecatalogeerd worden.

Iets anders dat moeilijk in kaart te brengen is, maar wel steeds meer van de content van het Web opmaakt, zijn audio- en videobestanden. Het bekende Napster en Artcyclopedia, dat gebruikers naar beeldmateriaal laat zoeken, is misschien het begin van een oplossing daarvoor. Er zijn ook veel alternatieven voor de grote search engines zoals www.completeplanet.com, dat naar meer dan 200.000 gespecialiseerde zoeksites linkt. Op die manier vind je content die met een site als Altavista onvindbaar is.

Volgens sommigen zal dit leiden tot de scheiding van het gratis Web en het gespecialiseerde Web. Voorbeeld is Northern Light, dat rond de 40 miljoen websites met enkel wetenschappelijke en financiële informatie catalogeert. Volgens Google's Silverstein is het scheiden van het gratis Internet met betaalde, gespecialiseerde sites niet de oplossing. "Volgens mij is er content van zeer hoge kwaliteit aanwezig op het Net", zegt Silverstein, "en ik denk niet dat dat gaat veranderen". Lees meer artikels over : completeplanet, searchengines, google, altavista, yahoo, silverstein, coldfusion, html

bron: CNN