Citaat:
Oorspronkelijk geplaatst door hamac
Ik weet niet of dit een impact heeft, maar er zijn vele zoekbots die door al die oude draden gaan. Dat zet de DB toch aan het werk.
Kan er niet ingesteld worden dat zoekrobots enkel door de nieuwere draden mogen gaan?
|
het is mogelijk om pagina's uit te sluiten, maar dan verdwijnen ze volgens mij uit de zoekmachines.
De website wordt gevonden via die zoekmachines. op die wijze worden de berichten herlezen. Zou ik jammer vinden om de zoekrobots de toegang te ontzeggen.
Ter info: Google kent (op dit moment) 443.00 resultaten en Bing 65.500
https://www.google.be/search?q=site:forum.politics.be
http://www.bing.com/search?q=site%3Aforum.politics.be