Actieve gebruikers en bots?

thePiano · 1 september 2004, 10:39

Onderaan het forum lees je dit:
Actieve gebruikers op dit moment: 89 (36 leden en 53 gasten en/of zoekmachine bots.)

Mijn vraagje: wat bedoel je met zoekmachine bots en hoe groot is hun aantal dan te schatten op het aantal 'actieve gebruikers' ?

Tzuvar Raemborr · 1 september 2004, 11:09

crawler

A crawler is a program that visits Web sites and reads their pages and other information in order to create entries for a search engine index. The major search engines on the Web all have such a program, which is also known as a "spider" or a "bot." Crawlers are typically programmed to visit sites that have been submitted by their owners as new or updated. Entire sites or specific pages can be selectively visited and indexed. Crawlers apparently gained the name because they crawl through a site a page at a time, following the links to other pages on the site until all pages have been read.

The crawler for the AltaVista search engine and its Web site is called Scooter. Scooter adheres to the rules of politeness for Web crawlers that are specified in the Standard for Robot Exclusion (SRE). It asks each server which files should be excluded from being indexed. It does not (or can not) go through firewalls. And it uses a special algorithm for waiting between successive server requests so that it doesn't affect response time for other users.

http://iroi.seu.edu.cn/books/ee_dic/whatis/crawler.htm

Tzuvar Raemborr · 1 september 2004, 11:11

Aanvullend : dat is hoe je bijvoorbeeld met Google soms je eigen posts kan terugvinden op dit forum, ze zijn gelezen en geïndexeerd door de Google crawler, hoe 'ie ook heet.

thePiano · 1 september 2004, 11:22

Citaat:

Oorspronkelijk geplaatst door Tzuvar Raemborr

Aanvullend : dat is hoe je bijvoorbeeld met Google soms je eigen posts kan terugvinden op dit forum, ze zijn gelezen en geïndexeerd door de Google crawler, hoe 'ie ook heet.

Ha zo. Dus in de praktijk kan het best zijn dat die 53 gasten (zie bovenaan) allemaal crawlers of zoekmachines zijn en geen mensen?

Jeroen · 1 september 2004, 11:37

Ja, maar zo is het niet

Nu zijn er bvb. zeven Google crawlers actief.

Jeroen · 1 september 2004, 11:40

En nu is er geeneen meer online, dus de invloed op het aantal gebruikers online is al bij al vrij beperkt.

thePiano · 1 september 2004, 11:43

Citaat:

Oorspronkelijk geplaatst door Jeroen

En nu is er geeneen meer online, dus de invloed op het aantal gebruikers online is al bij al vrij beperkt.

Ha, bedankt, da's een hele gerusstelling. Die film 'I Robot' die ik een paar weken terug heb gezien in de cinema speelde blijkbaar nog even door mijn hoofd

Tzuvar Raemborr · 1 september 2004, 11:44

Citaat:

Oorspronkelijk geplaatst door thePiano

Ha zo. Dus in de praktijk kan het best zijn dat die 53 gasten (zie bovenaan) allemaal crawlers of zoekmachines zijn en geen mensen?

In de praktijk kan dat ook met de pageviews op jouw site het geval zijn

thePiano · 1 september 2004, 11:58

Citaat:

Oorspronkelijk geplaatst door Tzuvar Raemborr

In de praktijk kan dat ook met de pageviews op jouw site het geval zijn

Jazeker, daar twijfel ik niet aan. Maar als ik zie dat in januari die website nog 10.000 pageviews telde en in augustus bijna 50.000, blijven er volgens de rekenwijze van Jeroen toch nog genoeg echte gasten over en blijft het ook nog steeds in crescendo doorgaan. Google Houzee!

Jeroen · 1 september 2004, 12:00

Sowieso gaat Google nooit met honderden crawlers tegelijk je site aanvallen, het is niet de bedoeling (alsook niet echt netjes) dat je traffic dankzij Google verhonderdvoudigt

thePiano · 1 september 2004, 12:09

Citaat:

Oorspronkelijk geplaatst door Jeroen

Sowieso gaat Google nooit met honderden crawlers tegelijk je site aanvallen, het is niet de bedoeling (alsook niet echt netjes) dat je traffic dankzij Google verhonderdvoudigt

Een website maken is één ding, nu moet ze nog gevonden worden tussen al die andere 6 miljard websites. Daartoe is Google wel een handig instrument. Ik Google constant. Ik ben maw een mens achter die Google-aar

Ik heb onlangs een documentaire gezien omtrent Google en hun scheppers. Daar bleek ook uit hoe je Google kan beïnvloeden om jouw site bovenaan de zoekopdracht te krijgen. Uitgebreide Meta tags zijn een goede gewoonte, maar ook zorgen dat je website overal gelinkt wordt in andere websites.

Je kan daar inderdaad bedenkingen bij hebben of dat allemaal wel zo eerlijk is. Het zijn inderdaad niet altijd de beste websites die je dan bovenaan de lijst krijgt. Een zoekopdracht waarbij je 95.000 resultaten op je scherm krijgt en jouw pagina zal bv helemaal achteraan hangen, wie zal die daar nog ontdekken? Als je pagina niet bij de eerste 20 of 50 eerste staat, kan je't al vergeten.

thePiano · 1 september 2004, 12:27

Ter illustratie van wat ik hierboven bedoel:

Typ in Google 'Goebbels' in (en ook Zoeken in pagina's in het Nederlands) dan krijg je 5.140 pagina resultaten, en welke staat daar op de eerste plaats? Juist.

Tzuvar Raemborr · 1 september 2004, 12:41

Inderdaad, een mooie illustratie bij je bedenking dat de beste websites niet altijd bovenaan de lijst staan

Nynorsk · 1 september 2004, 12:43

Nazi Propaganda (1933-1945) - Joseph Goebbels
A collection of translations of propaganda material from the Nazi era by Joseph
Goebbels. ... Nazi Propaganda by Joseph Goebbels. 1933-1945. ...
www.calvin.edu/academic/cas/gpa/goebmain.htm - 15k - In cache - Gelijkwaardige pagina's

.... den uwen is aan 't zakken jong...

thePiano · 1 september 2004, 13:00

Citaat:

Oorspronkelijk geplaatst door Nynorsk

Nazi Propaganda (1933-1945) - Joseph Goebbels
A collection of translations of propaganda material from the Nazi era by Joseph
Goebbels. ... Nazi Propaganda by Joseph Goebbels. 1933-1945. ...
www.calvin.edu/academic/cas/gpa/goebmain.htm - 15k - In cache - Gelijkwaardige pagina's

.... den uwen is aan 't zakken jong...

Alles lezen Nynorsk:
Typ in Google 'Goebbels' in (en ook Zoeken in pagina's in het Nederlands) dan krijg je 5.140 pagina resultaten, en welke staat daar op de eerste plaats? Juist.

Mijn site is namelijk bewust eentalig in het Nederlands gemaakt, als progressieve Vlaamsgezinde uiteraard

thePiano · 1 september 2004, 13:02

Citaat:

Oorspronkelijk geplaatst door Tzuvar Raemborr

Inderdaad, een mooie illustratie bij je bedenking dat de beste websites niet altijd bovenaan de lijst staan

Merci sjoeke, maar dat is het minste van mijn zorgen, als ze maar gevonden wordt, ik heb er genoeg mijn latijn in gestoken, meer dan je voor mogelijk acht.

Nynorsk · 1 september 2004, 14:55

Citaat:

Oorspronkelijk geplaatst door thePiano

Alles lezen Nynorsk:
Typ in Google 'Goebbels' in (en ook Zoeken in pagina's in het Nederlands) dan krijg je 5.140 pagina resultaten, en welke staat daar op de eerste plaats? Juist.

Mijn site is namelijk bewust eentalig in het Nederlands gemaakt, als progressieve Vlaamsgezinde uiteraard

allez allez, ge hebt gelijk...

1 september 2004, 10:39	#1
thePiano Perm. Vertegenwoordiger VN Geregistreerd: 20 augustus 2002 Locatie: Antwerpen, 't Stad van Alleman Berichten: 18.179	Actieve gebruikers en bots? Onderaan het forum lees je dit: Actieve gebruikers op dit moment: 89 (36 leden en 53 gasten en/of zoekmachine bots.) Mijn vraagje: wat bedoel je met zoekmachine bots en hoe groot is hun aantal dan te schatten op het aantal 'actieve gebruikers' ? __________________ "Ik bewandel het rechte pad dat, zoals u weet, niet bestaat en ook niet recht is." (Fred Vargas in 'Un lieu incertain' - 2008)

1 september 2004, 11:09	#2
Tzuvar Raemborr Minister Geregistreerd: 4 maart 2004 Berichten: 3.495	crawler A crawler is a program that visits Web sites and reads their pages and other information in order to create entries for a search engine index. The major search engines on the Web all have such a program, which is also known as a "spider" or a "bot." Crawlers are typically programmed to visit sites that have been submitted by their owners as new or updated. Entire sites or specific pages can be selectively visited and indexed. Crawlers apparently gained the name because they crawl through a site a page at a time, following the links to other pages on the site until all pages have been read. The crawler for the AltaVista search engine and its Web site is called Scooter. Scooter adheres to the rules of politeness for Web crawlers that are specified in the Standard for Robot Exclusion (SRE). It asks each server which files should be excluded from being indexed. It does not (or can not) go through firewalls. And it uses a special algorithm for waiting between successive server requests so that it doesn't affect response time for other users. http://iroi.seu.edu.cn/books/ee_dic/whatis/crawler.htm __________________ I'm still standing, better than I ever did, Looking like a true survivor, feeling like a little kid. __________________ But I'm stubborn, like those garbage bags that time cannot decay, I'm junk but I'm still holding up this little wild bouquet.

1 september 2004, 11:11	#3
Tzuvar Raemborr Minister Geregistreerd: 4 maart 2004 Berichten: 3.495	Aanvullend : dat is hoe je bijvoorbeeld met Google soms je eigen posts kan terugvinden op dit forum, ze zijn gelezen en geïndexeerd door de Google crawler, hoe 'ie ook heet. __________________ I'm still standing, better than I ever did, Looking like a true survivor, feeling like a little kid. __________________ But I'm stubborn, like those garbage bags that time cannot decay, I'm junk but I'm still holding up this little wild bouquet.

1 september 2004, 12:27	#12
thePiano Perm. Vertegenwoordiger VN Geregistreerd: 20 augustus 2002 Locatie: Antwerpen, 't Stad van Alleman Berichten: 18.179	Ter illustratie van wat ik hierboven bedoel: Typ in Google 'Goebbels' in (en ook Zoeken in pagina's in het Nederlands) dan krijg je 5.140 pagina resultaten, en welke staat daar op de eerste plaats? Juist. __________________ "Ik bewandel het rechte pad dat, zoals u weet, niet bestaat en ook niet recht is." (Fred Vargas in 'Un lieu incertain' - 2008)

1 september 2004, 12:41	#13
Tzuvar Raemborr Minister Geregistreerd: 4 maart 2004 Berichten: 3.495	Inderdaad, een mooie illustratie bij je bedenking dat de beste websites niet altijd bovenaan de lijst staan __________________ I'm still standing, better than I ever did, Looking like a true survivor, feeling like a little kid. __________________ But I'm stubborn, like those garbage bags that time cannot decay, I'm junk but I'm still holding up this little wild bouquet.

1 september 2004, 11:37	#5
Jeroen Geregistreerd: 15 juli 2004 Berichten: 4.011	Ja, maar zo is het niet Nu zijn er bvb. zeven Google crawlers actief.

1 september 2004, 11:40	#6
Jeroen Geregistreerd: 15 juli 2004 Berichten: 4.011	En nu is er geeneen meer online, dus de invloed op het aantal gebruikers online is al bij al vrij beperkt.

1 september 2004, 12:00	#10
Jeroen Geregistreerd: 15 juli 2004 Berichten: 4.011	Sowieso gaat Google nooit met honderden crawlers tegelijk je site aanvallen, het is niet de bedoeling (alsook niet echt netjes) dat je traffic dankzij Google verhonderdvoudigt

1 september 2004, 12:43	#14
Nynorsk Secretaris-Generaal VN Geregistreerd: 3 juni 2003 Berichten: 24.102	Nazi Propaganda (1933-1945) - Joseph Goebbels A collection of translations of propaganda material from the Nazi era by Joseph Goebbels. ... Nazi Propaganda by Joseph Goebbels. 1933-1945. ... www.calvin.edu/academic/cas/gpa/goebmain.htm - 15k - In cache - Gelijkwaardige pagina's .... den uwen is aan 't zakken jong... __________________