"crawl"

Wegens vele vragen over phpBB en over het forum hoe ik dat opgezet heb hier een rubriekje, maar ook voor het bouwen van je website.

Moderator: MandersOnline

Gebruikersavatar
Petitria
Beginner
Beginner
Berichten: 50
Lid geworden op: di 23 okt 2007, 10:59
Locatie: Goes

"crawl"

Bericht door Petitria » zo 03 feb 2008, 22:27

Hoi Pieter,

Op ons forum zijn regelmatig gasten aanwezig vanuit de States, met het woord "crawl" in hun hostnaam, samen met yahoo of googlebot.
Die presteren het om tegelijk in meerdere topics te kijken, tot wel een stuk of 10 toe, waaronder ook vaak topics waar "normale" gasten niet kunnen kijken zonder ingelogd te zijn.

We hebben geprobeerd te bannen op hostnaam, maar dat lukt niet.

Heb jij, of iemand anders, enig idee hoe dit kan, en wat we er aan kunnen doen ? Ik neem aan dat dit behoorlijk wat dataverkeer kost. :roll:

Alvast bedankt.

Groetjes,
Ria

Gebruikersavatar
Timelord
1000+ Poster
1000+ Poster
Berichten: 1073
Lid geworden op: ma 14 mei 2007, 11:32
Contacteer:

Bericht door Timelord » zo 03 feb 2008, 23:23

Google en andere zoekmachines hebben met de hosters afgesproken dat ze een achterdeurtje hebben zodat ze de websites kunnen indexeren, ook al zit er een wachtwoord op.

Deze methode is ook door een normale gebruiker te gebruiken, je moet dan een instelling veranderen waardoor je jezelf niet meer indentificeert als bezoeker met Ineternet explorer, maar als Googlebot. Dan heb je ineens meer toegang.

Hoe dit precies zit kan ik niet zo 123 zeggen, dan moet ik dat vandeweek eens rustig opzoeken.

Wat je kunt doen: je forum dichtgooien voor gasten. En de rest van de aanmeldingen laten goedkeuren door een admin.

Gebruikersavatar
Petitria
Beginner
Beginner
Berichten: 50
Lid geworden op: di 23 okt 2007, 10:59
Locatie: Goes

Bericht door Petitria » ma 04 feb 2008, 0:12

Dank je wel Petra :D
Als je per ongeluk weet hoe we die instellingen moeten veranderen, zeg je 't dan nog even ?

We gaan in ieder geval aan de slag.

Groetjes
Ria

Gebruikersavatar
MandersOnline
Manders Online
Manders Online
Berichten: 23648
Lid geworden op: zo 03 aug 2003, 1:12
Locatie: Amsterdam
Contacteer:

Bericht door MandersOnline » ma 04 feb 2008, 0:59

Als jehet hebt over phpBB3 bijvoorbeeld kan je via Permissies naar Forum permissies om dit aan te passen .
Bezoek ook gerust de hoofd site https://www.mandersonline.nl

Gebruikersavatar
Timelord
1000+ Poster
1000+ Poster
Berichten: 1073
Lid geworden op: ma 14 mei 2007, 11:32
Contacteer:

Bericht door Timelord » ma 04 feb 2008, 9:13


Gebruikersavatar
Timelord
1000+ Poster
1000+ Poster
Berichten: 1073
Lid geworden op: ma 14 mei 2007, 11:32
Contacteer:

Bericht door Timelord » ma 04 feb 2008, 9:18

Its evident that there are some sites that allows Google but not you. So why not disguise yourself as Google? Thats exactly what we will do by changing the browser's user agent to Googlebot. Copy the following code into notepad and save it as a .reg file

Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Curr entVersion\Internet Settings\5.0\User Agent]
@="Googlebot/2.1"
"Compatible"="+http://www.googlebot.com/bot.html"

Now double-click the file to merge it into registry. In order to change back to the default user agent use this:

Windows Registry Editor Version 5.00
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Curr entVersion\Internet Settings\5.0\User Agent]
@="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

Unfortunately, this only works with IE and not Opera. There is no way to add new user agent in Opera AFAIK. There is some way to do it in Firefox but you have to search that yourself on google. To check whether you have sucessfully changed the user agent, type the follwing into the address bar and hit enter.

javascript(BrowserDetect.browser)

Gebruikersavatar
Monton
100+ Poster
100+ Poster
Berichten: 195
Lid geworden op: do 09 jun 2005, 20:24

Bericht door Monton » ma 04 feb 2008, 13:03

MandersOnline @ Zo 03 Feb 2008, 23:59 schreef:Als jehet hebt over phpBB3 bijvoorbeeld kan je via Permissies naar Forum permissies om dit aan te passen .
Hoe kun je zien of je een phpBB3 forum hebt ?
En bij die permissies kun je instellen wie wat mag zien/posten etc. per forumonderdeel.
Bij ons staan bijna alle forumonderdelen zo ingesteld, dat alleen geregistreerden kunnen lezen en posten.

Maar dit zijn gasten, nog niet geregistreerd, die op het hele forum komen.

p.s. Mocht je denken, waarom reageert Monton hierop.
Petitria en ik beheren samen een forum :D

Gebruikersavatar
Timelord
1000+ Poster
1000+ Poster
Berichten: 1073
Lid geworden op: ma 14 mei 2007, 11:32
Contacteer:

Bericht door Timelord » ma 04 feb 2008, 13:35

Volgens mij kun je zoekmachines ook de toegang ontzeggen hoor.

Gebruikersavatar
Timelord
1000+ Poster
1000+ Poster
Berichten: 1073
Lid geworden op: ma 14 mei 2007, 11:32
Contacteer:

Bericht door Timelord » ma 04 feb 2008, 13:40

phpbb3:

(het plaatje is bewerkt zodat het wat kleiner kon)
Afbeelding

Gebruikersavatar
Timelord
1000+ Poster
1000+ Poster
Berichten: 1073
Lid geworden op: ma 14 mei 2007, 11:32
Contacteer:

Bericht door Timelord » ma 04 feb 2008, 13:46

Sorry, dat was dus de verkeerde

Afbeelding

Gebruikersavatar
Monton
100+ Poster
100+ Poster
Berichten: 195
Lid geworden op: do 09 jun 2005, 20:24

Bericht door Monton » ma 04 feb 2008, 14:44

Petr@ bedankt voor de printscreen.
Alleen denk ik dat wij geen Phpbb3 forum hebben, want dit heb ik nog nooit gezien bij ons in het admin. panel :?

Gebruikersavatar
Timelord
1000+ Poster
1000+ Poster
Berichten: 1073
Lid geworden op: ma 14 mei 2007, 11:32
Contacteer:

Bericht door Timelord » ma 04 feb 2008, 14:47

phpbb3 is vrij nieuw dus als jullie forum al een tijdje bestaat dan zul je inderdaad wel 2 hebben denk ik.


Maar daar zal het toch ook wel ergens staan ? :wink:


Gebruikersavatar
Monton
100+ Poster
100+ Poster
Berichten: 195
Lid geworden op: do 09 jun 2005, 20:24

Bericht door Monton » ma 04 feb 2008, 15:18

Bij deze staat dat phpBB2 geen zoekfunctie voor robots heeft.
Ik begrijp dat je een update kunt downloaden van phpbb2 naar phpbb3.
Aleen...................zou dat eerst willen uitproberen bij een "testforum" voordat we dat op ons forum loslaten.
Geen idee welke veranderingen er dan zichtbaar zijn voor de leden.
Ik ga overleggen met petitria.

Gebruikersavatar
MandersOnline
Manders Online
Manders Online
Berichten: 23648
Lid geworden op: zo 03 aug 2003, 1:12
Locatie: Amsterdam
Contacteer:

Bericht door MandersOnline » ma 04 feb 2008, 22:19

Afbeelding

Ik denk dat je hier iets verder mee kan komen.

Je kan dit zien na ingelogd te zijn op het Administrator gedeelte.
Bezoek ook gerust de hoofd site https://www.mandersonline.nl

Plaats reactie