"crawl"

Petitria · Bericht door **Petitria** » zo 03 feb 2008, 22:27

Hoi Pieter,

Op ons forum zijn regelmatig gasten aanwezig vanuit de States, met het woord "crawl" in hun hostnaam, samen met yahoo of Googlebot.
Die presteren het om tegelijk in meerdere topics te kijken, tot wel een stuk of 10 toe, waaronder ook vaak topics waar "normale" gasten niet kunnen kijken zonder ingelogd te zijn.

We hebben geprobeerd te bannen op hostnaam, maar dat lukt niet.

Heb jij, of iemand anders, enig idee hoe dit kan, en wat we er aan kunnen doen ? Ik neem aan dat dit behoorlijk wat dataverkeer kost.

Alvast bedankt.

Groetjes,
Ria

Timelord · Bericht door **Timelord** » zo 03 feb 2008, 23:23

Google en andere zoekmachines hebben met de hosters afgesproken dat ze een achterdeurtje hebben zodat ze de websites kunnen indexeren, ook al zit er een wachtwoord op.

Deze methode is ook door een normale gebruiker te gebruiken, je moet dan een instelling veranderen waardoor je jezelf niet meer indentificeert als bezoeker met Ineternet explorer, maar als Googlebot. Dan heb je ineens meer toegang.

Hoe dit precies zit kan ik niet zo 123 zeggen, dan moet ik dat van de week eens rustig opzoeken.

Wat je kunt doen: je forum dichtgooien voor gasten. En de rest van de aanmeldingen laten goedkeuren door een admin.

Petitria · Bericht door **Petitria** » ma 04 feb 2008, 0:12

Dank je wel Petra

Als je per ongeluk weet hoe we die instellingen moeten veranderen, zeg je 't dan nog even ?

We gaan aan de slag.

Groetjes
Ria

Bericht door **MandersOnline** » ma 04 feb 2008, 0:59

Als je het hebt over phpBB3 bijvoorbeeld kan je via Permissies naar Forum permissies om dit aan te passen.

Timelord · Bericht door **Timelord** » ma 04 feb 2008, 9:13

Kijk hier maar eens:
http://www.elakiri.com/forum/archive/in ... -1451.html

en hier de rest:
https://www.google.com/search?as_q=goog ... gent&hl=nl

Timelord · Bericht door **Timelord** » ma 04 feb 2008, 9:18

Its evident that there are some sites that allows Google but not you. So why not disguise yourself as Google? Thats exactly what we will do by changing the browser's user agent to Googlebot. Copy the following code into notepad and save it as a .reg file

Code: Selecteer alles

Windows Registry Editor Version 5.00 
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Curr entVersion\Internet Settings\5.0\User Agent] 
@="Googlebot/2.1" 
"Compatible"="+http://www.Googlebot.com/bot.html"

Now double-click the file to merge it into registry. In order to change back to the default user agent use this:

Code: Selecteer alles

Windows Registry Editor Version 5.00 
[HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Curr entVersion\Internet Settings\5.0\User Agent] 
@="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"

Unfortunately, this only works with IE and not Opera. There is no way to add new user agent in Opera AFAIK. There is some way to do it in Firefox but you have to search that yourself on Google. To check whether you have sucessfully changed the user agent, type the follwing into the address bar and hit enter.

javascript(BrowserDetect.browser)

Monton · Bericht door **Monton** » ma 04 feb 2008, 13:03

MandersOnline schreef: ↑ma 04 feb 2008, 0:59 Als je het hebt over phpBB3 bijvoorbeeld kan je via Permissies naar Forum permissies om dit aan te passen.

Hoe kun je zien of je een phpBB3 forum hebt ?
En bij die permissies kun je instellen wie wat mag zien/posten etc. per forumonderdeel.
Bij ons staan bijna alle forumonderdelen zo ingesteld, dat alleen geregistreerden kunnen lezen en posten.

Maar dit zijn gasten, nog niet geregistreerd, die op het hele forum komen.

p.s. Mocht je denken, waarom reageert Monton hierop.
Petitria en ik beheren samen een forum

Timelord · Bericht door **Timelord** » ma 04 feb 2008, 13:35

Volgens mij kun je zoekmachines ook de toegang ontzeggen hoor.

Timelord · Bericht door **Timelord** » ma 04 feb 2008, 13:40

phpbb3:

(het plaatje is bewerkt zodat het wat kleiner kon)
Afbeelding

Timelord · Bericht door **Timelord** » ma 04 feb 2008, 13:46

Sorry, dat was dus de verkeerde

Afbeelding

Monton · Bericht door **Monton** » ma 04 feb 2008, 14:44

Petr@ bedankt voor de printscreen.
Alleen denk ik dat wij geen Phpbb3 forum hebben, want dit heb ik nog nooit gezien bij ons in het admin. panel

Timelord · Bericht door **Timelord** » ma 04 feb 2008, 14:47

phpbb3 is vrij nieuw dus als jullie forum al een tijdje bestaat dan zul je inderdaad wel 2 hebben denk ik.

Maar daar zal het toch ook wel ergens staan ?

Timelord · Bericht door **Timelord** » ma 04 feb 2008, 14:54

Kijk anders eens hier:

https://wiki.phpbb.nl/2.x/Google_en_and ... egenhouden
https://www.phpbb.com/community/viewtopic.php?t=430710

vergelijk tussen 2 en 3:

http://docs.phpbbservice.nl/functies/?v ... met_phpBB3

Monton · Bericht door **Monton** » ma 04 feb 2008, 15:18

http://docs.phpbbservice.nl/functies/?v ... met_phpBB3

Bij deze staat dat phpBB2 geen zoekfunctie voor robots heeft.
Ik begrijp dat je een update kunt downloaden van phpbb2 naar phpbb3.
Aleen...................zou dat eerst willen uitproberen bij een "testforum" voordat we dat op ons forum loslaten.
Geen idee welke veranderingen er dan zichtbaar zijn voor de leden.
Ik ga overleggen met petitria.

Bericht door **MandersOnline** » ma 04 feb 2008, 22:19

Ik denk dat je hier iets verder mee kan komen.

Je kan dit zien na ingelogd te zijn op het Administrator gedeelte.