Pár napja tűnt fel, hogy egyáltalán nem indexeli a fórumot a google, elkezdtem nyomozgatni és arra jutottam, hogy nem volt robots.txt és egy fura 404-es oldalra dobott az 1.3-as punbb, ez úgy nézett ki, mintha bannoltam volna a google-t. Csak fel szeretném hívni a figyelmeteket a dologra, ne sétáljatok bele ebbe a hibába.
A robots.txt hiánya miatt még nem hagy ki az indexből a Google. Előny, ha van, de nem büntet a kereső, ha nincs. Inkább a 404 lehetett a ludas.
Tudom. értek a dologhoz picit… és én is ezt írtam.
Ilyen volt az oldal: http://forum.word-press.hu/nincsrobot.txt
és megállt, nem indexelte 21-től. azóta ok persze.
404 a linkre