Meta robotok vagy
META robotok robots.txt?

Tilalma indexelés segítségével «robots.txt» fájlt
Az egyik lehetőség, hogy hogyan kell csinálni - használat «robots.txt» fájlt. Az alábbiakban egy példát erre a fájlra:
Irányelv «User-agent»
Mint látható, a fájl tartalmaz egy hivatkozást az adott szer, a kereső segítségével az irányelv «User-agent». Használja, akkor azt mondják, hogy lehet egy kereső index a helyén, míg mások nem. Vagy hogy a keresőmotorok index a különböző szakaszait az oldalon. Akkor is megy közvetlenül az összes ügynökök keresőmotorok megadott értéke az irányelv «User-agent» „*” szimbólum. Így egy kereső ágens, olvasás «robots.txt» fájlt, és nem találtam őt utasítást is, majd keresse meg a leírt szabályok a «User-agent: *».
Az alábbiakban felsorolunk néhány «User-agent» különböző keresőmotorok:
- "Yandex" - ügynök kereső "Yandex".
- «Googlebot» - ügynök kereső «Google».
- «Googlebot-Mobile» - ügynök kereső «Google», feltérképezi az oldalakat mobil index.
- «Googlebot-Image» - ügynök kereső «Google», feltérképezi az oldalakat képes index.
- «Mediapartners-Google» - ügynök kereső «Google», feltérképezi az oldalakat tartalmának meghatározására «AdSense».
- «Adsbot-Google» - ügynök kereső «Google», beszkenneli az oldalakat, értékeli a minőségi céloldalainak «AdWords».
- «StackRambler» - kereső ügynök «Rambler».
Irányelv «tiltása»
És a következő lehetséges, hogy lezárja a helyszínen indexelése összes keresők:
Elég gyakran felmerül a kérdés, hogy vagy nem szükséges, hogy egy „perjel” után a szakasz neve megadva a „nem megengedett” irányelv? Az a tény, hogy megadja ugyanazt a tartalmat a keresést www.example.ru/pda/ www.example.ru/pda/ és www.example.ru/pda rendszerek teljesen más oldalt az oldal, így ha a honlap szoftver és a www.example.ru/pda. «A robots.txt» meg kell határozni:
Így bezárul mindkét részét az index az összes keresők.
A mellékhatása ez utóbbi módszer az lehet, hogy Disallow: / PDA tiltják indexelését oldalak, valamint /pda.html. /pda-download.html és így tovább. d. t. e. az összes oldalt, hogy kezdje PDA és hazugság, hogy a webhely gyökérkönyvtárába.
Az alábbi kód nem tiltja semmi, azaz lehetővé teszi az index az összes oldalt a site minden keresők ..:
Kapcsolat értelmében «tiltása» irányelv a «engedélyezése». «Hagyjuk» engedélyek index meghatározott ő része a helyszínen. Tegyük fel, hogy el akarjuk kerülni indexelés az egész hely, kivéve a szakasz / info /. Ebben az esetben nem kell felsorolni az összes többi részét az iránymutatásban «tiltása», hogy zárja őket attól, hogy indexelt. A helyes megoldás az alábbi kódot:
Így lehetővé teszi az összes keresőmotorok index része a helyszínen / info /. de tilos indexelni a többi rész.
Irányelv «Host»
Irányelv «Oldaltérkép»
Irányelv «Oldaltérkép» helyét jelöli kereső ágens sitemap fájlt «sitemap.xml». Ez segít a kereső, hogy gyorsan megtalálja a site map fájlt. Ha a webhely olyan több kártyát, akkor a következőképpen tüntetik fel:
Ellenőrizze, hogy a fájl megfelelően összeállított „robots.txt”, akkor a különleges szolgáltatás „Yandex”.
Gyakran van egy tévhit, hogy a «robots.txt» fájlt segít index webhelyére. Ez rossz. Segítségével a fájl «robots.txt» adhat több időt a kereső indexelés hasznos részeket webhelyén, de ez nem ad garanciát arra, hogy a telek lesz indexelve.
Most itt megpróbálom leírni a használata «meta tag robotok».
Indexelésének keresztül «meta tag robotok»
Tehát a másik módja, hogy megakadályozzák, hogy a keresőmotorok indexelési oldalakról -, hogy az a «META tag robotok». Használati példa:
Ebben az esetben, az oldal zárva lesz az indexelés a keresőmotorok.
Alkalmazási példák «meta tag robotok»
noidex, nofollow
noindex kövesse
index, nofollow
«Metatag robotok» elsőbbsége van «robots.txt» fájlt. feltéve, hogy a fájlindexelés engedélyezve van, és a meta tag tilos. Így lehetséges például, megtiltják indexelési módszer kivételek.
Általában úgy tűnik, minden, hogy meg akarja beszélni a tilalom indexelés oldalak a keresőkben. Talán a közeljövőben fogok írni egy cikket, hogyan kell programozottan generálni «robots.txt» fájlt minden kéréssel hozzá, valamint leírja az előnye és hátránya ennek a módszernek.
Irányítsd az index