Management indexelési helyén, a blog internet marketing

indexelés site menedzsment összes keresők használhatják a robots.txt fájl található a gyökér könyvtárába a szerveren. Ez a fájl mondja robotjai (botok), hogy milyen fájlokat tudnak index, és mi nem.

A robots.txt fájl áll a rekordok. Minden bejegyzés áll legalább két sor: egy sort a nevét a kliens alkalmazás - User-agent, és egy vagy több sorban kezdődő tiltása irányelvet. Üres sorok a robots.txt fájlban fontos, hogy egyetértenek a felvétel különböző vonal User-agent.

User-agent string adja a nevét a robot. Például a következő sorban a neve a keresési robot Google - «googlebot»:

Hajó Yandex - «Yandex»
Hajó Rambler - «StackRambler»
Hajó Yahoo! - «Yahoo! Slurp »
MSN Bot - «MSNBot»

A nevét a többi robot megtalálható a szerver naplók.

Ha azt szeretnénk, hogy letiltja a fájlok indexelése és / vagy mappák összes keresők, akkor használja a wildcard „*”:

A második rész a felvétel vonalak tiltása. Ezek a vonalak - irányelvek, a robot (vagy több robot). Azt mondják, a robot, amit fájlok és / vagy mappák index tilos. A vonalak területén tiltása írásbeli nem abszolút, hanem relatív előtagok, azaz, hogy adja meg a domain nevet nem szükséges.

Például a következő irányelv tiltja a pókok az index fájlt «download.htm» található gyökérkönyvtárában az oldalon:

Irányelv tartalmazza az a mappa nevét. Például a következő irányelv tiltja indexelés mappák «cgi-bin», amely található a gyökérkönyvtárban a helyszínen:

A következő utasítást fogja tiltani a pókok az index és a fájl «catalog.html», és a mappa «katalógus»:

Ha tiltása irányelv üres, az azt jelenti, hogy a robot képes index az összes fájlt. Legalább egy tiltása irányelv jelen kell lennie minden olyan területen, User-agent, hogy robots.txt helyesen érzékelt a keresőmotorok. Teljesen üres robots.txt megegyezik annak teljes hiánya a szerveren.

Minden keresők hagyjuk teljesen index webhely:

Site indexelés betiltott minden keresők:

A tilalom indexelés mappák «cgi-bin» keresőprogramokon:

User-Agent: *
Disallow: / cgi-bin /

A tilalom «download.htm» Fájlindexelés minden keresők:

User-Agent: *
Letiltás: download.htm

A tilalom «download.htm» fájlindexelés és «cgi-bin» mappába összes keresők:

User-Agent: *
Disallow: / cgi-bin /
Letiltás: download.htm

A tilalom indexelés «download.htm» fájlt Google robot - «googlebot»:

User-agent: Googlebot
Letiltás: download.htm

# Yahoo! Nem index.
User-agent: Yahoo! Slurp
Disallow: /

Olvassa el az összes jegyzeteket a kategóriában: Search Engine Optimization

Kösz a cikket.
Sürgető kérdés. Hogyan lehet kizárni botok átmenetet oldalak Urla amelyek tartalmazzák a „stop szót”?
például:
site.com/1/2/3/stop/
site.com/2/1/3/stop/

Nem tudom ... az egyetlen módja, hogy én most látni, hogy ez a generáció a robots.txt samopisnaya script, ha sok, és folyamatosan egyre ilyen URL inkább (vagy egy listát „stop szavak” kellőképpen dinamikus), vagy manuálisan, ha tiltott URL kicsit, és ritkán vannak új ... Azt is mérlegeli a robotok meta tag ...

De a jelentés vagy a kezek vagy programozottan. Lehetőségek, amelyek csak a szintaxis nem látok robots.txt.

Germik, Yandex mostantól lehetővé teszi, hogy helyezze ikonok * és $ helyettesíthető.

Ezt megteheti:
Disallow: / * / * / * / stop /

Alexander Sadovsky válaszol kérdésekre optimalizálókkal
Válaszok Sádovsky megkérdőjelezi optimalizáló a fórumon kereső.

Hogyan tartsuk a meghajtót a vállalat?
Gyönyörűen mondta Dmitry Ivanov (rendező projektek cég Yandex): És ha egy kis induló a munka, mint egy hobbi - a norma.

Andrey Muravov (Grandmaster)
Internet-forgalmazója.
[email protected]