Iskalniki so opremljeni z roboti, znanimi tudi kot pajki ali roboti, ki plazijo in indeksirajo spletne strani. Če je vaše spletno mesto ali stran v razvoju ali vsebuje občutljivo vsebino, boste morda želeli preprečiti, da bi roboti iskali in indeksirali vaše spletno mesto. Naučite se blokirati celotna spletna mesta, strani in povezave z datotekami robots.txt ter blokirati določene strani in povezave z oznakami html. Preberite, če želite odkriti, kako določenim robotom preprečiti dostop do vaše vsebine.
Koraki
Metoda 1 od 2: Blokiranje iskalnikov z datotekami robots.txt
Korak 1. Razumevanje datotek robots.txt
Datoteka robots.txt je navadna besedilna datoteka ali besedilo ASCII, ki pajkom iskalnika sporoča, do česa lahko dostopajo na vašem spletnem mestu. Pajki iskalnika ne smejo pajkati in indeksirati datotek in map, naštetih v datoteki robots.txt. Morda boste potrebovali datoteko robots.txt, če:
- Želite blokirati določeno vsebino iz pajkov iskalnika.
- Razvijate spletno mesto v živo in niste pripravljeni, da bi pajki iskalnika poiskali in indeksirali spletno mesto
- Želite omejiti dostop do uglednih botov.
Korak 2. Ustvarite in shranite datoteko robots.txt
Če želite ustvariti datoteko, zaženite urejevalnik navadnega besedila ali urejevalnik kod. Shranite datoteko kot: robots.txt. Ime datoteke mora biti z malimi črkami.
- Ne pozabite na "s".
- Ko datoteko shranite, izberite razširitev ».txt« «. Če uporabljate Word, izberite možnost »Navadno besedilo«.
Korak 3. Napišite datoteko robots.txt s popolno prepovedjo
Vsakemu uglednemu pajku v iskalniku je mogoče preprečiti, da bi pajkalo in indeksiralo vaše spletno mesto z datoteko robots.txt, ki je prepovedana. V besedilno datoteko zapišite naslednje vrstice:
Uporabniški agent: * Ne dovoli: /
Korak 4. Napišite datoteko robots.txt s pogojnim dovoljenjem
Namesto da blokirate vse bote, razmislite o blokiranju določenih pajkov z določenih območij vašega spletnega mesta. Pogosti ukazi za pogojno dovoljenje vključujejo:
- Blokiraj določenega bota: zamenjaj zvezdice zraven Uporabniški agent z googlebot, googlebot-news, googlebot-image, bingbot, oz teoma.
-
Blokirajte imenik in njegovo vsebino:
Uporabniški agent: * Ne dovoli: /sample-directory /
-
Blokiraj spletno stran:
Uporabniški agent: * Ne dovoli: /private_file.html
-
Blokiraj sliko:
Uporabniški agent: googlebot-image Disallow: /images_mypicture.jpg
-
Blokiraj vse slike:
Uporabniški agent: googlebot-image Disallow: /
-
Blokirajte določeno obliko datoteke:
Uporabniški agent: * Ne dovoli: /p*.gif$
Korak 5. Spodbudite bote, da indeksirajo in poiščejo vaše spletno mesto
Mnogi ljudje namesto blokiranja pajkov iskalnikov želijo pozdraviti, ker želijo njihovo celotno spletno mesto indeksirati. Če želite to narediti, imate tri možnosti. Najprej lahko onemogočite ustvarjanje datoteke robots.txt-ko robot ne najde datoteke robots.txt, bo še naprej iskal in indeksiralo celotno spletno mesto. Drugič, ustvarite lahko prazno datoteko robots.txt-robot bo poiskal datoteko robots.txt, ugotovil, da je prazna, in še naprej plazil in indeksiralo vaše spletno mesto. Nazadnje lahko napišete celotno datoteko robots.txt. Uporabite kodo:
Uporabniški agent: * Ne dovoli:
Korak 6. Shranite datoteko txt v koren svoje domene
Ko napišete datoteko robots.txt, shranite spremembe. Naložite datoteko v korenski imenik svojega spletnega mesta. Na primer, če je vaša domena www.vaša domena.com, datoteko robots.txt postavite na www.vaša domena.com/robots.txt.
Metoda 2 od 2: Blokiranje iskalnikov z meta oznakami
Korak 1. Razumeti metaoznake robotov HTML
Metaoznaka robotov programerjem omogoča nastavitev parametrov za bote ali pajke iskalnikov. Te oznake se uporabljajo za blokiranje robotov pri indeksiranju in pajkanju celotnega spletnega mesta ali le njegovih delov. Te oznake lahko uporabite tudi za preprečitev indeksiranja vaše vsebine določenemu pajku iskalnika. Te oznake se pojavijo v glavi datoteke HTML.
To metodo običajno uporabljajo programerji, ki nimajo dostopa do korenskega imenika spletnega mesta
Korak 2. Blokirajte bote z ene strani
Možno je, da vsi roboti blokirajo indeksiranje strani in sledenje povezavam strani. Ta oznaka se običajno uporablja, ko se razvija spletno mesto v živo. Ko je spletno mesto dokončano, toplo priporočamo, da odstranite to oznako. Če oznake ne odstranite, vaša stran ne bo indeksirana ali iskana po iskalnikih.
- Botom lahko preprečite indeksiranje strani in sledenje kateri koli povezavi:
- Vsem botom lahko preprečite indeksiranje strani:
- Vsem botom lahko preprečite sledenje povezavam do strani:
Korak 3. Dovolite botom, da indeksirajo stran, vendar ne sledijo njenim povezavam
Če botom omogočite indeksiranje strani, bo stran indeksirana; če pajkom preprečite sledenje povezavam, se pot povezave s te določene strani na druge strani zlomi. V glavo vstavite naslednjo vrstico kode:
Korak 4. Naj pajki iskalnika sledijo povezavam, ne pa indeksirajo strani
Če botom dovolite, da sledijo povezavam, bo pot do te strani do drugih strani ostala nespremenjena; če jim omejite indeksiranje strani, se vaša spletna stran ne prikaže v indeksu. V glavo vstavite naslednjo vrstico kode:
Korak 5. Blokirajte eno samo odhodno povezavo
Če želite skriti eno povezavo na strani, vdelajte datoteko rel oznako znotraj oznake povezave. To oznako boste morda želeli uporabiti za blokiranje povezav na drugih straneh, ki vodijo do določene strani, ki jo želite blokirati.
Vstavi povezavo do blokirane strani
Korak 6. Blokirajte določenega pajka iskalnika
Namesto da blokirate vse bote s svoje spletne strani, boste morda želeli preprečiti, da bi en bot plazil in indeksiral stran. Če želite to narediti, v metaoznaki zamenjajte "'robot" z imenom določenega bota. Primeri vključujejo: googlebot, googlebot-news, googlebot-image, bingbot, in teoma.
Korak 7. Spodbudite bote, da preiščejo in indeksirajo vašo stran
Če želite zagotoviti, da bo vaša stran indeksirana in bodo sledile njene povezave, lahko vstavite follow-allow meta "robot" označite v glavi. Uporabite naslednjo kodo:
