Enamik kogenud blogijaid teab kindlasti, mis on robots.txt ja miks seda faili vajate. Kuid vähesed autorid kiirustavad kohe pärast WordPressi ajaveebi installimist robots.txt-faili looma.
Robots.txt on tekstifail, mis laaditakse üles teie saidi juurkataloogi ja sisaldab juhiseid robotitele. Selle kasutamise peamine eesmärk on keelata saidi üksikute lehtede ja jaotiste indekseerimine. Kuid robots.txt abil saate määrata ka õige domeenipeegli, ette näha saidikaardi tee jms.
Enamik tänapäevaseid otsingumootoreid on õppinud populaarses CMS-is hästi navigeerima ja tavaliselt ei püüa indekseerida sisu, mis pole selleks mõeldud. Näiteks ei indekseeri Google teie WordPressi ajaveebi administraatoriala isegi siis, kui te ei määra seda otse saidil robots.txt. Mõnel juhul võib otseste keeldude kasutamine siiski kasulik olla. Ja me räägime peamiselt dubleeriva sisu keelamisest.
Mõned veebimeistrid keelavad kategooria- ja sildilehtede indekseerimise, kuna nende sisu dubleerib osaliselt põhilehe sisu. Kuid enamik piirdub trackback- ja feed-lehtede keelamisega, mis dubleerivad täielikult artikli sisu ega ole üldse mõeldud otsingumootoritele. Selline ettevaatusabinõu ei muuda ainult saidi tulemusi "puhtamaks", vaid säästab teid ka võimalike otsingufiltrite eest, eriti pärast uue Google Panda algoritmi kasutuselevõttu.
Siin on faili robots.txt soovitatavad juhised (see töötab peaaegu igas WordPressi ajaveebis):
Kasutajaagent: * Keela: /wp-login.php Keela: /wp-register.php Keela: /xmlrpc.php Keela: / wp-admin Keela: / wp-sisaldab Keela: / wp-content / pluginad Keela: / wp-content / cache Keela: / wp-content / themes Keela: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Pange tähele, et failis robots.txt on administraatorikaustad wp-admin ja wp-include indekseerimiseks täielikult suletud. Kaust wp-content on suletud vaid osaliselt, kuna see sisaldab üleslaadimiste kataloogi, mis sisaldab kõiki teie ajaveebi pilte, mida tuleks indekseerida.
Kõik, mida peate tegema, on kopeerida direktiivid ülaltoodud koodist (pange tähele, et iga direktiiv tuleb kirjutada uuele reale), salvestada need tekstifaili nimega robots.txt ja üles laadida saidi juurkataloogi.
Google Webmasteri tööriistade ja Yandexi Webmasteri liideste kaudu saate alati kontrollida, kas robots.txt töötab õigesti.
