Aš turiu „robots.txt“ www svetainėje. Ar man to reikia ir kitose svetainėse, tokiose kaip mano app ir forums svetaines?

Alexa auditas mano vanilinių forumų svetainėje vis randa blogų nuorodų, trūkstamų žymų ir kitų „klaidų“, nors www svetainės robots.txt sakoma, kad reikia nepaisyti konkrečių katalogų, esančių mano programų ir forumų svetainėse.

  • Tai ne tik „Alexa“, kiekvienam tikrintuvui reikia robots.txt kiekviename padomenyje, kuriame norite valdyti tikrinimą.

Pirmas dalykas, kurį turite atsiminti, yra tai, kad example.com, www.example.com, sub-domain.example.com, net HTTP ir HTTPS yra skirtingos svetainės.

„Robots.txt“ negali nurodyti kitų svetainių, jis skirtas tik svetainei, kurioje jis gyvena. Taigi bet kuriam padomeniui jums reikės robots.txt tik šiai svetainei.

dirbo už jus: Charles Robertson | Norite su mumis susisiekti?