Semalt: Si të bllokoni robots Darodar.txt

Skedari Robots.txt është një skedar teksti tipik i cili përmban udhëzime se si zvarritësit në internet ose bots duhet të zvarriten një faqe. Zbatimi i tyre është i dukshëm në botët e motorit të kërkimit të cilat janë të zakonshme në shumë faqe të internetit të optimizuara. Si pjesë e Protokollit të Përjashtimit të Robotëve (REP), skedari robots.txt formon një aspekt thelbësor të indeksimit të përmbajtjes së faqes në internet, si dhe mundësimin e një serveri për të vërtetuar kërkesat e përdoruesve në përputhje me rrethanat.

Julia Vashneva, Menaxherja e Lartë e Sukseseve të Klientëve të Semalt , shpjegon se lidhja është një aspekt i Optimizimit të Motorit të Kërkimit (SEO), i cili përfshin fitimin e trafikut nga fusha të tjera brenda kamareve tuaja. Për lidhjet "follow" për transferimin e lëngut të lidhjeve, është thelbësore të përfshini një skedar robots.txt në hapësirën tuaj të pritjes në faqen tuaj të internetit për të vepruar si një instruktor se si ndërvepron serveri me faqen tuaj. Nga ky arkiv, udhëzimet janë të pranishme duke lejuar ose mos lejuar sesi sillen disa agjentë të veçantë të përdoruesit.

Formati Themelor i një skedari robots.txt

Një skedar robots.txt përmban dy linja thelbësore:

Agjent i përdoruesit: [emri i agjentit të përdoruesit]

Mos lejoni: [Vargu URL të mos jetë i zvarritur]

Një skedar i plotë robots.txt duhet të përmbajë këto dy rreshta. Sidoqoftë, disa prej tyre mund të përmbajnë linja të shumta të agjentëve dhe direktivave të përdoruesve. Këto komanda mund të përmbajnë aspekte të tilla si lejimi, mos lejimi ose zvarritja e zvarritjes. Zakonisht ka një ndërprerje të linjës e cila ndan secilin grup udhëzimesh. Secila nga udhëzimet lejon ose nuk lejon është e ndarë me këtë pushim të linjës, veçanërisht për robotët.txt me linja të shumta.

shembuj

Për shembull, një skedar robots.txt mund të përmbajë kode si:

Përdoruesi-agjent: darodar

Mos lejoni: / plugin

Mos lejoni: / API

Mos lejoni: / _ komentet

Në këtë rast, kjo është një skedar bllok robots.txt që kufizon zvarritësin e faqes Darodar nga qasja në faqen tuaj të internetit. Në sintaksën e mësipërme, kodi bllokon aspektet e faqes në internet, si shtojcat, API, dhe pjesa e komenteve. Nga kjo njohuri, është e mundur të arrihen përfitime të shumta nga ekzekutimi i skedarit të tekstit të një robot në mënyrë efektive. Skedarët Robots.txt mund të jenë në gjendje të kryejnë funksione të shumta. Për shembull, ata mund të jenë të gatshëm për:

1. Lejoni të gjithë përmbajtjen e crawlers në një faqe në internet. Për shembull;

Agjent i përdoruesit: *

lejoj:

Në këtë rast, të gjithë përmbajtjen e përdoruesit mund të arrihen nga çdo crawler web që u kërkohet të shkojë në një faqe interneti.

2. Bllokoni një përmbajtje specifike në internet nga një dosje specifike. Për shembull;

Agjent i përdoruesit: Googlebot

Mos lejoni: / shembull-nën-dosje /

Kjo sintaksë që përmban emrin e agjentit të përdoruesit Googlebot i përket Google. Kufizon bot-in të hyjë në çdo faqe në internet në vargun www.ourexample.com/example-subfolder/.

3. Bllokoni një zvarritës specifik në internet nga një faqe specifike në internet. Për shembull;

Përdoruesi-agjent: Bingbot

Mos lejoni: /example-subfolder/blocked-page.html

Përdoruesi agjent Bing bot i përket crawlers të internetit Bing. Ky lloj skedari robots.txt kufizon zvarritësin e uebit të Bing nga hyrja në një faqe specifike me vargun www.ourexample.com/example-subfolder/blocked-page.

Informacion i rendesishem

  • Jo çdo përdorues përdor skedarin tuaj robts.txt. Disa përdorues mund të vendosin ta injorojnë atë. Shumica e zvarritësve të tillë në internet përfshijnë Trojans dhe malware.
  • Që një skedar Robots.txt të jetë i dukshëm, ai duhet të jetë i disponueshëm në drejtorinë e faqes së nivelit të lartë.
  • Karakteret "robots.txt" janë të ndjeshëm ndaj rasteve. Si rezultat, ju nuk duhet t'i ndryshoni ato në asnjë mënyrë përfshirë kapitalizimin e disa aspekteve.
  • "/Robots.txt" është domen publik. Dokush mund të jetë në gjendje të gjejë këtë informacion kur duke e shtuar atë në përmbajtjen e çdo URL. Ju nuk duhet të indeksoni detajet thelbësore ose faqet për të cilat dëshironi që ato të mbeten private.