A file robots.txt disimpen dina akar ramatloka anjeun bakal ngabejaan robot web kawas search engine spiders naon directories jeung payel aranjeunna diwenangkeun ngorondang. Ieu gampang keur ngagunakeun file robots.txt, tapi aya sawatara hal nu kudu inget:
- Hideung hat robot web bakal malire file robots.txt Anjeun. Jenis paling umum nyaéta bot malware jeung robot pilari alamat email nepi ka panén.
- Sababaraha programer anyar bakal nulis robot nu malire file robots.txt. Ieu biasana dilakukeun ku kasalahan.
- Saha bisa ningali file robots.txt Anjeun. Aranjeunna sok disebut robots.txt na sok disimpen dina akar website.
- Tungtungna, upami batur numbu ka berkas atawa diréktori anu kaasup ku file robots.txt anjeun ti kaca nu teu kaasup ku file robots.txt maranéhanana, dina mesin pencari bisa manggihan eta atoh.
Ulah make file robots.txt nyumputkeun nanaon penting. Gantina, Anjeun kedah nyimpen informasi penting tukangeun kecap akses aman atawa ninggalkeun eta kaluar web sagemblengna.
Kumaha Paké ieu Sampel Payil
Nyalin téks ti sampel nu mangrupa pangdeukeutna naon rék ngalakukeun, teras lebetkeun file robots.txt Anjeun. Ngarobah robot, diréktori, jeung ngaran file pikeun cocog konfigurasi Anjeun pikaresep.
Dua Robots.txt Payil Dasar
Pamaké-agén: *
Disallow: /
file ieu nyebutkeun yen sagala robot (pamaké-agén: *) nu aksés sakuduna malire unggal kaca dina loka (Disallow: /).
Pamaké-agén: *
Disallow:
file ieu nyebutkeun yen sagala robot (pamaké-agén: *) nu aksés eta nu diwenangkeun pikeun nempo unggal kaca dina loka (Disallow:).
Anjeun oge bisa ngalakukeun ieu ku cara ninggalkeun file robots.txt anjeun kosong atawa teu ngabogaan salah dina situs anjeun pisan.
Ngajaga directories spésifik Ti Robot
Pamaké-agén: *
Disallow: / CGI-bin /
Disallow: / temp /
file ieu nyebutkeun yen sagala robot (pamaké-agén: *) nu aksés sakuduna malire directories / CGI-bin / jeung / temp / (Disallow: / CGI-bin / Disallow: / temp /).
Ngajaga Kaca husus Ti Robot
Pamaké-agén: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
file ieu nyebutkeun yen sagala robot (pamaké-agén: *) nu aksés sakuduna malire payil /jenns-stuff.htm na /private.php (Disallow: Disallow /jenns-stuff.htm: /private.php).
Nyegah Robot spésifik ti Ngaksés Loka anjeun
Pamaké-agén: Lycos / xx
Disallow: /
file ieu nyebutkeun yén Lycos bot (pamaké-agén: Lycos / xx) teu diwenangkeun aksés mana dina loka (Disallow: /).
Ngawenangkeun Ngan Hiji spésifik Aksés Robot
Pamaké-agén: *
Disallow: /
Pamaké-agén: Googlebot
Disallow:
file ieu munggaran disallows sadayana robot kawas urang teu luhur, lajeng eksplisit ngamungkinkeun nu Googlebot (pamaké-agén: Googlebot) boga aksés ka sagalana (Disallow:).
Ngagabungkeun langkung Galur mun Cokot Persis nu Exclusions Anjeun Hayang
Bari éta hadé pikeun ngagunakeun jalur pamaké-agén pisan inklusif, kawas pamaké-agén: *, Anjeun tiasa jadi husus salaku anjeun resep. Inget yen robot baca file dina urutan. Ku kituna lamun garis kahiji nyebutkeun yén sakabeh robot nu dipeungpeuk tina sagalana, lajeng engké on di file eta nyebutkeun yen sakabeh robot anu diwenangkeun aksés ka sagalana, anu robot kudu aksés ka sagalana.
Mun anjeun teu surti naha anjeun geus ditulis file robots.txt Anjeun neuleu, anjeun tiasa nganggo webmaster Pakakas Google mariksa berkas robots.txt Anjeun atawa nulis salah anyar.