کاوشگران صنعت پارس آرین کاوشگران صنعت پارس آرین robots.txt آموزش ساخت | دانلود پروژه رایگان و تازه های تکنولوژی و کامپیوتر
۳

robots.txt آموزش ساخت

از ورود خزنده های موتورهای جستجو جلوگیری کند مسیر ساخت فایل روبوتس تکس به صورت زیر است

http://www.example.com/robots.txt

آموزش ساخت فایل به این صورت است که بعد از تنظیم پیش فرض ها فایل ها و آدرسهایی از سایت را که نمی خواهیم موتور جستجو وارد آن شوند را مشخص می کنیم و در فایل قرار می دهیم
User-agent: *
 Disallow: /image/
Disallow: /image/picture.png/     
Disallow: /simple.html/
Disallow: /simple.zip/

برای جلوگیری از ورود موتور جستجو روش دیگری هم می توان استفاده کرد که به صورت روبرو است

<meta name="robots" content="noindex" />

و در قسمت هدر قرار می دهیم تا صفحه مورد نظر ما در موتور جستجو ایندکس نشود

اضافه کردن نقشه سایت به انتهای فایل

فایل روبوتس علاوه بر جلوگیری از ورود موتورهای جستجو میتواند نقشه سایت شما را نیز به ربات ها معرفی کند برای این کار باید آدرس فایل نقشه سایت را به انتهای فایل اضافه کنید robots.txt

User-agent: * 
 Disallow: /image/    
 Disallow: /simple.html/
 Disallow: /simple.zip/

Sitemap: http://www.nicom.ir/sitemap.xml

3 دیدگاه در “robots.txt آموزش ساخت

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *