فایل robots.txt یک فایل متنی است که وبمستران باید خودشان بسازند. این فایل به رباتهای موتورهای جستجو فرمان میدهد کدام صفحات وب را خزش کرده یا کدام صفحات را نباید خزش کنند. طبق پروتکل REP (Robots Exclusion Protocol) استانداردهایی برای ساماندهی به وضعیت خزیدن وب توسط رباتها، دسترسی به صفحات وب و ایندکس کردن آنها برای دسترسی کاربران تعیین شده است. فایل robots.txt و لینکهای فالو و نوفالو نیز بخشی از پروتکل REP هستند. بیشتر بخوانید: ثبت سایت در گوگل وبمستر – معرفی سایت به کنسول گوگل فایل Robots.txt چیست دستورات قابل پشتیبانی در فایل robots.txt به طور کلی پنج دستور مهم در فایل robots.txt وجود دارد که در ادامه با آنها آشنا خواهید شد: دستور user-agent دستور user-agent به تنهایی نمیتواند یک دستور کامل باشد، بلکه باید در کنار یکی از سه دستور بعدی استفاده شود. این دستور نوع رباتی که باید از دستورات بعدی اطاعت کند را مشخص میکند. برای مثال اگر قصد داشته باشید برای رباتهای گوگل دستوری صادر کنید، نام رباتهای گوگل (googlebot) را مینویسید. همچنین اگر دستور برای تمام رباتهاست باید در مقابل user-agent: از علامت ستاره (*) استفاده شود. دستور disallow بعد از اینکه رباتهای موردنظر مشخص شدند، وقت آن است تا برایشان دستور صادر شود. دستور disallow به معنی «اجازه ندادن» است. بنابراین طبعاً باید صفحاتی را که ربات مذکور نباید کرول کند (بخزد) را در مقابل آن نوشت. توجه داشته باشید که روت دامین نباید نوشته شود و فقط بعد از اسلش را بنویسید. نکته دیگر اینکه، چنانچه... بیشتر بخوانید »
آخرین دیدگاهها