- این فایل به جای دیگری در سایت پیوند داده نشده است، بنابراین کاربران به احتمال زیاد به آن برخورد نمی کنند، اما اکثر رباتهای خزنده وب قبل از خزیدن سایت، به دنبال این فایل میگردند.
- یکی از ابزارهای مختلف که به شما در بررسی صحت فایل robots.txt کمک میکند استفاده از ابزار تست robots.txt گوگل است.
- اما فراموش نکنید که ربات هایی هم هستند که اصلا توجهی به این محدودیت ها ندارند و به همه بخش ها مراجعه می کنند.
- با استفاده از این فایل شما در حقیقت به معرفی بخش های قابل دسترس و همچنین مشخص نمودن بخش هایی که نمی خواهید ربات های جستجوگر سطح وب یا همان Web Crawlers به آن ها دسترسی داسته باشند؛ می پردازید.
- گوگل پیشنهادات مختلفی را در خصوص ربات های خزنده در موتورهای جستجو ارائه داد که برخی از آنها مورد تایید قرار گرفته و پیاده سازی شدند.
رباتها به کوچک یا بزرگ بودن دستورات حساس هستند
محدودیتهای دستورات Robots.txt
پروتکل ممانعت از رباتها یک استاندارد وب است که چگونگی خزیدن رباتهای موتورهای جستوجو، دسترسی و ایندکس محتوا و در اختیار گذاشتن محتوا به کاربران را تعیین میکند. این پروتکل همچنین شامل راهنماییهایی مانند متا رباتها و همچنین دستورالعملهای صفحههای اصلی و فرعی وب برای اینکه موتورهای جستوجو چگونه با لینکها (مانند لینکهای فالو یا نوفالو) برخورد کنند، نیز است. در عمل، فایل Robots.txt مشخص میکند برخی رباتهای موتور جستوجو میتوانند یا نمیتوانند به بخشهایی از سایت دسترسی پیدا کنند.