این بهینه‌سازی Crawl Rate Limit نام دارد که برای ارائه تجربه کاربری بهتر، تعداد صفحات قابل Crawl در یک روز را محدود می‌کند. در صورتی که شما هم قصد دارید تا سئو سایت خود را به صورت کاملا حرفه ای بهینه سازی کنید بهتر است که با تمامی جنبه های مختلف فایل robots.txt آشنا شوید و از نیروهای متخصص برای پیاده سازی این فایل استفاده کنید. در حال حاضر موتور جستجوی گوگل از حداکثر سایز 500 کیلوبایت برای فایل robots.txt پشتیبانی می کند. در زمان پیاده سازی این قطعه کد در فایل robots.txt توجه داشته باشید که این کار باعث قطع شدن دسترسی تمامی ربات های گوگل می شود. دلیل اول این است که شما نمی خواهید درباره تنظیماتی که برای خزیدن ربات های موتورهای جستجو در وب سایت خود اعمال کرده اید ابهامی وجود داشته باشد.
- به عنوان مثال ربات های موتور جستجوی گوگل از Googlebot برای انجام این کار استفاده می کنند، ربات های یاهو از Slurp و ربات های موتور جستجوی بینگ نیز از BingBot استفاده می کنند.
- ابزارInspector چیست؟ ابزاری به نام developer tool یک ابزار کاربردی است که در مرورگرهای مطرح وجود دارد.
- Robots.txt فایل، یک فایل متنی می باشد که در Root Directory (روت دایرکتوری) یا مسیر اصلی هاست فضای وب سایت تان قرار دارد.
- در اوایل مقاله با انواع ربات‌ها و خزنده‌های سطح وب آشنا شدیم، حتی به صورت دقیق‌تر اسامی و وظیفه مهم‌ترین ربات‌های گوگل را هم بررسی کردیم.
- هر خزنده ای ممکن است سینتکس کد شما را متفاوت تفسیر کنداگرچه خزنده‌های وب معتبر دستورالعمل‌های موجود در فایل robots.txt را قبول می‌کنند، اما هر خزنده ممکن است دستورالعمل‌ها را متفاوت تفسیر کند.
این فایل کاملا قایل دسترسی است و می‌توانید اطلاعات داخل آن را بخوانید و یا ویرایش کنید و افراد مختلف نیز صرفا با اضافه کردن این پسوند به لینک وبسایت شما می‌توانند آن را ببینند. موتورهای جست‌وجو برای خزیدن در سایت‌ها لینک‌ها را دنبال می‌کنند و از این سایت به سایت‌های دیگر می‌روند تا میلیاردها صفحه و لینکهای دیگر را کشف کنند. برخی این حرکت موتورهای جست‌وجو را به عنکبوت نسبت داده‌اند و نامش را گذاشته‌اند. در همین حال یک ربات کراولر موتورهای جست‌وجو، پس از ورود به سایت و قبل از Spidering، به دنبال فایل Robot.txt سایت می‌گردد. موتورهای جستجوگر شناخته شده نظیر گوگل، بینگ و… این توانایی را دارند که با بررسی محتویات فایل Robots.txt درک بهتری نسبت به ساختار یک سایت پیدا کنند و از برخی دستورات داده شده پیروی کنند.