- مسافرت رفتن نیز نیاز به وسیله‌ای برای رفتن و جایی برای ماندن دارد!
- Robots.txt یک فایل متنی است که مدیران وب‌سایت برای آموزش به ربات‌های وب (معمولاً روبات‌های موتورهای جستجو) ایجاد می‌کنند که چگونه صفحات را در وب‌سایت خود بخزند.
- ربات‌های موتورهای جست‌وجو فقط دستورات Disallow و Allow را قبول دارند و می‌دانند.
- با robots.txt میتوانید خزنده‌ها را از فایل‌هایی که نمی‌خواهید در جستجوها ظاهر شوند، دور کنید.
پس از وارد کردن آدرس سایت کد موجود در صفحه را کپی کرده و در بخش DNS manager هاست خود اضافه نمایید. در این صفحه میتوانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید. لزوم استفاده از فایل Robots.txt خصوصا در سایت های فروشگاهی که تعداد صفحات بی شماری دارند، اهمیت بسیار بالایی پیدا می کند.
این که ربات‌های خزنده هر چند وقت یک بار به سایت شما سر می‌زنند به چند فاکتور بستگی دارد. هر چه در طول روز تعداد بیشتری محتوا در وب‌سایت‌تان قرار بگیرد و تغییرات سایت اهمیت زیادی داشته باشد، ربات‌های جستجوگر دفعات بیشتری به سایت شما مراجعه می‌کنند. برای مثال، در وبسایت‌های خبری که همیشه در حال انتشار خبر و به‌روزرسانی اخبارشان هستند ربات‌ها با سرعت بیشتری صفحات را بررسی و ایندکس می‌کنند. Robots.txt نحوه خزیدن در صفحات مختلف وب‌سایت را به ربات‌ها اعلام می‌کند در حالی که متا ربات و ربات X رفتارهای یک صفحه یا محتویات یک صفحه را به ربات‌های خزنده اعلام می‌کنند.
با این حال باید توجه داشت که موتورهای جستجو گوگل و بینگ در این جا اجازه دسترسی خواهند داشت چرا که طول کاراکترهای دستورالعمل بیشتر از Allow می باشد. در مثال بالا به هیچ یک از موتورهای جستجو از جمله گوگل و بینگ اجازه دسترسی به پوشه /about/ directory داده نمی شود که این عدم اجازه دسترسی شامل مسیر /about/company/ نیز می شود. در مثال بالا هیچ یک از موتورهای جستجو به مسیری که شامل پوشه مجله خبری سئو /wp-admin/ است دسترسی ندارند و همینطور دو نقشه سایت را نیز تعریف کرده ایم که در آدرس های بیان شده موجود می باشند. شما می توانید به موتورهای جستجو بگویید که به فایل ها، صفحات یا لینک های خاصی از وب سایت شما دسترسی نداشته باشند. در زمان استفاده از فایل robots.txt باید توجه داشته باشید که این امکان وجود دارد تا شما دسترسی موتورهای جستجو به بخش عظیمی از سایت خود را مسدود کنید.