قدم به قدم جلو می‌رویم تا ببینیم چطور می‌توان از فایل Robots.txt استفاده کرد؛ چطور می‌توانیم ربات‌ها را محدود کنیم، چطور از ایندکس شدن صفحه‌ها جلوگیری کنیم و در نهایت یک فایل Robots.txt عالی بسازیم. با وجود این که امروزه تمامی موتورهای جستجو به این دستورالعمل ها احترام می گذارند ولی باید توجه داشت که پیروی از آنها برای هیچ یک از موتورهای جستجو اجباری نیست. توجه داشته باشید که فایل Robots.txt تنها یک دستورالعمل اختیاری است که ممکن است برخی از موتورهای جستجو اقدام به اجرای آن نکنند. شما نمی خواهید که موتورهای جستجو در بخش های admin وب سایت شما بخزند. با این حال باید توجه داشته باشید که گوگل از امکان تعریف یک crawl rate یا نرخ خزیدن که به آن نرخ درخواست نیز گفته می شود پشتیبانی می کند که شما می توانید از طریق کنسول جستجوی گوگل به آن دسترسی داشته باشید. در غیر این صورت موتورهای جستجو در زمان تجزیه فایل robots.txt سردرگم می شوند.
فایل Robots.txt شامل URLهایی است که نمی‌خواهید توسط ربات‌های گوگل و یا هر موتور جستجوگر دیگری ایندکس شوند و در معرض دید کاربران قرار گیرند. بنابراین فایل ربات ساز از ورود ربات‌ها به صفحات موردنظر شما جلوگیری کرده و ایندکس شدن آنها را ممنوع خواهد کرد. اگر نمی توانید به ریشه وب سایت خود دسترسی پیدا کنید، از یک روش مسدودسازی جایگزین مانند متا تگ‌ها استفاده کنید. پروتکل سایت مپ (نقشه سایت) به ربات‌ها کمک می کند تا بدانند چه چیزی را در خزیدن خود در یک وب سایت قرار دهند. گاهی اوقات به جای فهرست کردن همه فایل‌ها به صورت جداگانه، مسدود کردن چندین صفحه به طور همزمان کارآمدتر است.
چگونه می‌توانیم یک فایل Robots.txt ایجاد کنیم؟
به کمک فایل robots.txt می‌توانیم دقیقا مشخص کنیم که کدام یک از این ربات‌ها به کدام بخش‌های سایت اجازه دسترسی دارند و کدام یک باید دارای محدودیت‌هایی برای بررسی سایت‌مان باشند. در این حالت، برای جلوگیری از نمایش صفحاتی که علاقه‌ای به نمایش آنها در نتایج گوگل نداریم از فایل robots.txt کمک می‌گیریم و آدرس این گونه صفحات را از دسترس خزنده‌های گوگل خارج میکنیم. Robots.txt فایل، یک فایل متنی می باشد که در Root Directory (روت دایرکتوری) یا مسیر اصلی هاست فضای وب سایت تان قرار دارد.
کد robots.txt خود را از صفحه robots.txt تستر با کلیک روی دانلود در کادر گفتگوی ارسال دانلود کنید. کدام دایرکتوری ها یا فایل هایی که user-agent نمی تواند به آن دسترسی داشته باشد. کدام دایرکتوری ها یا فایل هایی که user-agent می تواند به آن دسترسی داشته باشد. هر مجموعه دستور از چندین قانون یا دستورالعمل (دستورالعمل) تشکیل شده است، یک دستورالعمل در هر خط.
- فایل‌های robots.txt برای خزنده‌های وب موتورهای جستجو مانند Google مرتبط هستند.
- مثال‌های زیر نشان می‌دهند که خزنده‌های Google کدام قانون را روی یک URL خاص اعمال می‌کنند.
- حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید.
- موتورهای جستجو و دیگر پایشگرهای وب پس از ورود به یک سایت می دانند که بایستی به دنبال یک فایل robots.txt باشند.
اگر صفحاتی با محتوا یکسان در سایت خود داشته باشید بلافاصله ربات ها تشخیص می دهند و برای شما شناسایی می شود. اگر فکر میکنید نوشتن فایل ربات کار پیچیده و سختی است باید بگوییم که اشتباه فکر کردید، زیرا بسیار ساده و کوتاه می توانید این فایل با ارزش را بنویسید. حتما برایتان پیش آمده است که برای انجام کاری به اداره و یا سازمان بزرگی مراجعه کرده باشید و به دلیل عدم آشنایی با بخش های مختلف آن، مستقیما از بخش اطلاعات سازمان مربوطه کمک گرفته باشید.