در حال حاضر بهترین راه برای حذف صفحه‌ای از نتایج جستجو، اضافه کردن دستور noindex در قسمت head صفحه‌ها است. اگر از وردپرس استفاده می‌کنید افزونه‌هایی برای این کار وجود دارد و در غیر اینصورت باید از طراحی وبسایت خود بخواهید که امکاناتی برای افزودن این کد‌ها یا دستورات در قسمت هد هر صفحه فراهم کند. در اینجاست که ساخت فایل Robots.txt به کمک شما می‌آید و این مشکل را به راحتی برطرف می‌سازد.
مسدودکردن یک خزنده وب خاص از یک صفحه وب خاص:
اگر روزانه تعداد زیادی ربات برای بررسی و ایندکس صفحات وارد سایت شما شوند قطعا با مشکل افت سرعت مواجه خواهید شد. کاهش سرعت بارگذاری سایت نیز ارتباط مستقیمی با سئو و تجربه کاربران دارد. بنابراین با استفاده از فایل ربات ساز می‌توانید از کاهش سرعت سایت خود و ورود تعداد زیادی ربات به آن جلوگیری نمایید. با ایجاد فایل Robots.txt می‌توانید از ایندکس شدن صفحات غیرضروری سایت و یا صفحاتی که هنوز دارای محتوای مناسبی نیستند و یا قوانین سئو در آنها پیاده نشده است به راحتی جلوگیری نمایید. انجام این کار تاثیر مستقیمی بر سئو سایت شما دارد و تنها صفحات استاندارد و معتبر را در دسترس ربات‌ها و سپس کاربران قرار خواهد داد. پروتکل نقشه سایت کمک می‌کند تا مطمئن شوید که ربات های عنکبوتی وب در هنگام خزیدن یک وب سایت چیزی را از دست نمی‌دهند، اما ربات‌ها همچنان روند خزیدن معمول خود را دنبال می‌کنند.
استفاده از فایل robots.txt برای تمام سایت‌های متوسط و بزرگ تقریبا اجتناب ناپذیر است. اما در برخی سایت‌های کوچک با تعداد صفحه‌های محدود، می‌توان در مواردی حتی قید این فایل را هم زد و به موتورهای جستجو اجازه مجله خبری سئو داد تا تمام صفحات را بررسی کنند. اما نباید فراموش کنید که اگرچه می‌توان سایت مپ در داخل فایل ربات سایت به ربات‌های موتور جستجو گوگل معرفی کرد اما این روش بهترین روش معرفی سایت مپ به ربات‌های گوگل نیست.
آشنایی با ربات‌های گوگل
برای گذاشتن کامنت و یادداشت در داخل فایل ربات می‌توانیم از علامت # استفاده کنیم، به این ترتیب جلوی هشتگ هرچیزی که بنویسیم توسط ربات‌ها و خزنده‌ها نادیده گرفته می‌شود. در مرحله دوم، بعد از اینکه مشخص کردیم دقیقا با چه رباتی طرف هستیم، حالا باید مشخص کنیم که محدودیت‌های این ربات چیست و چه صفحات و منابعی از وبسایت شما را نباید بررسی کند. با اینکار در حقیقت اعلام می‌کنیم که تمام ربات‌ها مد نظر ما هستند و تمام ربات‌ها باید به دستورات ما توجه کنند و دیگر نیازی نیست اسامی تک تک ربات‌ها را بنویسیم.
از این دستور می‌توان به دو شکل در فایل robots.txt استفاده کرد. مطمئناً شما هم می‌خواهید ربات گوگل Crawl Budget سایت‌تان را به بهترین شکل ممکن مصرف کند. به عبارت دیگر، ربات گوگل باید ارزشمندترین و مهم‌ترین صفحات شما را بهتر و بیشتر بررسی کند.
مراحل ساخت و تست فایل robots.txt
در این مقاله قصد داریم تا طراحی سایت ابزار آلات را به طور کامل بررسی کنیم. اما گاهی در همین فرایند جستجو و کاوش کردن مطالب مشکلات و معضلاتی پیش می آید که لازمه آن داشتن اطلاعات پایه ای و اساسی از سئوی سایت است. (کاوش شدن شاید عبارت بهتری باشد) مطالب سایت توسط ربات های گوگل اثرگذار است، یک فایل متنی است موسوم به فایل Robots.txt. 5xx از آنجایی که سرور نمی تواند پاسخ قطعی به درخواست robots.txt گوگل بدهد، گوگل موقتاً خطاهای سرور را 5xx و 229 تفسیر می کند که گویی سایت کاملاً غیر مجاز است. Google سعی می‌کند فایل robots.txt را بخزد تا زمانی که کد وضعیت HTTP بدون خطای سرور را دریافت کند. اگر robots.txt بیش از 30 روز در دسترس نباشد، Google از آخرین نسخه کش شده robots.txt استفاده خواهد کرد.
یکی از نکات بسیار مهم در خصوص فایل robots.txt این است که برای هر دستورالعمل یک خط جداگانه را در نظر بگیرید. در واقع در این مثال موتورهای جستجو به لینک گفته شده دسترسی پیدا می کنند. دستورالعمل Allow در داخل فایل robots.txt دقیقا در مقابل دستورالعمل Disallow قرار می گیرد. شاید برای شما جالب باشد که بدانید جلوگیری از ایندکس شدن محتوای تکراری در سایت نیز با استفاده از همین فایل انجام می شود. به همین علت نیز باید قوانینی را تنظیم کنید تا موتورهای جستجو به صفحات تولید شده توسط این فیلتر دسترسی نداشته باشند. شما نمی خواهید که موتورهای جستجو این صفحات تکراری مربوط به فیلتر را ایندکس کنند و وقت خود را با این لینک های تکراری تلف کنند.
لینک های حاضر در صفحات بلاک شده توسط فایل robots.txt دنبال نخواهند شد. این مسئله بدین معناست که در صورت عدم وجود آن لینک در هیچ کجای وی یا یک صفحه بلاک نشده دیگر از وب سایت شما، توسط موتورهای جستجو دیده نشده و در نتیجه ایندکس نخواهد شد. در صورتی که دارای صفحاتی هستید که در کنار ایندکس نشدن نیاز است که اعتبار آنها به لینک ها انتقال یابد، بایستی دنبال مکانیسم دیگری باشید. فایل Robots.txt فایلی برای گزارش ساختار صفحات وب به ربات‌های کراولر است تا بدانند کدام صفحات باید در موتورهای جستجو نمایش داده شوند و کدام صفحات نمایش داده نشوند.
- فرض کنید که شما در حال پیاده سازی یک وب سایت در حوزه تجارت الکترونیک هستید و بازدیدکنندگان از سایت شما می توانند برای جستجوی سریع تر در میان محصولات شما از یک فیلتر استفاده کنند.
- اجازه دسترسی به یک خزنده را بدهیدفقط googlebot-news ممکن است کل سایت را بخزد.
- راحت‌ترین راه حذف کردن صفحه‌ای از نتایج جستجو استفاده از دستورهای به اصطلاح متا تگ در قسمت هد صفحه است.
- هنگامی که فایل robots.txt خود را دارید، وقت آن است که آن را زنده کنید.