کد بالا به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است. در نهایت، ما با بررسی Crawl Rate و Crawl Demand، مقدار Crawl Budget یک وبسایت را تعریف میکنیم. مجله خبری سئو در واقع Crawl Budget، تعداد URLهایی است که ربات گوگل میخواهد و میتواند ایندکس کند. Crawl Stats وجود دارد که دفعات بررسی صفحههای سایت به صورت روزانه را نمایش میدهد.
آیا گوگل از دستورات ایجاد شده در فایل txt پیروی میکند؟
به طور کلی فایل هایی که در دستور disallow قرار داده می شوند توسط ربات های گوگل خزیده نمی شوند. درنهایت، پس از واردکردن دستورات، بر روی گزینه Test که در پایین صفحه در سمت راست قرار دارد، کلیک کنید.اگر نوشته دکمه از Test به Allowed تغییر یافت به این معنی است که فایل robots.txt شما معتبر است. با ترکیب این دو دستور شما قادر خواهید بود قوانین مختلفی برای دسترسی به صفحات داخلی سایت خود وضع کنید. برای مثال با یک User-agent میتوان مشخص کرد چندین آدرس را معرفی نمود و یا برعکس این کار. این دستور به ربات گوگل میگوید که اجازه مشاهده و ایندکسِ فایل seo.png را دارد، علیرغم اینکه فولدر Photos از دسترس رباتها خارجشده است. دستور Disallow به رباتها میگوید که چه فولدرهایی از سایت شمارا نباید بررسی کنند.
ایندکس گوگل به فایل ربات سایت احترام زیادی نمیگذارد
حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید. بعد از این که فایل را ساختید آن را باید در سرور میزبان سایت آپلود کنید. حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. با نگاه کردن به فایلهای robots.txt دیگر سایتها میتوانید از آنها برای سایت خودتان الگو بگیرید. راههای دیگر جایگزین برای حذف صفحه از نتایج جستجئی گوگل را در ادامه معرفی میکنیم. با این حال از اول سپتامبر 2019 گوگل پشتیبانی از این دستورالعمل را به طور کامل متوقف کرد.
موتورهای جستجوگر شناخته شده نظیر گوگل، بینگ و… این توانایی را دارند که با بررسی محتویات فایل Robots.txt درک بهتری نسبت به ساختار یک سایت پیدا کنند و از برخی دستورات داده شده پیروی کنند. Robots.txt مخفف شده عبارت Robots Exclusion Protocol میباشد که به معنی پروتکل حذف ربات میباشد. اگر اجازه بررسی صفحهای را با دستورات فایل ربات نداده باشیم باز هم امکان دارد گوگل آن را ایندکس کند و در نتایج جستجو ظاهر شود. ربات گوگل یا باید به صورت مستقیم صفحه را دریافت و بررسی کند (معمولاً به کم نقشه سایت) یا باید از لینکهای دیگری که از صفحهها و سایتهای دیگر به آن صفحه دادهاند آن را پیدا و بررسی کند.
- اگر تعداد صفحاتی که شما می خواهید با تعداد صفحات فهرست بندی شده برابر بودند.
- به عبارت دیگر، ربات گوگل باید ارزشمندترین و مهمترین صفحات شما را بهتر و بیشتر بررسی کند.
- چگونگی تاثیر سرعت سایت بر سئو و رتبه بندی گوگل (راهنمای 2021 در خصوص سرعت…
- ما با سئورب، سایتی که در زمینه آموزش سئو است، از سال 96 کار خودمان رو شروع کردیم.
هنگامی که فایل robots.txt خود را در رایانه خود ذخیره کردید، آماده است تا آن را در اختیار خزنده های موتورهای جستجو قرار دهید. هیچ ابزاری وجود ندارد که بتواند در این مورد به شما کمک کند، زیرا نحوه آپلود فایل در سایت شما به معماری سایت و سرور شما بستگی دارد. در مبحث شبکه، پروتکل قالبی برای ارائه دستورالعملها یا دستورات است.
فایل Robots.txt چیست و چه کاربردی دارد؟