در فایل robots.txt دستورالعمل هایی تعیین می کنید که کدام بخش از دامنه توسط ربات ها خزیده شود یا نه. همانطور که مشاهده نمودید، این مقادیر، جلوی دسترسی به سایت را برای موتورهای جستجو میگیرد. حتی اگر این فایل در سایر مسیر ها وجود داشته باشد، پایشگر متوجه حضور آن نخواهند شد. بنابراین برای حصول اطمینان تاکید می کنیم که آن را در مسیر روت وب سایت قرار دهید. از نظر فنی می توانید فایل robots.txt خود را در هر دایرکتوری اصلی سایت خود قرار دهید.
آموزش ساخت فایل robots.txt
پس فایل ربات صرفا برای جلوگیری از کراول نیست و موتورهای جستجو در هر صورت صفحات شما را ایندکس و کراول میکنند اما با فایل ربات به آنها اطلاع میدهید که این صفحات را در نتایج جستجو نمایش ندهد. اعمال تغییرات ناخواسته در این فایل میتواند کل سایت یا بخش بزرگی از سایت شما را از دسترس موتورهای جستجو خارج کند. با تنظیم صحیح این فایل میتوانید فرایند خزش در سایت خود را بهینه سازی کنید و از فهرست شدن صفحات با محتوای تکراری جلوگیری کنید. بهطورکلی توصیه میشود که همیشه دستور فرعی ‘Sitemap’ را در کنار URL نقشه سایت در فایل robots.txt قرار دهید. اما در برخی موارد مشاهدهشده است که این کار باعث بروز خطاهایی میشود.
یک پسوند خاص را برای ممنوع کردن خزیدن مشخص کنیدبه عنوان مثال، خزیدن همه فایل های gif را ممنوع کنید. یک user-agent می تواند تنها با یک مجموعه قوانین مطابقت داشته باشد، که اولین و خاص ترین مجموعه دستوری است که با یک user-agent مشخص مطابقت دارد. این دستورات به پایشگر Bingbot (ربات پایشگر بینگ) اعلام می کند که صرفا یو آر ال /example-subfolder/blocked-page.html را پایش نکند. استفاده از تگ noindex برای پیاده سازی روی منابع چندرسانه ای مانند فیلم ها و فایل های PDF دشوار خواهد بود. اولین قدم شما این است که واقعاً فایل robots.txt خود را ایجاد کنید.
- هیچ ابزاری وجود ندارد که بتواند در این مورد به شما کمک کند، زیرا نحوه آپلود فایل در سایت شما به معماری سایت و سرور شما بستگی دارد.
- توصیه من به شما این است که برای بهبود سئو سایت خود همیشه از فایل robots.txt استفاده کنید.
- در واقع این خزندگان سطح وب، با بررسی این فایل، اطلاعات سایت شما را به ثبت می رسانند.
- درود بر شما، این فایل توسط افزونه های سئو مثل یوآست ساخته می شود.
- فایل robots.txt برای پیاده سازی بخش های ممنوع سایت برای موتورهای جستجو مورد استفاده قرار می گیرد و یک استاندارد برای انجام این کار به شمار می آید.
با توجه به محدود بودن این بودجه برای هر سایت، طبیعتا نباید اجازه دهیم بودجه خزش سایت ما صرف خزش محتواهایی از سایتمان شود که هیچ کمکی به افزایش ترافیک سایت ما نمیکنند. هنگامی که فایل robots.txt خود را آپلود و آزمایش کردید، خزنده های گوگل به طور خودکار فایل robots.txt شما را پیدا کرده و شروع به استفاده از آن میکنند. اگر فایل robots.txt خود را بهروزرسانی کردید و باید در اسرع وقت نسخه ذخیرهشده گوگل را بررسی کنید.
اگر دستورات متناقضی در فایل وجود داشته باشد، ربات از دستور granular بالاتر پیروی میکند. مجموعه وب جوان از سال 1397 تا سال 1399 در 4 پروژه سئو و بهینه سازی کامل ( 0 تا 100 ) اثر گذار بوده و در 12 پروژه نیز به عنوان مشاور وارد عرصه کاری شده است. استفاده از این مدل دستور در فایل robots.txt مجله خبری سئو به خزندههای وب میگوید که تمام صفحات از جمله صفحه اصلی را بخزند. در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود.
نمونه فایل Robots.txt برای سایت وردپرسی
به علاوه، اتفاقاتی که بر کل سایت تاثیر میگذارند مانند جابهجایی وبسایت، ممکن است میزان Crawl Demand را جهت ایندکس دوباره وبسایت بر روی آدرس جدید، افزایش دهند. فرض کنید اولین بار برای انجام یک کار اداری وارد سازمان بزرگی میشوید؛ هیچ جایی را هم نمیشناسید. مدیران این سازمان هم چون میدانند مراجعه کنندهها همهجا را نمیشناسند، پس کنار در ورودی یک باجه اطلاعات درست کردهاند و یک یا چند نفر را مسئول راهنمایی و نگهبانی گذاشتهاند. اگر این افراد راهنما و نگهبان نباشند، کل سازمان دچار هرج و مرج میشود. هرکسی برای انجام کارهایش راهروها را بالا و پایین میکند و کارمندان هم نمیتوانند کارها را به درستی انجام دهند.
در غیر اینصورت احتمالا متا تگ نوایندکس گزینه بهتری برای شما باشد.
تبلیغات همسان (Native Ads) چیست؟