- پس فایل ربات صرفا برای جلوگیری از کراول نیست و موتورهای جستجو در هر صورت صفحات شما را ایندکس و کراول می‌کنند اما با فایل ربات به آنها اطلاع می‌دهید که این صفحات را در نتایج جستجو نمایش ندهد.
- تمامی حقوق برای وب سایت ” وب جوان ” محفوظ می‌باشد و هرگونه کپی برداری با ذکر منبع بلامانع است.
- «بودجه خزیدن» تعداد صفحاتی است که Googlebot در مدت زمان معینی در یک سایت می خزد و فهرست می کند.
- در غیر این صورت به پوشه public_html در هاست خود بروید و یک فایل متنی با نام robots.txt ایجاد کنید و محتوای آن را مطابق با نیازهای خود و مطالب ارائه شده در این مقاله اصلاح کنید.
Robots.txt چیست؟
چرا باید بگویم که این فایل وجود دارد و اتفاقات داخل آن را گفتم. یک User-agent می‌تواند تنها با یک مجموعه قوانین مطابقت داشته باشد، که اولین و خاص ترین گروهی است که با یک User-agent مشخص مطابقت دارد. دستور Disallow را می توان به روش‌های مختلفی مورد استفاده قرار داد که چندین مورد از آنها در مثال بالا نمایش داده شده است. چگونه یک فایل robots.txt ایجاد کنیم؟قوانین قالب و مکان1- نام فایل باید robots.txt باشد. این کار فقط به خزنده بینگ (نام عامل کاربر Bing) می‌گوید که از خزیدن صفحه خاص در /example-subfolder/blocked-page.html اجتناب کند. هنگامی که یک برنامه، اتصال به یک وب سرور را آغاز می‌کند (خواه یک ربات باشد یا یک مرورگر وب استاندارد)، اطلاعات اولیه هویت خود را از طریق یک هدر HTTP به نام “user-agent” ارائه می‌دهد که منظور همان عامل کاربر است.
ترتیب اولویت ها در داخل این فایل
فایل Robots.txt یک فایل متنی است که مدیران وب‌سایت‌ها برای آموزش به ربات‌های موتورهای جستجو ایجاد می‌کنند. این فایل حاوی لیست صفحات و محتواهایی است که موتورهای جستجو نیازی نیست آنها را بررسی کرده و دسته بندی کنند. به طور کلی استفاده از فایل Robots.txt برای محدود ساختن دسترسی ربات‌ها به برخی صفحات گزینه بهتری محسوب می‌شود زیرا اجرا و پیاده سازی تگ نوایندکس بر روی منابع چندرسانه‌ای کمی دشوار است. از طرفی دیگر نیز محدود ساختن تعداد زیادی صفحه در سایت از طریق فایل Robots.txt بسیار ساده است و با افزودن یک آدرس به فایل انجام می‌شود اما تگ نوایندکس باید به صورت دستی به هر صفحه اضافه شود. بنابراین برای جلوگیری از ایندکس صفحات سایت، فایل ربات ساز نسبت به متا تگ noindex انتخاب هوشمندانه‌تری به نظر می‌رسد.
یعنی کراولر صفحه‌ی شما را کراول و شناسایی می‌کند اما نمی‌تواند و حق ندارد محتوای شما را در نتایج نشان دهد. برای صفحاتی محرمانه‌ای که نباید به صورت عمومی نمایش داده شوند ایجاد پسورد و یا شناسایی IP پیشنهاد می‌شود. ربات موتورهای جستجو با خزیدن و بررسی کردن صفحات مختلف در سایت‌های مختلف، صفحات را ایندکس کرده و با استفاده از الگوریتم رتبه بندی خود، نتایج را مرتب کرده و در صفحه نتایج موتورهای جستجو نشان می‌دهند. موتورهای جستجو لینک‌های موجود در هر صفحه را دنبال می‌کنند و از سایت A به سایت B رفته و از سایت B به سایت C و این فرایند را به همین شکل ادامه می‌دهند. خزیدن ربات در موتورهای جستجو ارزشمند است، اما خزیدن می‌تواند سایت‌هایی را که قدرت رسیدگی به بازدید ربات‌ها و کاربران را ندارند، تحت تأثیر قرار دهد.