اما ربات موتور جستجو با مشاهده یک صفحه جدید در یک سایت یا یک سایت کاملا جدید که پیش از این مشاهده نکرده است، فایل Robots.txt را بررسی میکند تا از وضعیت مجوز برای بررسی و فهرست کردن صفحه یا سایت جدید را اطلاع یابد. فایل Robots.txt یک فایل متنی ساده (با پسوند txt) است که توسط موتورهای جستجو و برخی سیستمهای دیگر خوانده میشود و نام دیگر آن «Robots Exclusion Protocol» به معنی پروتکل حذف رباتها است. این فایل حاصل یک اجماع بین توسعه دهندگان موتورهای جستجو در روزهای ابتدایی بوجود آمدن اینترنت است ولی همچنان اغلب موتورهای جستجو بدان پایبند هستند. تعیین تأخیر خزیدن به منظور جلوگیری از بارگیری بیش از حد سرورهای سایت، زمانیکه رباتهای خزنده در یک زمان چندین URL را بارگیری میکنند. در هنگام طراحی سایت، مطمئن شوید که از این فایل در هیچکدام از URL هایی که می خواهید توسط گوگل ایندکس شوند و نتایج آنها نمایش داده شوند، استفاده نکرده اید.
دستور Sitemap
اگر این کارها را با موفقیت انجام دهید، ساعت و تاریخ آخرین بررسی فایل ربات به زمانی بعد از درخواست تغییر میکند. برای اطمینان هم میتوانید دوباره از همین ابزار برای مطمئن شدن مجله خبری سئو استفاده کنید. برای دسترسی به دایرکتوری Root وبسایتتان میتوانید به اکانت هاستینگ وبسایت وارد شوید. امکان دارد هر کدام از رباتها دستورات را به شکل متفاوتی درک کند.
- برای مثال اگر نمیخواهید موتورهای جستجو، تصاویر وبسایتتان را ایندکس کنند، میتوانید تمام تصاویر سایت را درون یک پوشه در هاستینگ خود قرار دهید و از دسترس موتورهای جستجو خارج سازید.
- در این مقاله در رابطه با اصول طراحی وبسایت مدرن صحبت میکنیم و عوامل مهم در این طراحی را بررسی میکنیم.
- فایل robots.txt فایلی جهت مشخص کردن دسترسی موتورهای جستجو به وب سایت است.
- مواردی نیز وجود دارد که در آن شما نمی خواهید هیچ گونه بودجه ای را برای ورود به صفحه Google با برچسب noindex هدر دهید.
به این ترتیب ربات Googlebot که اصلیترین ربات گوگل است متوجه میشود که باید به دستورات خاصی توجه کند. اگر نگران یادگیری این دستورات هستید، باید خیالتان را راحت کنم، چرا که این دستورات خیلی خیلی سادهتر از تصورتان هستند و در کل تنها با 4 دستور زیر به راحتی میتوانیم تمام اقدامات مورد نیاز در فایل robots.txt را انجام دهیم. هرکدام از این رباتها با توجه به شناختی که از سایت ما پیدا میکنند با نرخ مشخصی به نام “Crawl Budget” به سایتمان سر میزنند و تغییرات آن را بررسی میکنند. حالا که تا حدودی متوجه شدیم که کلیت این فایل چیست، بد نیست که نگاهی به نقشهای فایل robots.txt و دلایل اهمیت آن بپردازیم و دقیقا مشخص کنیم که چرا سایتمان باید حاوی فایل robots.txt باشد. پس از آپلود فایل robots.txt در ریشه سرور، بررسی کنید که آیا برای عموم قابل دسترسی است یا خیر و آیا گوگل میتواند آن را بررسی کند.