فایل robots.txt باید یک فایل متنی ساده با کدگذاریUTF-8باشد و خطوط باید با CR یا CR/LF یا LF از هم جدا شوند. گوگل به عنوان محبوب ترین موتور جستجو تلاش می کند هر روز بیشتر از قبل میزان رضایت کاربر از جستجو را افزایش دهد. همزمان با پیشرفت دنیای وب و محبوب تر شدن گوگل، نحوه جستجوی کاربران نیز با تغییرات چشم گیری همراه بوده است.
هر زیر دامنه از دامنه‌ی اصلی باید فایل Robots.txt اختصاصی و جداگانه داشته باشند. یعنی اگر وبلاگ شما زیر دامنه سایت شما است، باید برای سایت یک فایل Robots.txt و برای وبلاگ فایل جداگانه دیگری داشته باشید. تمامی حقوق این سایت محفوظ و متعلق به شرکت طراحی سایت طرح و پردازش مبنا می باشد. ایندکس نکردن بعضی از فایل های قالب سایت که نیازی نیست گوگل آن ها را ببیند.
برای افزودن این کدها یا باید مستقیم کدهای HTML صفحه را ویرایش کنید یا این که از را‌های دیگری مثل افزونه‌ها برای نوایندکس کردن استفاده کنید. به علاوه، اتفاقاتی که بر کل سایت تاثیر می‌گذارند مانند جا‌به‌جایی وب‌سایت، ممکن است میزان Crawl Demand را جهت ایندکس دوباره وب‌سایت بر روی آدرس جدید، افزایش دهند. فرض کنید اولین بار برای انجام یک کار اداری وارد سازمان بزرگی می‌شوید؛ هیچ جایی را هم نمی‌شناسید.
کاربر عامل یا user agent :
خزنده یا Crawler یک نوع ربات است که با شناخت و دنبال کردن آدرس ها، صفحات جدیدی را شناسایی و برای ایندکس به گوگل معرفی میکند. همچنین، اگر هزاران صفحه دارید که می خواهید آنها را مسدود کنید، گاهی اوقات راحت تر می توانید کل قسمت آن سایت را با robots.txt مسدود کنید، به جای اینکه به مجله خبری سئو طور جداگانه یک تگ noindex به هر صفحه اضافه کنید. این بسیار مهم است که فایل robots.txt شما به درستی تنظیم شده باشد. این به این معناست که شما تمام ربات ها را از تمام موتورهای جستجو فراخوانی کرده اید. این صفحات برای وب سایت شما ضروری هستند ولی نمی خواهید در گوگل فهرست بندی شوند.
فایل robots.txt سایت من کجاست؟
- اگر این افراد راهنما و نگهبان نباشند، کل سازمان دچار هرج و مرج می‌شود.
- در اینجا میتونی یاد بگیری چطور یک کسب‌وکار اینترنتی را از صفر راه بندازی و مدیریت کنی.
- شما می توانید با استفاده از این فایل در طراحی برخی از صفحات سایت خود، موتورهای جستجو مانند گوگل و بینگ را از خزیدن در فولدرها و صفحاتی که نمی خواهید crawl شوند، بلاک کنید و مانع دسترسی آنها به این فولدرها و یا صفحات شوید.
- اما باید حواستان باشد که این ربات‌ها زبان آدمیزاد سرشان نمی‌شود!
- دستور / بعداز Disallow به ربات گوگل می‌گوید باید وارد پوشه‌ای در ریشه فایل شوی.
- و دیگر فایل‌های مشابه را بلاک کنید، ممکن است سایت شما به صورت مناسب بارگذاری نشود و این مسئله نیز می‌تواند باعث ایجاد خطا شده و در ایندکس شدن دیگر صفحات سایت شما تأثیر منفی بگذارد.