۲. جلوگیری از نمایش صفحات یا فایل‌ها در نتایج جستجوی گوگل
اگر دستورات متناقضی در فایل وجود داشته باشد، ربات از دستور granular بالاتر پیروی می‌کند. مجموعه وب جوان از سال 1397 تا سال 1399 در 4 پروژه سئو و بهینه سازی کامل ( 0 تا 100 ) اثر گذار بوده و در 12 پروژه نیز به عنوان مشاور وارد عرصه کاری شده است. استفاده از این مدل دستور در فایل robots.txt به خزنده‌های وب می‌گوید که تمام صفحات از جمله صفحه اصلی را بخزند. در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند. برای اجازه دادن به خزش توسط ربات مورد نظر از دستور Allow و برای جلوگیری از خزش از دستور Disallow استفاده می شود.
اجازه دسترسی به همه خزنده‌های وب برای تمام محتوای سایت:
- از طرفی دیگر نیز محدود ساختن تعداد زیادی صفحه در سایت از طریق فایل Robots.txt بسیار ساده است و با افزودن یک آدرس به فایل انجام می‌شود اما تگ نوایندکس باید به صورت دستی به هر صفحه اضافه شود.
- گوگل سوابق بازدیدهای سایت شما را بر اساس ip، عباراتی که جستجو می شوند، زمان بین بازدیدها و دیگر پارامترهای مشابه، مورد بررسی قرار می دهد.
- این صفحات برای وب سایت شما ضروری هستند ولی نمی خواهید در گوگل فهرست بندی شوند.
- اگر هیچ صفحه متنی ظاهر نشد، پس چنین فایلی در سایت شما وجود ندارد.
- در این قسمت شما می‌توانید دو فایل اصلی و مهم robots.txt و htaccess.
این پروتکلی است که به ربات‌ها می‌گوید از بررسی کدام صفحات وب و منابع آن اجتناب کنند. دستورالعمل‌های فرمت شده برای این پروتکل در فایل robots.txt گنجانده می‌شود. فایل روبوتکست، یک فایل و یک پل ارتباطی بین ربات‌های گوگل و وب سایت ما است، با استفاده از دستورالعمل هایی که در فایل ربات می‌نویسیم به ربات‌های گوگل می‌فهمانیم که به کدام قسمت سایت ما بخزند و کدام مناطق ممنوعه است. موتورهای جستجو محتوای فایل robts.txt را کش کرده و معمولا روزی یک بار آن را بروزرسانی می نمایند.