اجازه دسترسی به همه خزنده‌های وب برای تمام محتوای سایت:
- از طرفی دیگر نیز محدود ساختن تعداد زیادی صفحه در سایت از طریق فایل Robots.txt بسیار ساده است و با افزودن یک آدرس به فایل انجام می‌شود اما تگ نوایندکس باید به صورت دستی به هر صفحه اضافه شود.
- گوگل سوابق بازدیدهای سایت شما را بر اساس ip، عباراتی که جستجو می شوند، زمان بین بازدیدها و دیگر پارامترهای مشابه، مورد بررسی قرار می دهد.
- این صفحات برای وب سایت شما ضروری هستند ولی نمی خواهید در گوگل فهرست بندی شوند.
- اگر هیچ صفحه متنی ظاهر نشد، پس چنین فایلی در سایت شما وجود ندارد.
- در این قسمت شما می‌توانید دو فایل اصلی و مهم robots.txt و htaccess.
مسدود کردن یک پوشه برای ربات‌ها و خزنده‌های موتورهای جستجو:
البته من اطلاعی از روند انتقال سایت تون ندارم، در هر صورت واضحه که ریدایرکت 301 به خوبی اعمال نشده. اگر آدرس صفحات قدیمی رو دارید یک بار همه رو مجله خبری سئو به آدرس جدید ریدایرکت کنید. پیشنهاد اونا استفاده از افزونه ریدایرکت بود و حالا اینکه اینا درست میگن یا نه تا حد زیادی به نظر خودم درسته .
۲. جلوگیری از نمایش صفحات یا فایل‌ها در نتایج جستجوی گوگل