گوگل در این باره می گوید که تگ indexifembedded “به یک مشکل رایج می پردازد. این مشکل به طور کلی ناشران رسانه ها را نیز تحت تاثیر قرار خواهد داد. در حالی که در برخی مواقع مشاهده خواهید کرد که متقاضیان بخواهند محتوای خود را در زمانی مشخص در صفحات شخص ثالث جایگذاری کنند تا گوگل به ایندکس صفحات بپردازد. از اینرو لزوما نیاز نخواهد بود که صفحات رسانه ای خود را به تنهایی مورد ایندکس گوگل قرار دهید.
آموزش HEO
ربات‌های موتور جستجوی گوگل مهم‌ترین ربات‌هایی هستند که در اینترنت می‌چرخند. این ربات‌ها هر روز چندین بار صفحه‌های سایت شما را بررسی می‌کنند. اگر وبسایت بزرگی داشته باشید، امکان دارد ربات‌های گوگل تا چند ده هزار بار در روز صفحه‌های سایت را بررسی کنند. یکی دیگر از کارهای سئو فنی مربوط به فایل روبوتس مجله خبری سئو است.فایل Robots.txt یکی از فایل‌های مهم در سایت‌ها است. با استفاده از آن می‌توان به موتورهای جست‌وجو اعلام کرد که چه محتوا و صفحاتی را برای ایندکس شدن بررسی نکنند. با این فایل شما می‌توانید محتواهایی که نمی‌خواهید توسط موتورهای جستجو بررسی و در نتایج جستجوها نشان داده نشود را مشخص کنید.
- این فایل به موتورهای جستجو می گوید که چگونه می توانند به بهترین شکل ممکن وب سایت شما را جستجو کنند.
- اما به صورت کلی می‌توانیم امیدوار باشیم که تمام قوانینی که داخل فایل ربات سایت‌مان مشخص می‌کنیم توسط مهم‌ترین خزنده‌های وب یعنی خزنده‌های گوگل رعایت می‌شوند.
- درواقع در گزارش سئو شما می‌توانید از روند فعالیت‌های انجام‌گرفته و بازخوردهای آن اطلاعاتی به دست بیاورید و البته مهم‌ترین کارها در بهینه سازی سایت است.
- فایل robots.txt از بخش های مختلفی تشکیل شده است که در زمان پیاده سازی باید به تمامی این بخش ها توجه داشته باشید و سعی کنید که جزئی ترین نکات را نیز در زمان پیاده سازی رعایت کنید.
- دستورالعمل Crawl-delay یک دستورالعمل غیررسمی است که برای جلوگیری از overload شدن سرورها با درخواست های زیاد مورد استفاده قرار می گیرد.
اگر صفحات وبسایت خود را در فایل Robots.txt نوایندکس کنید، گوگل باز هم آن را در نتایج جستجو نمایش می‌دهد. گوگل به کمک انکرتکست هر لینک و سایر فاکتورها رتبه‌ای به این صفحه در جستجوهای مرتبط می‌دهد. معمولاً این نوع صفحات در نتایج جستجو بدون توضیحات متا ظاهر می‌شود چون گوگل محتوای صفحه و توضیحات متا را ذخیره نکرده است. در این مثال باز هم هیچ یک از موتورهای جستجو اجازه دسترسی به مسیری که شامل پوشه /wp-admin/ است را ندارند ویک نقشه سایت نیز در آدرسی که بیان شده است موجود می باشد. شما به عنوان وب مستر و یا صاحب یک وب سایت باید فایل Robots.txt را به درستی و با رعایت استاندادرهای موجود تهیه و تنظیم کنید؛ زیرا وجود هرگونه خطا در این فایل ممکن است سایت شما را به طور کلی از صفحه نتایج جستجو حذف کند.
توجه کنید که اگر سایت شما فایل Robots.txt نداشته باشد هم ربات‌های گوگل کار خودشان را می‌کنند. اگر چنین فایلی وجود نداشته باشد، ربات بدون هیچ محدودیتی به تمام بخش‌های در دسترس سر می‌زند. در صورتی که شما هم قصد دارید تا سئو سایت خود را به صورت کاملا حرفه ای بهینه سازی کنید بهتر است که با تمامی جنبه های مختلف فایل robots.txt آشنا شوید و از نیروهای متخصص برای پیاده سازی این فایل استفاده کنید.