سایت شرکت آفر
عملکرد موتورهای جستجو در زمان برخورد با دستورالعمل Crawl-delay
- اگر در دسترس نباشد، گوگل فرض می کند که هیچ محدودیتی برای خزیدن وجود ندارد.
- با اینکار در حقیقت اعلام میکنیم که تمام رباتها مد نظر ما هستند و تمام رباتها باید به دستورات ما توجه کنند و دیگر نیازی نیست اسامی تک تک رباتها را بنویسیم.
- اما وقتی کدهای مربوطه را در صفحات خود جاسازی می کنید، ممکن است گوگل پیشنهاد دهد که به دلیل اینکه محتوای جایگذاری شده بدون فهرست است، این کار را انجام ندهید.
- در این مقاله از سایت سئواستاد به طور مفصل در مورد نحوه تنظیم اصولی فایل Robots.txt بر اساس سئو صحبت می کنیم.
BOM در واقع مخفف عبارت byte order mark است که در واقع یک کاراکتر غیر قابل مشاهده در ابتدای فایل robots.txt می باشد و برای رمزگذاری منحصر به فرد یک فایل متنی مورد استفاده قرار می گیرد. بهترین راه برای ارسال یک سیگنال به موتورهای جستجو به منظور این که یک صفحه نباید ایندکس شود این است که از تگ meta robots یا X-Robots-Tag استفاده کنید. این مسئله به خصوص زمانی که قصد راه اندازی ویژگی های جدید در وب سایت خود را دارید بیشتر از قبل خود را نمایش می دهد و تاثیر بیشتری روی سئو سایت شما می گذارد. دستورالعمل های فایل robots.txt تنها برای دامنه یا زیردامنه ای که در آن قرار دارد اعمال می شود.