فایل robots txt چیست؟ راهنمای جامع فایل ربات سایت دگردیسی-سئو

آخر سر هم حتما فایل robots.txt خودتون رو توی robots.txt tester گوگل تست کنید تا از محدود شدنشون مطمئن بشید. قوانین فهرست شده در فایل robots.txt فقط برای میزبان، پروتکل و شماره پورتی که فایل robots.txt در آن میزبانی می شود اعمال می شود. برای دانلود یک کپی از فایل robots.txt از تستینگ robots.txt در سرچ کنسول استفاده کنید. روی ارسال در گوشه سمت راست پایین ویرایشگر robots.txt کلیک کنید. مثال‌های زیر نشان می‌دهند که خزنده‌های Google کدام قانون را روی یک URL خاص اعمال می‌کنند.

یعنی اگر وبلاگ شما زیر دامنه سایت شما است، باید برای سایت یک فایل Robots.txt و برای وبلاگ فایل جداگانه دیگری داشته باشید. اگر به‌طور پیش‌فرض، دستوری در باکس موردنظر وجود دارد، آن را پاک‌کرده و دستورات جدید را وارد نمایید. اگر از افزونه Yoast SEO استفاده می‌کنید، پس می‌توانید از تولیدکننده فایل Robots.txt این افزونه نیز استفاده کنید. شما می‌توانید با استفاده از ادیتور Robotx.txt این افزونه، فایل Robots.txt برای سایت خود ایجاد کرده و آن را ویرایش کنید. یک فایل Robots.txt دارای ساختاری می‌باشد که در صورتی که این ساختار دچار اختلالی باشد، شاید اصلاً کاربردی را که باید داشته باشد را از دست بدهد. در ادامه به بخش‌های مختلف یک فایل Robots.txt اشاره می‌کنیم و توضیحاتی را در رابطه با هر بخش خدمت شما همراهان گرامی ارائه می‌کنیم.

فایل robots.txt به گوگل، بینگ و دیگر روبات ها می گوید که به کدام صفحات در یک وب سایت دسترسی ندارند. در صورتی که شما از این فایل در برخی از صفحات در طراحی سایت خود استفاده کنید، موتور های جستجو آن صفحات را به اصطلاح crawl (خزیدن) نمی کنند و امکان دارد URL آن صفحات را در ایندکس خود ثبت نکنند. در این مقاله در گروه تحقیقاتی خارکن سعی ما بر این بود که شما را به صورت کامل و خیلی ساده با موضوع چستی و چگونگی عملکرد فایل Robots.txt آشنا کنیم.

نقشه‌های سایت، ربات‌های خزنده را مجبور نمی‌کنند تا صفحات وب را به‌طور متفاوتی اولویت‌بندی کنند. یک Robots.txt درواقع یک فایل متنی ساده است که در مسیر اصلی فضای سایت شما یا روت دایرکتوری قرار می‌گیرد. در حقیقت وظیفه این فایل مجله خبری سئو معرفی بخش‌های قابل دسترسی و بخش‌های محدود شده برای دسترسی ربات‌ها می‌باشد. به صورت تعریفی دقیق‌تر، این فایل راهنمای خزندگان سطح وب که از سوی موتورهای جستجو به منظور بررسی و ثبت اطلاعات سایت‌ها ایجاد شده‌اند، می‌باشد.

عملکرد موتورهای جستجو در زمان برخورد با دستورالعمل Crawl-delay

دستور sitemap که در ادامه این دستور آدرس نقشه سایت می‌آید یک روش برای نشان دادن نقشه سایت به موتور جستجو است. این دستور برای اطمینان حاصل کردن از این است که هیچ صفحه‌ای در حین خزیدن در سایت فراموش نشود. با این وجود وجود نقشه سایت تاثیری در اولویت‌بندی خزش صفحات توسط ربات ندارد. دستور Disallow از پرکاربردترین دستورات در فایل robots.txt است. این دستور مشخص کننده صفحه یا صفحات غیر قابل دسترس برای ربات‌های خزنده وب است.

یکی از تکنیک هایی که در سئو مورد استفاده قرار می گیرد، URL Cloacking نام دارد که برای پنهان کردن آدرس صفحات از دید موتور های جستجو و کاربران کاربرد دارد. Crawl-delay به موتور های جستجو دستور می دهد که صفحه ای را با تاخیر ایندکس کنند؛ این دستور زمانی کاربرد دارد که صفحه شما دارای مشکل است و می خواهید آن را برطرف کنید. همانطور که گفته شد با استفاده از این فایل و دو دستور بالا، می توانید به ربات های گوگل بگویید که صفحه مورد نظر شما را ایندکس کنند و یا ایندکس نکنند. با توضیحاتی که تا به اینجا درباره فایل Robot.txt داده شد، احتمالا متوجه اهمیت آن شده اید؛ Robot.txt در واقع یک ابزار قدرتمند است که به شما این امکان را می دهد تا وبسایت خود را آن گونه که می خواهید، به گوگل نمایش دهید. فایل Robots.txt‌ یک ابزار بسیار بحرانی برای سئو می‌باشد و اگر نتوانید به درستی آن را هندل کنید ممکن است در امنیت سایت شما تاثیر منفی داشته باشد. اما اگر اصول و قواعد و تکنیک‌های آن را یاد بگیرید می‌توانید به راحتی از آن برای بهبود کارایی وبسایت خود استفاده کنید.

تبلیغات همسان (Native Ads) چیست؟

بنابراین زمانی که حجم فایل های شما بیشتر از این مقدار باشد توسط موتور جستجوی گوگل نادیده گرفته می شود. البته باید توجه داشته باشید که این دستورالعمل غیررسمی noindex هرگز در موتور جستجوی بینگ کار نکرد. در مثال بالا هیچ یک از موتورهای جستجو به جز گوگل اجازه دسترسی به بخش های /secret/، /test/ و /not-launched-yet/ را ندارند. یکی از مهم ترین نکاتی که باید درباره فایل robots.txt بدانید این است که موتورهای جستجو به شکل های مختلفی از این فایل استفاده می کنند. لطفا به این مسئله توجه داشته باشید که امکان ارجاع چندین نقشه XML سایت در فایل robots.txt برای شما فراهم شده است که می توانید از این امکان نهایت بهره را ببرید تا سئو سایت خود را بهبود دهید. در این مثال هیچ یک از موتورهای جستجو اجازه دسترسی به لینک هایی که با پسوند .php تمام می شوند را ندارند.

  • کدام دایرکتوری ها یا فایل هایی که User-agent نمی‌تواند به آنها دسترسی پیدا کند.
  • به عنوان مثال گوگل از Googlebot برای جستجوی ارگانیک استفاده می نماید.
  • خیر ربات‌های بدافزارها به دنبال اطلاعات کلی از سایت‌ها مانند ایمیل‌های بخش Info هستند درنتیجه به صورت کامل Robots.txt را نادیده می‌گیرند و از دستورات آن پیروی نمی‌کنند.
  • هر یک از ساب دامین های وب سایت بایستی دارای فایل robots.txt مختص به خود باشند.

منتشر شده در
دسته‌بندی شده در اخبار