فایل Robots txt تاثیر فایل Robots.txt بر سئو-سئو

در واقع با این کار به ربات‌ها می‌گویید کدام صفحه‌ها اصلاً در اولویت شما نیستند. حتماً شما هم نمی‌خواهید که ربات خزنده‌ گوگل برای مشاهده و ایندکس محتوای تکراری و کم ارزش، سرورهای شما را اشغال کند. بنابراین برای جلوگیری از جمع آوری اطلاعات صفحات غیرضروری سایت و کاهش حجم رفت و آمد ربات‌ها به وب سایت خود حتما باید به فکر ایجاد فایل Robots.txt باشید. فایل Robots.txt در حقیقت به ربات‌ها اطلاع می‌دهد که کجا می‌توانند فایل یا فایل‌های نقشه سایت XML را پیدا کنند و در این میان کدام صفحات نباید کراول شوند. قبل از اینکه ربات‌های موتورهای جستجو نظیر گوگل صفحات وب را کراول کنند ابتدا فایل Robots.txt را بررسی می‌کنند و اگر این فایل موجود باشد مطابق با اطلاعات مندرج در آن اقدام به ایندکس کردن صفحات می‌کنند.

چگونه فایل robots.txt را به گوگل ارسال کنیم؟

یا بهتر است بگوییم در کجا باید بدنبال این فایل بگردیم؟ پاسخ این سوال بسیار ساده است. دقت داشته باشید که اگر این فایل در هاست شما موجود نبود می توانید خودتان آن را ایجاد کنید. حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد کنید و محتوای فوق را در آن کپی نمایید.

موتورهای جستجو لینک‌های موجود در هر صفحه را دنبال می‌کنند و از سایت A به سایت B رفته و از سایت B به سایت C و این فرایند را به همین شکل ادامه می‌دهند. به‌طورکلی توصیه می‌شود که همیشه دستور فرعی ‘Sitemap’ را در کنار URL نقشه سایت در فایل robots.txt قرار دهید. اما در برخی موارد مشاهده‌شده است که این کار باعث بروز خطاهایی می‌شود. می‌توانید حدود یک هفته بعدازاینکه فایل robots.txt را به‌روزرسانی کردید و موقعیت نقشه سایت را در آن قراردادید، برای بررسی وجود چنین خطاهایی از ابزار سرچ کنسول گوگل استفاده کنید. چه‌بسا این دستورات را بسیار ساده بپندارید اما همین دستورات به‌کلی می‌توانند سیاست سئوی سایت شمارا تغییر دهند. البته در نظر داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف لاتین حساس بوده و آدرس صفحات باید به‌دقت وارد شوند.

آموزش CSS 3

در ادامه نحوه بروزرسانی و انجام تغییرات در داخل فایل robots.txt را در دو پلاگین یواست و رنک مت ، بررسی خواهیم کرد. گاهی اوقات با بزرگ شدن فایل ربات لازم می‌شود که یادداشت‌هایی برای خودمان بگذاریم تا بعدا خیلی سریع‌تر متوجه کارهایی که قبلا انجام داده‌ایم شویم و ضریب خطا هم کاهش پیدا کند. ربات Googlebot-Image وقتی به این دستور می‌رسد متوجه می‌شود که علارقم اینکه نباید محتوای فولدر mypic را بررسی کند اما استثنا یک فولدر به نام logo.png در آن وجود دارد که باید آن را بررسی کند. همچنین اگر کنجکاو شدید که از اسامی معروف‌ترین خزنده‌ها و ربات‌های دنیای اینترنت باخبر شوید، می‌توانید دیتابیس اسامی ربات‌ها را مشاهده کنید. اگر نسبت به این موضوع هیچ اطلاعاتی ندارید ویا علاقه‌مند آشنایی و درک بهتر موضوع فوق العاده مهم بودجه خزش هستید حتما مقاله “بودجه خزش سایت چیست” را با دقت مطالعه کنید.

  • بودجه خزش به تعداد صفحاتی از سایت اشاره دارد که ربات‌های جستجوگر در طول یک بازه زمانی مشخص مثلا یک روز یا یک هفته به ایندکس آنها می‌پردازند.
  • زمانی که مانند این مثال دستورالعمل سایت به صورت دقیق مشخص نیست آنها سعی می کنند که کمترین محدودیت را برای دسترسی به صفحات مختلف اعمال کنند.
  • دستورالعمل Allow در داخل فایل robots.txt دقیقا در مقابل دستورالعمل Disallow قرار می گیرد.
  • مجددا باید تکرار کنیم که استفاده از این دستور صرفا صفحات را از دسترسی ربات‌ها مخفی می‌کند و ممکن است کاربر با کلیک روی لینک این صفحات امکان بازدید صفحه را داشته باشد و یا حتی این صفحات در نتایج جستجو فهرست شوند.

صفحه ای که در برابر خزیدن مسدود شده باشد ممکن است همچنان توسط ربات ها ایندکس شود. به منظور دسترسی آسوده تر در هنگام نظر دهی، نام، ایمیل و وبسایت مرا در این مرورگر ذخیره کن. برای جلوگیری از بروز این خطا، توصیه مجله خبری سئو می‌شود که بعد از URL نقشه سایت یک خط را خالی بگذارید. لینک‌ها به صفحه‌هایی که در robots.txt لیست شده‌اند اگر به صفحه‌های دیگری که پیمایش شده‌اند لینک باشند هنوز هم می‌توانند در نتایج جستجو ظاهر شوند.

۲.در ابتدای ورود خزنده ها به سایت آن ها در دایرکتوری ریشه سایت به دنبال فایل robots.txt می گردند. اگر شما فایلی بانام Robots.txt مشاهده نمی‌کنید، به این معناست که سایت شما آن فایل را ندارد. اما نگران نباشید، خیلی ساده یک فایل ایجاد کنید و نام آن را robots.txt قرار دهید. از متا تگ‌های ربات نمی توان برای فایل های غیر HTML مانند تصاویر، فایل های متنی یا اسناد PDF استفاده کرد. از طرف دیگر از تگ های X-Robots می توان با استفاده از دستورات .htaccess برای فایل های غیر HTML استفاده کرد.

بررسی فنی فایل Robots.txt و اصطلاحات رایج آن

در حقیقت این دستور، بیانگر آدرس صفحه‌ای است که می‌خواهید از دید روبات‌ها پنهان بماند. حالا که متوجه شدید گوگل چه دیدی از سایت شما دارد، شاید بهتر باشد برای اصلاح این دید، دست بکار شوید. این بدان معناست که اگر از دستور شما پیروی کنند، برخی یا کل صفحات را بررسی نمی کنند. ارزش لینک سازی شما زیاد است و زمانی که از robots.txt به درستی استفاده می کنید، ارزش پیوند به صفحاتی که واقعاً می خواهید ارتقا دهید منتقل می شود. فقط از فایل‌های robots.txt برای صفحاتی استفاده کنید که نیازی ندارید در آن صفحه لینک سازی به دیگر صفحات داشته باشید. از آنجایی که منبع محدودی از خزیدن دارید، می‌توانید robots.txt را نصب کنید تا از صفحات اضافی از طریق Googlebot جلوگیری کرده و آنها را به موارد مهم معرفی کنید.