این فایل به جای دیگری در سایت پیوند داده نشده است، بنابراین کاربران به احتمال زیاد به آن برخورد نمی کنند، اما اکثر ربات‌های خزنده وب قبل از خزیدن سایت، به دنبال این فایل می‌گردند. فایل robots.txt (فایل روبوت) مجموعه ای از دستورالعمل‌ها برای ربات‌ها است. اصول کلی سئو سایت فروشگاهی، مانند دیگر وب‌سایت‌ها است؛ اما از آن‌جایی که تعداد صفحات سایت فروشگاهی معمولا بیشتر است، در برخی موارد تکنیک‌های سئو به صورت متفاوتی باید اجرا شوند. در این مقاله درباره تکنیک‌های سئو وبسایت فروشگاهی صحبت می‌کنیم. طراحی سایت ابزار آلات یا به عبارت بهتر، طراحی سایت فروشگاهی ابزار آلات اقدامی‌ست در حوزه بازاریابی دیجیتال که اگر به درستی انجام شود، باعث برندسازی و افزایش مشتری و فروش بیشتر فروشگاه‌های ابزار آلات می‌شود.
دستور های موجود در فایل Robot.txt
این فایل به عنکبوت های خزنده گوگل و موتورهای جستجو می گوید که چه صفحاتی را خزش و فهرست بندی نکنند. Robots.txt در واقع یک فایل است با پسوند TXT که به ربات ها و خرنده های موتورهای جستجو این را می گوید که در کدام صفحات یا بخش های یک سایت حق خزیدن ندارند. در قسمت قبلی به این نکته اشاره شد که ربات ها به صورت پی در پی در حال خزش صفحات سایت ها بوده و آن ها را بررسی می کنند. پس لزوم توجه به ترافیک سایت و عدم پردازش پهنا باند توسط ربات های گوگل، راهی برای کنترل ترافیک سایت و بهبود کیفیت آن در نتایج وافزایش کلیک گوگل است.
به علاوه، اتفاقاتی که بر کل سایت تاثیر می‌گذارند مانند جا‌به‌جایی وبسایت، ممکن است میزان Crawl Demand را جهت ایندکس دوباره وبسایت بر روی آدرس جدید، افزایش دهند. فرض کنید اولین بار برای انجام یک کار اداری وارد سازمان بزرگی می‌شوید؛ هیچ جایی را هم نمی‌شناسید. مدیران این سازمان هم چون می‌دانند مراجعه کننده‌ها همه‌جا را نمی‌شناسند، پس کنار در ورودی یک باجه اطلاعات درست کرده‌اند و یک یا چند نفر را مسئول راهنمایی و نگهبانی گذاشته‌اند. اگر این افراد راهنما و نگهبان نباشند، کل سازمان دچار هرج و مرج می‌شود. هرکسی برای انجام کارهایش راهروها را بالا و پایین میکند و کارمندان هم نمی‌توانند کارها را به درستی انجام دهند.
- اگر نسبت به این موضوع هیچ اطلاعاتی ندارید ویا علاقه‌مند آشنایی و درک بهتر موضوع فوق العاده مهم بودجه خزش هستید حتما مقاله “بودجه خزش سایت چیست” را با دقت مطالعه کنید.
- برای اینکه بتوانید سئوی سایت خود را بهبود ببخشید باید از فایل Robots.txt استفاده کنید.
- در صورتی که از قبل به کمک این پلاگین یک فایل robots.txt هم برای سایت‌تان ایجاد نکرده باشید به صورت زیر به شما پیشنهاد ایجاد یک فایل جدید می‌دهد که باید بر روی آن کلیک کنید.
- همین زمان طولانی، روی رتبه سایت‌تان در نتایج جستجو، تاثیر منفی خواهد گذاشت.
- 4- برای تأیید اینکه فایل robots.txt آنلاین نسخه‌ای است که می‌خواهید گوگل آن را بخزد، روی تأیید نسخه آنلاین کلیک کنید.
- چرا؟ ربات خزنده موتور جستجوی گوگل (همان Googlebot خودمان!) دارای ویژگی به نام Crawl Budget است.
در فایل robots.txt دستورالعمل هایی تعیین می کنید که کدام بخش از دامنه توسط ربات ها خزیده شود یا نه. همانطور که مشاهده نمودید، این مقادیر، جلوی دسترسی به سایت را برای موتورهای جستجو میگیرد. حتی اگر این فایل در سایر مسیر ها وجود داشته باشد، پایشگر متوجه حضور آن نخواهند شد. بنابراین برای حصول اطمینان تاکید می کنیم که آن را در مسیر روت وب سایت قرار دهید. از نظر فنی می توانید فایل robots.txt خود را در هر دایرکتوری اصلی سایت خود قرار دهید.
گوگل لیستی از الگوهای تطبیقی و مثال ها را در اینجا گرداوری کرده است. کارکتر $ نیز برای اشاره به پایان یافتن یک یو آر ال استفاده می شود. برای قرار دادن کامنت می توانید از کاراکتر # در ابتدای توضیحات استفاده نمایید.
داشتن فایل robots.txt برای هر دامنه یا زیردامنه
با استفاده از این فایل شما در حقیقت به معرفی بخش های قابل دسترس و همچنین مشخص نمودن بخش هایی که نمی خواهید ربات های جستجوگر سطح وب یا همان Web Crawlers به آن ها دسترسی داسته باشند؛ می پردازید. در واقع این خزندگان سطح وب، با بررسی این فایل، اطلاعات سایت شما را به ثبت می رسانند. مدیریت ربات‌ها برای راه‌اندازی یک وبسایت یا مجله خبری سئو برنامه ضروری است، زیرا حتی فعالیت خوب ربات‌ها می‌تواند بر سرور مبدا بار اضافه وارد کند و سرعت وب را کند یا از بین ببرد. یک فایل robots.txt که به خوبی ساخته شده باشد، یک وب سایت را برای سئو بهینه نگه می‌دارد و فعالیت خوب ربات را تحت کنترل نگه می‌دارد. در مبحث شبکه، پروتکل قالبی برای ارائه دستورالعمل‌ها یا دستورات است.
برای جلوگیری از دسترسی ربات‌ها چند راه مختلف وجود داره که در انتهای مقاله توضیح دادیم. می‌تونید از سرچ کنسول دوباره درخواست ایندکس بدید، نقشه سایت رو دوباره بررسی و آپلود کنید. مثلاً می‌توانید بررسی کنید آیا ربات مخصوص تصاویر گوگل به یک صفحه خاص دسترسی دارد یا نه. امکان به همان صفحه اجازه دسترسی ربات وب را داده باشید اما ربات تصاویر مجاز به دریافت تصاویر و نمایش آن در نتایج جستجو نباشد. فایل ربات robots.txt حاوی دستورالعمل‌هایی است که برای موتورهای جستجو مشخص میکند اجازه دسترسی به کدام بخش‌های وبسایت را دارند و دسترسی به کدام بخش‌ها برای آن‌ها مجاز نیست.
چگونه فایل robots.txt را به گوگل ارسال کنیم؟