این نوشته به تمام ربات ها می گوید که در فولدر مربوط به تصاویر وب سایت خزش نکنند. و مهم نیست که در نهایت فایل robots.txt را چگونه و با چه روشی می سازید. با مسدود کردن صفحات غیر ضروری ربات های گوگل زمان لازم را برای خزش در صفحات مهم به دست می آورند و می توانند آنها را فهرست بندی کنند. Robots.txt بیشتر شبیه به پیشنهادات است تا قوانین شکست ناپذیر برای ربات ها. صفحات شما همچنان می توانند به صورت فهرست شده در نتایج جستجو برای کلمات کلیدی انتخاب شده قرار گیرند. حالا یک فایل با نام robots.txt در مسیر اصلی سایت خود ایجاد کنید و محتوای فوق را در آن کپی نمایید.
اجازه دهید برای درک آسانتر فایل Robots.txt از یک مثال ساده شروع کنیم. با این حال از اول سپتامبر 2019 گوگل پشتیبانی از این دستورالعمل را به طور کامل متوقف کرد. برای سال های طولانی گوگل توصیه می کرد که از دستورالعمل غیر رسمی noindex استفاده کنید. ارجاع دادن به نقشه XML سایت در robots.txt یکی از بهترین قابلیت های این فایل است که به شما پیشنهاد می کنیم همواره از آن استفاده کنید. برای نشان دادن انتهای یک لینک می توانید از علامت $ در انتهای مسیر مد نظر خود استفاده کنید.
نقشههای سایت به خزنده وب نشان میدهند که در کدام صفحات میتوانند بخزند. این کار کمک می کند تا مطمئن شوید که یک ربات خزنده هیچ صفحه مهمی را از دست نخواهد داد. فایل robots.txt به مدیریت فعالیتهای این خزندههای وب کمک میکند تا بر سرور وب میزبان وبسایت، یا فهرستبندی صفحاتی که برای نمایش عمومی نیستند، هزینه بار اضافه نکنند. REP همچنین شامل دستورالعملهایی مانند رباتهای متا و همچنین دستورالعملهای صفحه، زیر دایرکتوری یا سراسر سایت برای نحوه برخورد موتورهای جستجو با لینکها (مانند «دنبالکردن» یا دنبال نکردن «nofollow») است. برای مثال اگر نمیخواهید موتورهای جستجو، تصاویر وبسایتتان را ایندکس کنند، میتوانید تمام تصاویر سایت را درون یک پوشه در هاستینگ خود قرار دهید و از دسترس موتورهای جستجو خارج سازید.
صفحات با بهترین عملکرد شما می توانند اعتبار صفحات ضعیف و متوسط شما را در چشم گوگل افزایش دهند. فایلهای robots.txt به رباتها میگوید که پس از رسیدن به صفحهای با دستورالعمل که تعریف شده، به آن توجه کند. در این فایل طبق گفته خودشان هیچ چیز را بلاک نکرده اند و به جستجوگرها این اجازه را داده اند تا به همه چیز دسترسی داشته باشند. کارشاس یوآست می گوید، ما حتی دایرکتوری wp-admin را هم بلاک نمی کنیم. شرکت طراحی سایت و سئو آنیز وب به پشتوانه سال ها تجربه و تخصص در حوزه ی وب، آماده ی همکاری با مشتریان و مجموعه های نیازمند به خدمات طراحی وب سایت و افزایش ترافیک گوگل می باشد.
برخلاف رباتهای موتور جستجو گوگل، برخی از موتورهای جستجو دستورات موجود در فایل robots.txt را نادیده میگیرند. با اینکار خزندههای موتور جستجو گوگل حتی اگر فایل robots.txt سایت شما را هم نادیده بگیرند چون در داخل صفحه صراحتا از رباتها خواسته شده که این صفحه را ایندکس نکنند، به این درخواست احترام میگذارند. هنگامی که فایل robots.txt خود را در رایانه خود ذخیره کردید، آماده است تا آن را در اختیار خزنده های موتورهای جستجو قرار دهید. هیچ ابزاری وجود ندارد که بتواند در این مورد به شما کمک کند، زیرا نحوه آپلود فایل در سایت شما به معماری سایت و سرور شما بستگی دارد.
چگونه فایل robots.txt را به گوگل ارسال کنیم؟
به عنوان مثال، Notepad، TextEdit، vi و emacs می توانند فایل های robots.txt معتبر ایجاد کنند. واژهپردازها اغلب فایلها را در قالبی اختصاصی ذخیره میکنند و میتوانند کاراکترهای غیرمنتظرهای مانند نقل قولها به آن اضافه کنند که میتواند برای خزندهها مشکل ایجاد کند. نکته مهمی که باید به آن توجه داشت این است که همه زیر دامنه ها به فایل robots.txt خود نیاز دارند. به عنوان مثال، دامنه فایل مخصوص به خود را دارد، همه زیر دامنه های مجله خبری سئو Cloudflare (blog.cloudflare.com، community.cloudflare.com و غیره) نیز به فایل خود نیاز دارند. حتی اگر صفحه robots.txt مثلاً در webjavan.com/index/robots.txt یا /homepage/robots.txt وجود داشته باشد، توسط عوامل کاربر کشف نمیشود و در نتیجه سایت تحت درمان قرار میگیرد. 6- با بازخوانی صفحه در مرورگر خود برای بهروزرسانی ویرایشگر ابزار و مشاهده آنلاین کد فایل robots.txt، بررسی کنید که آخرین نسخه شما با موفقیت خزیده شده است.
آموزش XML
پس انعکاس تغییرات اعمال شده در فایل Robots.txt زمان زیادی نخواهد برد و سریعا اعمال میشود. فایل Robots.txt یک فایل متنی ساده (با پسوند txt) است که توسط موتورهای جستجو و برخی سیستمهای دیگر خوانده میشود و نام دیگر آن «Robots Exclusion Protocol» به معنی پروتکل حذف رباتها است. این فایل حاصل یک اجماع بین توسعه دهندگان موتورهای جستجو در روزهای ابتدایی بوجود آمدن اینترنت است ولی همچنان اغلب موتورهای جستجو بدان پایبند هستند. درنهایت، پس از واردکردن دستورات، بر روی گزینه Test که در پایین صفحه در سمت راست قرار دارد، کلیک کنید.اگر نوشته دکمه از Test به Allowed تغییر یافت به این معنی است که فایل robots.txt شما معتبر است. با ترکیب این دو دستور شما قادر خواهید بود قوانین مختلفی برای دسترسی به صفحات داخلی سایت خود وضع کنید.
به کمک این فایل ما میتوانیم محدودیتهایی را در خزش رباتها تعیین کنیم و انتظار داشته باشیم که آنها هم به این محدودیتها پایبند باشند. اگر به هر دلیلی شما به هاست دسترسی نداشته باشید میتوانید با قرار دادن تگ های متا در هدر صفحه دسترسی ربات های گوگل را به آن محدود نمایید. Robots.txtx محل فایل در مسیر زیر قرار دارد که در تصویر نشان داده شده است. با این حال، یک فایل robots.txt کار زیادی برای مدیریت ترافیک رباتهای مخرب انجام نمیدهد. ابزارهای مدیریت ربات مانند Cloudflare Bot Management یا Super Bot Fight Mode میتواند به مهار فعالیت مخرب ربات، بدون تأثیر روی رباتهای ضروری مانند خزنده های وب کمک کند. این دستور به رباتها میگوید که به صفحه وب یا مجموعهای از صفحات وب که پس از دستور آمده است دسترسی نداشته باشند.
چگونه یک فایل robots.txt بسازیم؟
به ویژه در سیستم عامل لینوکس اگر برخی از حروف فایل بزرگ باشند، موتور جستجو امکان دریافت فایل را نخواهد داشت. طراحی سایت آرایشگاهی یا طراحی سایت سالن زیبایی مقولهای است که اخیراً بسیار مورد توجه قرار گرفته است و دلیل آن نیاز آرایشگاهها و سالنهای زیبایی به ارائه خدمات در قالبی جدید و نوآورانه است. اگر قصد طراحی سایت سالن زیبایی خود را دارید و کیفیت و قیمت طراحی سایت سالن زیبایی آن برای شما مهم است با مشاوران ما در مهویژن تماس بگیرید. دریافت آپدیت های ربات افزایش ورودی گوگل ما در سال اول رایگان بوده و در سالهای بعدی، تمدید سالانه، فقط با پرداخت 20% قیمت (به روز) پکیج انجام خواهد شد.
همچنین اگر کنجکاو شدید که از اسامی معروفترین خزندهها و رباتهای دنیای اینترنت باخبر شوید، میتوانید دیتابیس اسامی رباتها را مشاهده کنید. اگر نسبت به این موضوع هیچ اطلاعاتی ندارید ویا علاقهمند آشنایی و درک بهتر موضوع فوق العاده مهم بودجه خزش هستید حتما مقاله “بودجه خزش سایت چیست” را با دقت مطالعه کنید. همانطور که گفتیم، هاست و منابع سرور سایت ما برای پاسخ دادن به درخواستهای رباتها دقیقا همانند پاسخگویی به درخواستهای کاربران واقعی مشغول میشود. وقتی این درخواستها از حد توان سرور سایت ما خارج شوند اتفاق از دسترس خارج شدن سایت رخ میدهد. حالا مگر برای گوگل اصلا اهمیت دارد که تو به ربات اش گفته ای که چکار کند. درست است شاید به یک سری صفحات که تو بگویی که نرود، هم برود و ببنید.
اما یک دستور اشتباه می تواند وضعیت کراول سایت را با خطر مواجه کند.
دستور Disallow را می توان به روشهای مختلفی مورد استفاده قرار داد که چندین مورد از آنها در مثال بالا نمایش داده شده است.
در حقیقت وظیفه این فایل معرفی بخشهای قابل دسترسی و بخشهای محدود شده برای دسترسی رباتها میباشد.
اولین قدم شما این است که واقعاً فایل robots.txt خود را ایجاد کنید.