درصورتیکه در هر یک از مواردی که در این نوشته بیانشده مشکل، سؤال ابهامی دارید متوانید از بخش دیدگاهها مطرح کنید و تا حد توان کارشناسان ما پاسخ گوی شما خواهند بود. در فهرستهای شخصی، robots.txt میتواند از رباتهای موتور جستجو جلوگیری کند، اما به یاد داشته باشید که این کار از اطلاعات حساس و خصوصی محافظت نمیکند. این کار به این دلیل کار می کند که فایل robots.txt همیشه باید در فهرست اصلی وب سایت قرار گیرد.
روشی که متخصصان سئو می توانند از ChatGPT استفاده کنند
دستور بالا به این معنی است که دستورات بعدی، برای همه رباتهای جستجوگر یکسان عمل کند. اما اگر میخواهید تنها به یک ربات خاص مانند ربات گوگل دستور خاصی را بدهید، دستور شما باید به شکل زیر نوشته شود. این کد به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است. این همچنین برای هر URL غیرمجاز در زنجیره تغییر مسیر اعمال می شود، زیرا خزنده به دلیل تغییر مسیرها نمی تواند قوانین را واکشی کند. Google خطوط نامعتبر را در فایلهای robots.txt، از جملهعلامت ترتیب بایتیونیکد در ابتدای فایل robots.txt نادیده میگیرد و فقط از خطوط معتبر استفاده میکند.
البته خاطرتان باشد که شما با نوشتن دستوراتی در این فایل می توانید به ربات ها بفهمانید که کدام قسمت های سایت را بررسی کنند و کدام قسمت را نمی توانند بررسی کنند. این ابزار نمیتواند به صورت مستقیم فایل robots.txt را ویرایش کند. بعد از زدن دکمه submit پنجرهای باز میشود که از شما میخواهد فایل جدید ویرایش شده را دانلود کرده و به جای فایل قبلی در سرور میزبان وبسایت جایگزین کنید. در بخش بعد توضیح میدهیم که چطور یک فایل Robots.txt بسازیم، آن را در جای درستش قرار دهیم و تست کنیم تا رباتهای گوگل به آن دسترسی داشته باشند. امکان دارد هر کدام از رباتها دستورات را به شکل متفاوتی درک کند.
- نام فایل robots.txt باید با حروف کوچک باشد (بدون Robots.txt یا ROBOTS.TXT).
- به این نکته توجه داشته باشید که اگر آدرسی در این فایل برای رباتها مسدود شود هیچ وقت سئو و ایندکس نمیشود.
- این ربات نسبت به سایر رباتهای جستجوگر، دستورات بیشتری را متوجه میشود.
- اگر یک نفر بخواهد به صفحاتی از وبسایت شما دسترسی پیدا کند که شما این صفحات را در فایل ربات بلاک کردهاید یقینا برای شناسایی این صفحات میتواند به راحتی از فایل ربات استفاده کند.
در ادامه این نوشته به بررسی دقیقتر و عمیقتری از فایل Robots.txt میپردازیم. اهمیت استفاده از فایل Robots.txt برای یک سایت از آن جهت است که شما میتوانید مدیریتی درست و ساختارمند بر روی سایت خود و محتواها و صفحات مختلف آن داشته باشید. برای پیدا کردن یک شناخت بهتر نسبت به فایل Robots.txt در ادامه همراه ما باشید. Google دارای خزندههایی جدا از «Googlebot» اصلی است، از جمله Googlebot Images، Googlebot Videos، AdsBot و موارد دیگر. با robots.txt میتوانید خزندهها را از فایلهایی که نمیخواهید در جستجوها ظاهر شوند، دور کنید. به عنوان مثال، اگر میخواهید فایلها را از نمایش در جستجوهای Google Images مسدود کنید، میتوانید دستورالعملهای غیر مجاز را روی فایلهای تصویری خود قرار دهید.
دستورات فایل ربات شما از ایندکس جلوگیری نمی کند و می بایست مابقی تنظیمات وردپرس را برای این مورد بررسی نمایید. در انتها هم با زدن دکمه submit از گوگل بخواهید تا فایل جدید را دریافت و بررسی کند. اگر این کارها را با موفقیت انجام دهید، ساعت و تاریخ آخرین بررسی فایل ربات به زمانی بعد از درخواست تغییر میکند. برای اطمینان هم میتوانید دوباره از همین ابزار برای مطمئن شدن استفاده کنید. بعد از انتخاب وبسایت به صفحهای هدایت میشوید که آخرین محتوای فایل Robots.txt که گوگل دریافت و بررسی کرده را نمایش میدهد. میتوانید فایل را در همین صفحه ویرایش کنید و بعد با زدن دکمه submit صفحهای باز میشود.
آزمایش فایل robots.txt در بخش robots.txt tester سرچ کنسول گوگل
در این بخش، گوگل به شما کنترل بیشتری می دهد تا بگویید، صفحه ای را که در آن کدهای مربوطه جایگذاری شده اند را چگونه فهرست کنید. این موضوع را به عنوان هشداری در گوگل در مورد جایگذاری شبکه های اجتماعی از جمله اینستاگرام یا سایر تصاویر و مشکلات سئو که می توانید ایجاد کنید موثر خواهد بود. در یک فایل Robots.txt با چندین دستورالعمل، میتوان قوانین مجاز به دسترسی و عدم مجاز به دسترسی را ایجاد کرد. همانطور که در تصویر زیر مشاهده میکنید یک Robots.txt مشخص شده است که در آن قواعد مختلف برای رباتها توسط یک کاربر ایجاد شده است. رباتها و خزندهها فقط به مواردی که به آنها دسترسی یا همان کد follow داده شده است میتوانند مراجعه کنند.
چرا وب سایت شما به فایل robots.txt نیاز دارد؟
اگر در نحوه دسترسی به ریشه وب سایت خود مشکل دارید یا برای انجام این کار به مجوز نیاز دارید، با ارائه دهنده خدمات میزبانی سایت تماس بگیرید. هر شخص یا برنامه ای که در اینترنت فعال است یک “عامل کاربر” یا یک نام اختصاص یافته خواهد داشت. برای کاربران انسانی، این شامل اطلاعاتی مانند نوع مرورگر و نسخه سیستم عامل است، مجله خبری سئو اما اطلاعات شخصی ندارد. عامل کاربر به وبسایتها کمک میکند محتوایی را نشان دهند که با سیستم کاربر سازگار است. برای ربات ها، عامل کاربر (از لحاظ نظری) به مدیران وب سایت کمک میکند تا بدانند چه نوع ربات هایی در سایت خزیدهاند. یک ربات خزنده وب از خاصترین مجموعه دستورالعمل ها در فایل robots.txt پیروی میکند.