اگر فایل robots.txt یک وب سایت ظاهر نشود، ممکن است خالی یا از دایرکتوری ریشه خالی باشد (که در عوض یک خطای 404 را برمی گرداند). گهگاه بررسی کنید تا مطمئن شوید که robots.txt در وب سایت شما یافت می شود. اینجا جایی است که شما با استفاده از فایل Robots.txt از خزیدن ربات های موتور های جستجو در این صفحات جلوگیری می کنید.
مهم‌ترین دستورات فایل ربات و نحوه استفاده از آن‌ها
ممکن است در ایجاد یک فایل robots.txt مشکلی رخ داده باشد که ندانید این مشکل از کجاست. روش ساده تست آن این است که آدرس فایل robots.txt را بازکنید و چک کنید؛ اما روش حرفه ای تر آن است که از طریق سرچ کنسول، تست بگیرید. برای این کار وارد سرچ کنسول شوید و روی بخش robots.txt Tester کلیک کنید و test را بزند، اگر مشکلی در فایل وجود نداشته باشد دکمه قرمز Test به دکمه allowed تغییر می کند.
User-agent در فایل robots.txt
هیچ الزامی وجود ندارد که آدرس نقشه سایت را از این راه به ربات‌های گوگل نمایش دهید. بهترین راه ارائه نقشه سایت به گوگل استفاده از ابزار سرچ کنسول است. Robot.txt یک فایل متنی است که برای سئو استفاده می‌شود و حاوی دستوراتی برای روبات‌های مجله خبری سئو فهرست‌کننده موتورهای جستجو است که صفحاتی را مشخص می‌کند که می‌توانند یا نمی‌توانند ایندکس شوند. اگر از تگ نوایندکس استفاده کنید مستقیما به ربات‌های کراولر اعلام می‌کنید که این صفحه نباید در نتایج جستجو نمایش داده شود.
- روبات Gogglebot-image نیز موظف به بررسی تصاویر سایت‌ها و ایندکس کردن آن‌ها است.
- Google ممکن است نویسه‌هایی را که بخشی از محدوده UTF-8 نیستند نادیده بگیرد، و احتمالاً قوانین robots.txt را نامعتبر می‌کند.
- به عنوان مثال، دامنه فایل مخصوص به خود را دارد، همه زیر دامنه های Cloudflare (blog.cloudflare.com، community.cloudflare.com و غیره) نیز به فایل خود نیاز دارند.
- ربات های خزنده گوگل یعنی Googlebot از دستورالعمل Crawl-delay پشتیبانی نمی کنند بنابراین اگر به فکر بهینه سازی موتور جستجوی گوگل هستید بهتر است که از این دستورالعمل استفاده نکنید.
برخی این حرکت موتورهای جست‌وجو را به عنکبوت نسبت داده‌اند و نامش را گذاشته‌اند. در همین حال یک ربات کراولر موتورهای جست‌وجو، پس از ورود به سایت و قبل از Spidering، به دنبال فایل Robot.txt سایت می‌گردد. من یک وبسایت با ورد پرس ساختم و بعد از قرار دادن تعدادی مطلب تیک اجازه بررسی محتوا توسط موتور های جستجو را برداشتم. هفته اول تعداد بازدید سایت عالی بود ولی بصورت ناگهانی افت کرد و الان به صفر رسیده.