فایل robots txt چیست؟ آموزش ساخت و استفاده در سئو-سئو
اگر فایل robots.txt یک وب سایت ظاهر نشود، ممکن است خالی یا از دایرکتوری ریشه خالی باشد (که در عوض یک خطای 404 را برمی گرداند). گهگاه بررسی کنید تا مطمئن شوید که robots.txt در وب سایت شما یافت می شود. اینجا جایی است که شما با استفاده از فایل Robots.txt از خزیدن ربات های موتور های جستجو در این صفحات جلوگیری می کنید.
مهم‌ترین دستورات فایل ربات و نحوه استفاده از آن‌ها
برخی این حرکت موتورهای جست‌وجو را به عنکبوت نسبت داده‌اند و نامش را گذاشته‌اند. در همین حال یک ربات کراولر موتورهای جست‌وجو، پس از ورود به سایت و قبل از Spidering، به دنبال فایل Robot.txt سایت می‌گردد. من یک وبسایت با ورد پرس ساختم و بعد از قرار دادن تعدادی مطلب تیک اجازه بررسی محتوا توسط موتور های جستجو را برداشتم. هفته اول تعداد بازدید سایت عالی بود ولی بصورت ناگهانی افت کرد و الان به صفر رسیده.
ممکن است در ایجاد یک فایل robots.txt مشکلی رخ داده باشد که ندانید این مشکل از کجاست. روش ساده تست آن این است که آدرس فایل robots.txt را بازکنید و چک کنید؛ اما روش حرفه ای تر آن است که از طریق سرچ کنسول، تست بگیرید. برای این کار وارد سرچ کنسول شوید و روی بخش robots.txt Tester کلیک کنید و test را بزند، اگر مشکلی در فایل وجود نداشته باشد دکمه قرمز Test به دکمه allowed تغییر می کند.
User-agent در فایل robots.txt
پس برای این‌که به آن‌ها بگویید صفحه‌ای را ایندکس نکنند باید از دستور Disallow و برای این‌که بگویید بعدا این صفحه را کراول کنند از دستور Crawl-delay باید استفاده کنید. باید بدانید که موتورهای جست‌وجو ربات‌های متفاوتی دارند به همین دلیل با کد User Agent و نام ربات مورد نظر، می‌توانیم ربات خاصی را مشخص کنیم. البته می‌توانیم تمامی ربات‌های موتورهای جست‌وجوی مختلف را هدف قرار دهیم و به اصطلاح از Wild card استفاده کنیم. اگر بتوانید فایل robots.txt خوبی ایجاد کنید، می‌توانید به موتورهای جستجو (به خصوص Googlebot) بگویید که کدام صفحات را مشاهده نکند.
هیچ الزامی وجود ندارد که آدرس نقشه سایت را از این راه به ربات‌های گوگل نمایش دهید. بهترین راه ارائه نقشه سایت به گوگل استفاده از ابزار سرچ کنسول است. Robot.txt یک فایل متنی است که برای سئو استفاده می‌شود و حاوی دستوراتی برای روبات‌های مجله خبری سئو فهرست‌کننده موتورهای جستجو است که صفحاتی را مشخص می‌کند که می‌توانند یا نمی‌توانند ایندکس شوند. اگر از تگ نوایندکس استفاده کنید مستقیما به ربات‌های کراولر اعلام می‌کنید که این صفحه نباید در نتایج جستجو نمایش داده شود.
روبات Gogglebot-image نیز موظف به بررسی تصاویر سایت‌ها و ایندکس کردن آن‌ها است.
Google ممکن است نویسه‌هایی را که بخشی از محدوده UTF-8 نیستند نادیده بگیرد، و احتمالاً قوانین robots.txt را نامعتبر می‌کند.
به عنوان مثال، دامنه فایل مخصوص به خود را دارد، همه زیر دامنه های Cloudflare (blog.cloudflare.com، community.cloudflare.com و غیره) نیز به فایل خود نیاز دارند.
ربات های خزنده گوگل یعنی Googlebot از دستورالعمل Crawl-delay پشتیبانی نمی کنند بنابراین اگر به فکر بهینه سازی موتور جستجوی گوگل هستید بهتر است که از این دستورالعمل استفاده نکنید.