فایل robots txt چیست؟ آموزش ساخت و استفاده در سئو-سئو
این قضیه از الگوریتم پاندای گوگل شروع شد و به راحتی می توان به آن اشاره کرد که هرگز فایل های سی اس اس یا جاوا اسکریپت شما را مورد بررسی قرار ندهد. اگر از افزونه یوآست در سئوی وب سایت وردپرسی خود استفاده می کنید، پیشنهاد می کنیم به نوشته نحوه افزودن کلمه کلیدی و توضیحات متا در وردپرس نیز نگاهی بیاندازید. Sitemap یا نقشه سایت یک فایل عمدتا XML است، وظیفه راهنمایی مجله خبری سئو و هدایت رباتهای موتورهای جستجو برای خزش بهتر محتوای سایتها را بر عهده دارد. میتوانیم به کمک فایل robots.txt مشخص کنیم که آدرس این فایل دقیقا کجاست و موتورهای جستجو از کجا باید آدرس نقشه سایت ما را پیدا کنند. در نتیجه، آدرس URL و احتمالاً سایر اطلاعات عمومی در دسترس مانند متن انکرتکست در پیوندهای صفحه همچنان می توانند در نتایج جستجوی Google ظاهر شوند.
دلیل نیاز به فایل Robots.txt
سپس برای ساخته شدن فایل robots.txt روی دکمه Create New File کلیک کنید. داشتن چند نقشه سایت ضرورتی ندارد ولی در برخی از موارد با توجه به تعداد زیاد صفحات و موضوعات یک سایت ساخت چند نقشه سایت لازم هست اگر سایت مپ شما بیشتر از آدرس در خود داشته باشد. گوگل توصیه میکند سایت خود را به چند فایل نقشه سایت کوچکتر تقسیم کنید. در اینصورت فایل مربوط به هر سایت مپ باید در یک فایل ایندکس نقشه سایت لیست شود. حال که فایل robots.txt خود را ایجاد کردهاید، زمان آن است که از درستی عملکرد آن اطمینان یابید. گوگل در ابزار سرچ کنسول، ابزاری رایگان به نام robots.txt tester را در دسترس وبمسترها قرار داده است.برای آزمایش فایل خود ابتدا وارد اکانت کنسول جستجوی خود شوید.
به همین علت نیز در ادامه نحوه عملکرد برخی از مهم ترین این موتورهای جستجو را به شما معرفی میکنم.
پس از بازخوانی صفحه، همچنین میتوانید روی منوی کشویی کلیک کنید تا مُهر زمانی را که Google برای اولین بار آخرین نسخه فایل robots.txt شما را مشاهده کرده است، مشاهده کنید.
این رباتها به صورت خودکار تمامی صفحات یک سایت را بازدید کرده و آنها را به لحاظ ساختاری و فنی ارزیابی میکنند و سپس صفحات بازدید شده را در صفحه نتایج جستجو نمایش میدهند.
در صورتی که فایل robots.txt وب سایت شما با تنظیمات کنسول جستجوی گوگل تناقض داشته باشد گاهی اوقات گوگل ترجیح می دهد که از تنظیمات تعریف شده در کنسول جستجوی گوگل به جای دستورالعمل های فایل robots.txt وب سایت شما استفاده کند.
این فایل در واقع صفحات مجاز و غیرمجاز وب سایت جهت ایندکس شدن را به رباتها نشان میدهد و فعالیت آنها را مدیریت میکند. فایل Robots.txt شامل URLهایی است که نمیخواهید توسط رباتهای گوگل و یا هر موتور جستجوگر دیگری ایندکس شوند و در معرض دید کاربران قرار گیرند. بنابراین فایل ربات ساز از ورود رباتها به صفحات موردنظر شما جلوگیری کرده و ایندکس شدن آنها را ممنوع خواهد کرد. نقش اصلی فایل Robots.txt در محدود کردن دسترسی رباتهای موتور جستجوی گوگل به محتوای سایت شما است. تمامی این رباتها بهصورت خودکار عمل میکنند بهطوریکه قبل از ورود به هر سایت یا صفحهای از وجود فایل Robots.txt بر روی آن و محدود نبودن دسترسی محتویات اطمینان حاصل میکنند.
این صفحه هیچ ارزشی برای ایندکس ندارد و گاهی ممکن است باعث محتوای تکراری هم شود. همانطور که در بالا گفته شد میشود صفحه نتایج جستوجو داخلی سایت را از ایندکس شدن و نمایش در صفحه نتایج جستوجو موتورهای جستوجو مانند گوگل را به وسیله فایل Robots.txt مسدود کرد. در این مثال به راحتی میتوان اینکار را انجام داد تا مشکل حل شود. برخی از موتورهای جستوجو مانند گوگل رباتهای خاص برای خود داند.
کاهش سرعت بارگذاری سایت نیز ارتباط مستقیمی با سئو و تجربه کاربران دارد. بنابراین با استفاده از فایل ربات ساز میتوانید از کاهش سرعت سایت خود و ورود تعداد زیادی ربات به آن جلوگیری نمایید. اگر صفحاتی را میخواهید مشخص کنید که موتورهای جستجو به آنها وارد نشده و از دیدن آنها پنهان بمانند، میتوانید در Robots.txt دسترسی به آنها را محدود کنید. به این نکته توجه داشته باشید که این صفحات توسط گوگل و دیگر موتورهای جستجو بررسی نمیشوند. یک فایل robots.txt حاوی دستورالعملهایی برای رباتها است که به آنها میگوید به کدام صفحات وب میتوانند دسترسی داشته باشند و به کدام صفحات نباید بروند.
چنانچه در سایتی صفحات با کیفیت پایین زیادی وجود داشته باشد می تواند از خزیدن ربات های گوگل برای خزیدن صفحات با کیفیت بالا جلوگیری کند. فایل Robots.tx یک فایل بهینه شده است که از جنبه های مختلفی برای سایت مفید خواهد بود؛ به طوری که این فایل می تواند به مدیر سایت در بهینه کردن بودجه خزش کمک نماید. به این دلیل که خزنده های گوگل منابع محدود داشته و در خزش تعداد URLهای یک سایت محدودیت دارند، اگر سهمیه خزش خود در به صفحات کم اهمیت اختصاص دهند احتمال دارد نتوانند صفحات با ارزش تر را بخزند. موتورهای جستجو از خزنده ها برای پیدا کردن محتوای سایت با هدف ایندکس و رتبه بندی استفاده می کنند.