سپس برای ساخته شدن فایل robots.txt روی دکمه Create New File کلیک کنید. داشتن چند نقشه سایت ضرورتی ندارد ولی در برخی از موارد با توجه به تعداد زیاد صفحات و موضوعات یک سایت ساخت چند نقشه سایت لازم هست اگر سایت مپ شما بیشتر از آدرس در خود داشته باشد. گوگل توصیه میکند سایت خود را به چند فایل نقشه سایت کوچکتر تقسیم کنید. در اینصورت فایل مربوط به هر سایت مپ باید در یک فایل ایندکس نقشه سایت لیست شود. حال که فایل robots.txt خود را ایجاد کردهاید، زمان آن است که از درستی عملکرد آن اطمینان یابید. گوگل در ابزار سرچ کنسول، ابزاری رایگان به نام robots.txt tester را در دسترس وبمسترها قرار داده است.برای آزمایش فایل خود ابتدا وارد اکانت کنسول جستجوی خود شوید.
لینک های داخلی رو با چه انکر تکستی بزنم؟
در حقیقت وظیفه این فایل معرفی بخشهای قابل دسترسی و بخشهای محدود شده برای دسترسی رباتها میباشد. به صورت تعریفی دقیقتر، این فایل راهنمای خزندگان سطح وب که از سوی موتورهای جستجو به منظور بررسی و ثبت اطلاعات سایتها ایجاد شدهاند، میباشد. همان طور که گفته شد، خزیدن و کراول صفحات سایت برای سئو و بهینه سازی سایت بسیار اهمیت دارد. اینکه ربات های گوگل به سایت شما زودتر سر بزند و کراول کند می تواند باعث افزایش رتبه شما شود با بهینه سازی فایل robots.txt می توان رفتار ربات ها را کنترل کرد. فایل Robots.txt فایلی برای گزارش ساختار صفحات وب به رباتهای کراولر است تا بدانند کدام صفحات باید در موتورهای جستجو نمایش داده شوند و کدام صفحات نمایش داده نشوند.
پروتکل سایت مپ چیست؟ چرا در robots.txt گنجانده شده است؟
این قضیه از الگوریتم پاندای گوگل شروع شد و به راحتی می توان به آن اشاره کرد که هرگز فایل های سی اس اس یا جاوا اسکریپت شما را مورد بررسی قرار ندهد. اگر از افزونه یوآست در سئوی وب سایت وردپرسی خود استفاده می کنید، پیشنهاد می کنیم به نوشته نحوه افزودن کلمه کلیدی و توضیحات متا در وردپرس نیز نگاهی بیاندازید. Sitemap یا نقشه سایت یک فایل عمدتا XML است، وظیفه راهنمایی مجله خبری سئو و هدایت رباتهای موتورهای جستجو برای خزش بهتر محتوای سایتها را بر عهده دارد. میتوانیم به کمک فایل robots.txt مشخص کنیم که آدرس این فایل دقیقا کجاست و موتورهای جستجو از کجا باید آدرس نقشه سایت ما را پیدا کنند. در نتیجه، آدرس URL و احتمالاً سایر اطلاعات عمومی در دسترس مانند متن انکرتکست در پیوندهای صفحه همچنان می توانند در نتایج جستجوی Google ظاهر شوند.
چنانچه در سایتی صفحات با کیفیت پایین زیادی وجود داشته باشد می تواند از خزیدن ربات های گوگل برای خزیدن صفحات با کیفیت بالا جلوگیری کند. فایل Robots.tx یک فایل بهینه شده است که از جنبه های مختلفی برای سایت مفید خواهد بود؛ به طوری که این فایل می تواند به مدیر سایت در بهینه کردن بودجه خزش کمک نماید. به این دلیل که خزنده های گوگل منابع محدود داشته و در خزش تعداد URLهای یک سایت محدودیت دارند، اگر سهمیه خزش خود در به صفحات کم اهمیت اختصاص دهند احتمال دارد نتوانند صفحات با ارزش تر را بخزند. موتورهای جستجو از خزنده ها برای پیدا کردن محتوای سایت با هدف ایندکس و رتبه بندی استفاده می کنند.
این صفحه هیچ ارزشی برای ایندکس ندارد و گاهی ممکن است باعث محتوای تکراری هم شود. همانطور که در بالا گفته شد میشود صفحه نتایج جستوجو داخلی سایت را از ایندکس شدن و نمایش در صفحه نتایج جستوجو موتورهای جستوجو مانند گوگل را به وسیله فایل Robots.txt مسدود کرد. در این مثال به راحتی میتوان اینکار را انجام داد تا مشکل حل شود. برخی از موتورهای جستوجو مانند گوگل رباتهای خاص برای خود داند.
- این فایل شما را قادر میسازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخشهایی را نباید ایندکس کنند.
- عملیات ایندکس محتوای سایت توسط خزنده ها طی چند مرحله انجام می شود.
- همچنین برخی از دستورات انحصاری رباتهای خاص هم برای بسیاری از رباتها، ناشناخته و غیر قابل درک است و به همین خاطر ممکن است برخی رباتها از این دستورات پیروی کنند و برخی دیگر به آنها توجهی نکنند.
- برای این کار وارد سرچ کنسول شوید و روی بخش robots.txt Tester کلیک کنید و test را بزند، اگر مشکلی در فایل وجود نداشته باشد دکمه قرمز Test به دکمه allowed تغییر می کند.