در این مثال باز هم هیچ یک از موتورهای جستجو اجازه دسترسی به مسیری که شامل پوشه /wp-admin/ است را ندارند ویک نقشه سایت نیز در آدرسی که بیان شده است موجود می باشد. به طور خلاصه، فرض کنید که یک قطعه از محتوا را با استفاده از iframe جاسازی کرده ایم. آن قطعه از محتوا اغلب، اگر مربوط به رسانه ای باشد، دستورالعملی برای عدم فهرست بندی خواهد داشت. اما وقتی کدهای مربوطه را در صفحات خود جاسازی می کنید، ممکن است گوگل پیشنهاد دهد که به دلیل اینکه محتوای جایگذاری شده بدون فهرست است، این کار را انجام ندهید. صفحه ای را که ما به عنوان مثال در آن کدهای مربوطه را جایگذاری می کنیم به طور حتم ایندکس خواهند شد.
اگر به آن بگویید صفحاتی مثل بک اند وب سایتتان را ایندکس نکند، او به شما احترام می گذارد و این کار را انجام نمی دهد. در این مقاله به طور کامل با فایل ربات سایت و نحوه ساخت و بررسی آن آشنا شدیم. Sitemap یا نقشه سایت یک فایل عمدتا XML است، وظیفه راهنمایی و هدایت رباتهای موتورهای جستجو برای خزش بهتر محتوای سایتها را بر عهده دارد. میتوانیم به کمک فایل robots.txt مشخص کنیم که آدرس این فایل دقیقا کجاست و موتورهای جستجو از کجا باید آدرس نقشه سایت ما را پیدا کنند. موتور جستجوی گوگل رباتهای مختلفی دارد که هرکدام وظیفه خاصی دارند، شناخت این رباتها به ما کمک میکند تا ارتباط بهتری با آنها برقرار کنیم و به صورت خیلی دقیقتری بتوانیم فایل ربات سایتمان را طراحی کنیم.
Robots.txtx کاربرد فایل از نگاهی دیگر محدود کردن دسترسی ها به محتوای سایت شما می باشد. اکثر ربات ها قبل از اینکه به بررسی و Index صفحات سایت بپردازند؛ قوانینی که در این فایل گذاشته اید را نگاه می اندازند و دقیقا به آنها پایبند خواهند بود و تنها به صفحاتی مراجعه می کنند که دسترسی اشان را باز گذاشته اید. اما فراموش نکنید که ربات هایی هم هستند که اصلا توجهی به این محدودیت ها ندارند و به همه بخش ها مراجعه می کنند. مثالهای ذکر شده با هم بهعنوان یک فایل robots.txt کامل در نظر گرفته میشوند؛ اگرچه مجله خبری سئو یک فایل ربات میتواند حاوی چندین خط از عوامل و دستورالعملهای کاربر باشد (بهعنوانمثال، غیرمجاز، اجازه، تأخیر خزیدن و غیره). همچنین با داشتن یک فایل robots.txt به مدیریت فعالیتهای این خزندههای وب کمک میکنید تا بر سرور وب میزبان وبسایت مالیات اضافه نکنند، یا صفحاتی که برای نمایش عمومی نیستند فهرستبندی نکنند. فایل robots.txt بخشی از پروتکل حذف رباتها است، گروهی از استانداردهای وب که نحوه خزیدن رباتها در وب، دسترسی و فهرستبندی محتوا و ارائه آن محتوا به کاربران را تنظیم میکند.
با استفاده از کد allow اجازه مشاهده یک فایل در فولدری که قبلا Disallowed شده را می دهید. آژانس دیجیتال مارکتینگ و طراحی سایت eBgroup از دهه 90 بعنوان یکی از آژانسهای موفق در زمینه سئو، طراحی سایت، تولید محتوا و تبلیغات کلیکی در غرب تهران مشغول به فعالیت بوده است. Robot یک برنامه کامپیوتری خودکار است که با وبسایتها و برنامهها تعامل دارد. رباتهای خوب و رباتهای بد وجود دارند و یک نوع ربات خوب، ربات خزنده وب نامیده میشود. جدول زیر شامل نمونههایی از آدرسهای اینترنتی robots.txt و مسیرهای URL است که برای آنها معتبر هستند.
هنگامی که صفحه بهروزرسانی شد، میتوانید روی منوی کشویی بالای ویرایشگر متن نیز کلیک کنید تا مُهر زمانی نمایش داده شود که نشاندهنده زمانی است که گوگل برای اولینبار آخرین نسخه فایل robots.txt شما را دیده است. دستور Allow به شما امکان میدهد تا به ربات گوگل بگویید که اجازه مشاهده یک فایل، در فولدری که Disallowed شده را دارد. دستور” / ” بعداز Disallow به ربات گوگل میگوید باید وارد پوشهای در ریشه فایل شوید. 4xx خزنده های گوگل همه خطاهای 4xx را نادیده می گیرند، به جز خطای 429 ، بهگونهای که گویی فایل robots.txt معتبری وجود ندارد. این به این معنی است که گوگل فرض می کند که هیچ محدودیتی برای خزیدن وجود ندارد. توجه داشته باشید فایل ربات در روت سایت باید با حروف کوچک انگلیسی نوشته شود و همینطور محتوای ربات به حروف بزرگ و کوچک حساس است.
تاثیر فایل Robots.txt
اما چگونه؟ در این مقاله قصد داریم شما را با اهمیت ربات ها و نقش آنها در سئو به عبارتی نقش robots.txt در سئوو همچنین توجه به این فایل ها در طراحی سایت توضیح دهیم. برای این منظور ابتدا در مورد مفهوم این فایل توضیحاتی را ارائه می دهیم. یکی از نکات قابل توجه در ایجاد این فایل، ایجاد نام فایل با حروف کوچک است.
“/” در اینجا نشان دهنده “ریشه” در سلسله مراتب یک وب سایت یا صفحهای است که همه صفحات دیگر از آن منشعب میشوند، بنابراین شامل صفحه اصلی و تمام صفحات لینک شده از آن میشود. با این دستور، ربات های موتورهای جستجو به هیچ وجه نمیتوانند وب سایت را بخزند. Robots.txt یک فایل متنی است که مدیران وبسایت برای آموزش به رباتهای وب (معمولاً روباتهای موتورهای جستجو) ایجاد میکنند که چگونه صفحات را در وبسایت خود بخزند. اگر مایل هستید که تنها تعداد محدودی از صفحات سایت شما در موتورهای جستجو ایندکس نشوند، پیشنهاد میکنیم به جای تغییر در فایل robots.txt از تگ noindex در هدر صفحه موردنظر استفاده کنید. گوگل برای وبمسترها و صاحبان وبسایتها چند راه برای دسترسی به نقشه سایت گذاشته است. هیچ الزامی وجود ندارد که آدرس نقشه سایت را از این راه به رباتهای گوگل نمایش دهید.
طراحی سایت دکوراسیون داخلی برای شرکتها و موسسات فعال در زمینهی دکوراسیون بسیار اهمیت دارد. طراحی سایت دکوراسیون داخلی یکی از انواع طراحی سایت است که ما در مه ویژن به صورت کاملاً حرفهای آن را از صفر تا صد طراحی و پیادهسازی میکنیم. طراحی سایت گردشگری یعنی طراحی یک سایت کاملاً اختصاصی و منحصربفرد برای آژانسهای مسافرتی و شرکتهای گردشگری مطابق با نیازمندیها و قابلیتهای لازم و ضروری برای جذب مشتری. مسافرت رفتن نیز نیاز به وسیلهای برای رفتن و جایی برای ماندن دارد! برای برآورده کردن این نیازها، مسافران به شرکتهای مسافرتی و آژانسهای گردشگری نیاز دارند تا بتوانند شرایط سفر را برای آنها راحتتر و بیدردسرتر کنند. روی ارسال کلیک کنید تا به Google اطلاع دهید که تغییراتی در فایل robots.txt شما ایجاد شده است و از Google درخواست کنید آن را بخزد.
- Google در حال حاضر محدودیت اندازه فایل robots.txt را 500 کیلوبایت اعمال می کند.
- برای این که یک ربات خاص نیز از دستورالعمل های عمومی تمامی ربات ها پیروی کند باید این دستورالعمل ها را برای ربات خاص مد نظر خود نیز تکرار کنید.
- برای جلوگیری از ایندکس شدن کافیست یک فایل متنی درست کنید و از دستور زیر استفاده کنید.
- متا تگ نوایندکس نیز به منظور ایندکس نشدن صفحات سایت مورد استفاده قرار میگیرد.
- در فایل robots.txt دستورالعمل هایی تعیین می کنید که کدام بخش از دامنه توسط ربات ها خزیده شود یا نه.
- این راهنمایی ها در قالب دستوراتی مانند Allow و Disallow به آنها داده می شود.
برای جلوگیری از چنین مشکلی ابتدا بایست صفحات مورد نظر را با استفاده از متا robots نوایندکس نمود و پس از خارج شدن آن صفحات از ایندکس گوگل، اقدام به بلاک نمودن آدرس ها کرد. برخی از ربات ها ممکن است که دستورات فایل robots.txt را نادیده بگیرند. این موضع بیشتر در مورد پایشگرهای غیر موجه مانند ربات های یابنده ایمیل ها برقرار است. در ادامه مثال هایی را از فایل robots.txt برایتان آماده کرده ایم. دقت داشته باشید که این فایل در مسیر روت سایت یعنی آدرس /robots.txt قرار دارد. از آن جایی که فایل Robot.txt یک فایل متنی ساده است، ایجاد کردن آن کار دشواری نیست؛ برای انجام این کار نیاز به یک ویرایشگر متن ساده مانند Notepad دارید.
از Disallow برای مسیرها استفاده کنید نه صفحات خاص
ربات گوگل برای هر سایت یک بخش بودجه ای را که متناسب با مطلوبیت و ماهیت آنها باشد، کنار می گذارد. برخی از سایتها بزرگتر هستند، برخی دیگر از اختیارات زیادی برخوردارند، بنابراین از Googlebot کمک هزینه بیشتری دریافت میکنند. هر حالت دیگری که فایل ربات در ریشه سایت نباشد آن را از دسترس رباتهای گوگل خارج میکند. موتورهای جستجوی بینگ، یاهو و Yandex همگی از دستورالعمل Crawl-delay پشتیبانی می کنند که در صورت تمایل می توانید از این ویژگی در فایل robots.txt وب سایت خود استفاده کنید.