در واقع بخش های اطلاعات در سازمان ها و ادارات مختلف با هدف راهنمایی مراجعه کنندگان و پاسخ به سوالات آن ها ایجاد شده اند. ۹.یه مشکلاتی هم در خصوص ایندکس دارم که اونو میرم تو بخش مربوطش میپرسم. و اگه توسط این قابلیت میشه من باید چکار کنم تا از دست این دسته ها و آدرس های قدیمی که ارور هستش راحت شم . از رتبه ۲ هزار گوگل به ۵۰ هزار نزول پیدا کردیم و بهتر بگم عین ۱۰ هزار صفحه ما شد ارور ۴۰۴ که طراحان جدید گفتن بعد از مدتی از بین میرن که نرفت تکرار میکنم از بین نرفت و یا اگه رفت بالای ۶ ماه طول کشید. این مقاله به کوشش رامین محمودی، حسین بابائی، صفیه منتظری و دیگر اعضای تیم نوین تولید شده است.
- اگر ترغیب شدید که نگاهی به فایل robots.txt سایت خودتان یا هر سایتی بیاندازید، پیدا کردنش سخت نیست.
- اینکه ربات های گوگل به سایت شما زودتر سر بزند و کراول کند می تواند باعث افزایش رتبه شما شود با بهینه سازی فایل robots.txt می توان رفتار ربات ها را کنترل کرد.
- بنابراین اگر سایت شما است فایل robots.txt باید در آدرس example.com/robots.txt قابل دسترسی باشد.
- از طرفی دیگر نیز محدود ساختن تعداد زیادی صفحه در سایت از طریق فایل Robots.txt بسیار ساده است و با افزودن یک آدرس به فایل انجام میشود اما تگ نوایندکس باید به صورت دستی به هر صفحه اضافه شود.
محدودیت های Robots.txt چیست؟
حتی اگر شما در حال حاضر نقشه XML سایت خود را در کنسول جستجوی گوگل یا ابزارهای Webmaster موتور جستجوی بینگ نیز ارسال کرده اید باز هم به شما پیشنهاد می کنیم حتما از این قابلیت بهره مند شوید. با استفاده از این فایل شما می توانید از دسترسی موتورهای جستجو به بخش های خاصی از سایت خود جلوگیری کنید. این فایل به موتورهای جستجو می گوید که چگونه می توانند به بهترین شکل ممکن وب سایت شما را جستجو کنند.
پس از درک مفهوم فایل robots.txt به تاثیر این فایل در سئو و بهینه سازی سایت می پردازیم. ربات یک برنامه کامپیوتری خودکار است که با وب سایت ها و برنامه های کاربردی تعامل دارد. این رباتها صفحات وب را «خزش» میکنند و محتوای آن را فهرستبندی میکنند تا در نتایج موتورهای جستجو نمایش داده شوند. یکی از مباحثی که در مورد کراول صفحات بسیار تأثیرگذار است، یک فایل متنی به نام robots.txt است که در این مقاله بیشتر با دلایل اهمیت آن در سئو، قوانین و استانداردهایی که باید داشته باشد و همچنین نحوه ایجاد آن صحبت خواهیم کرد. فایل robots.txt به گوگل، بینگ و دیگر روبات ها می گوید که به کدام صفحات در یک وب سایت دسترسی ندارند. در صورتی که شما از این فایل در برخی از صفحات در طراحی سایت خود استفاده کنید، موتور های جستجو آن صفحات را به اصطلاح crawl (خزیدن) نمی کنند و امکان دارد URL آن صفحات را در ایندکس خود ثبت نکنند.
قوانین فهرست شده در فایل robots.txt فقط برای میزبان، پروتکل و شماره پورتی که فایل robots.txt در آن میزبانی می شود اعمال می شود. روی ارسال کلیک کنید تا به Google اطلاع دهید که تغییراتی در فایل robots.txt شما ایجاد شده است و از Google درخواست کنید آن را بخزد. مثالهای زیر نشان میدهند که خزندههای Google کدام قانون را روی یک URL خاص اعمال میکنند. یک پسوند خاص را برای ممنوع کردن خزیدن مشخص کنیدبه عنوان مثال، خزیدن همه فایل های gif را ممنوع کنید.
فایل robots.txt چگونه است؟ یک نمونه فایل ربات
یکی از نکات بسیار مهم در خصوص فایل robots.txt این است که برای هر دستورالعمل یک خط جداگانه را در نظر بگیرید. در واقع در این مثال موتورهای جستجو به لینک گفته شده دسترسی پیدا می کنند. زمانی که مانند این مثال دستورالعمل سایت به صورت دقیق مشخص نیست آنها سعی می کنند که کمترین محدودیت را برای دسترسی به صفحات مختلف اعمال کنند. دستورالعمل Allow در داخل فایل robots.txt دقیقا در مقابل دستورالعمل Disallow قرار می گیرد.