خدمات و دسترسی ها
در صورت تغییر در فایل robots.txt می توانید آن را از طریق ابزار مربوطه در گوگل سرچ کنسول، تغییرات صورت گرفته را سریعا بروزرسانی کنید. هیچگاه از فایل robots.txt برای پنهان کردن داده های حساس و خصوصی وب سایت از نتایچ جستجو استفاده نکنید. چرا که ممکن است لینک این گونه صفحات در جایی دیگر از سایت قرار داشته و کاربران به آن دسترسی پیدا کنند. راهکار بهتر برای جلوگیری از دسترسی به این گونه صفحات، قرار دادن پسورد برای دستریست. هدف این دستور تعیین محدودیت در میزان مصرف منابع سرور با تنظیم میزان تاخیر بین بازدیدهای مختلف رباتهای خزنده است. در مثال زیر ربات خزنده موظف است بین هر درخواست ۸ میلی ثانیه توقف کند.
درصورتیکه فایل Robots.txt ندارید، میتوانید به کمک افزونه یوست سئو آن را ایجاد کنید. درست است که فایل robots.txt رتبه برتر را تضمین نمی کندف اما برای بهبود سئو مهم است. این فایل ها جزئی از سئو فنی محسوب می شوند که در نتیجه باعث رضایت بازدیدکنندگان شما می شود.
بررسی فنی فایل Robots.txt و اصطلاحات رایج آن
همانطور که گفتیم مهمترین رباتها در اینترنت رباتهای موتور جستجوی گوگل هستند پس ما در ادامه مقاله هرجا میگوییم ربات منظورمان رباتهای گوگل است. روش های مختلفی وجود دارد که شما با پیاده سازی آنها در فایل robots.txt می توانید دسترسی موتورهای جستجو به بخش های مختلف سایت خود را فراهم کنید. از آنجایی که هر یک از موتورهای جستجو مدت زمان محدودی برای خزیدن در یک وب سایت را دارند، شما باید سعی کنید که این زمان را صرف صفحاتی کنید که نیاز دارید تا در لیست موتورهای جستجو نمایش داده شوند. اگر میخواهید یک فایل Robots.txt ایجاد کنید بهترین راهنما برای شما دستورالعمل گوگل است. این دستورالعمل یک فرایند چند خطی است که به شما در کوتاهترین زمان ممکن آموزش میدهد چه دستوراتی را در فایل خود قرار دهید تا رباتهای گوگل بتوانند به خوبی در سایت شما جستجو کنند.
موتور جستجوی گوگل تنها اجازه دسترسی به /not-launched-yet/ را ندارد اما اجازه دسترسی به /secret/ و /test/ برای آن فراهم شده است. به عنوان مثال در موتورهای جستجو گوگل و بینگ در صورتی که تعداد کاراکترهای استفاده شده در دستورالعمل Allow بیشتر باشد اولویت بیشتری نسبت به دستورالعمل Disallow خواهد داشت. توجه داشته باشید که تفسیر آنها از این دستورالعمل اندکی متفاوت می باشد و به همین علت نیز بهتر است که قبل از استفاده حتما اسناد موجود در وب سایت این موتورهای جستجو را مطالعه کنید. اگر موتورهای مجله خبری سئو جستجو قادر باشند تا یک سرور را overload کنند معمولا استفاده از این دستورالعمل در فایل robots.txt یک راه حل موقت برای حل این مشکل خواهد بود. حتی اگر شما در حال حاضر نقشه XML سایت خود را در کنسول جستجوی گوگل یا ابزارهای Webmaster موتور جستجوی بینگ نیز ارسال کرده اید باز هم به شما پیشنهاد می کنیم حتما از این قابلیت بهره مند شوید. این دستورالعمل در واقع مسیر دسترسی را برای موتورهای جستجو تعریف می کند و در صورتی که هیچ مسیری مشخص نشده باشد به طور کامل توسط گوگل و بینگ نادیده گرفته می شود.
دستورالعمل Disallow در واقع مسیری را تعیین می کند که نباید به آن دسترسی داشت. دستورالعمل ها می توانند برای user-agent های خاصی مورد استفاده قرار می گیرند اما با این حال می توان از آنها برای تمامی user-agent ها نیز استفاده کرد. فایل robots.txt تنها برای دامنه کاملی که در آن قرار دارد معتبر است که این دامنه می تواند http یا https باشد. در سئورب، مقالات آموزشی سئو و بررسی و تحلیل برخی از سایت ها را از نظر سئو انجام میدهیم. ما با سئورب، سایتی که در زمینه آموزش سئو است، از سال 96 کار خودمان رو شروع کردیم. سرعت صفحه چیست؟ سرعت صفحه ابزاریست که نشان میدهد محتوای شما با چه سرعتی در…
- این کار باعث حذف ضایعات بودجه خزیدن شما می شود و هم شما و هم گوگل را از نگرانی در مورد صفحات نامربوط نجات می دهد.
- بنابراین اگر شما هم قصد راه اندازی یک وب سایت بزرگ تجاری را دارید حتما باید به کیفیت فایل robots.txt وب سایت خود توجه کنید و تمامی نکاتی که در این مطلب بیان کردم را رعایت کنید.
- از این دستور میتوان به دو شکل در فایل robots.txt استفاده کرد.
- User-agent رباتهای خزنده به ادمینهای سایت کمک میکنند تا انواع رباتهای خزنده در حال بررسی سایت را بشناسند.
- پروتکل سایت مپ (نقشه سایت) به رباتها کمک می کند تا بدانند چه چیزی را در خزیدن خود در یک وب سایت قرار دهند.
- اگر به دنبال این فایل هستید خیالتان راحت کار چندان پیچیده ای برای پیدا کردن آن ندارید.