کد robots.txt خود را از صفحه robots.txt تستر با کلیک روی دانلود در کادر گفتگوی ارسال دانلود کنید. کدام دایرکتوری ها یا فایل هایی که user-agent نمی تواند به آن دسترسی داشته باشد. کدام دایرکتوری ها یا فایل هایی که user-agent می تواند به آن دسترسی داشته باشد. هر مجموعه دستور از چندین قانون یا دستورالعمل (دستورالعمل) تشکیل شده است، یک دستورالعمل در هر خط.
فایلهای robots.txt برای خزندههای وب موتورهای جستجو مانند Google مرتبط هستند.
مثالهای زیر نشان میدهند که خزندههای Google کدام قانون را روی یک URL خاص اعمال میکنند.
حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید.
موتورهای جستجو و دیگر پایشگرهای وب پس از ورود به یک سایت می دانند که بایستی به دنبال یک فایل robots.txt باشند.
به کمک فایل robots.txt میتوانیم دقیقا مشخص کنیم که کدام یک از این رباتها به کدام بخشهای سایت اجازه دسترسی دارند و کدام یک باید دارای محدودیتهایی برای بررسی سایتمان باشند. در این حالت، برای جلوگیری از نمایش صفحاتی که علاقهای به نمایش آنها در نتایج گوگل نداریم از فایل robots.txt کمک میگیریم و آدرس این گونه صفحات را از دسترس خزندههای گوگل خارج میکنیم. Robots.txt فایل، یک فایل متنی می باشد که در Root Directory (روت دایرکتوری) یا مسیر اصلی هاست فضای وب سایت تان قرار دارد.
اگر صفحاتی با محتوا یکسان در سایت خود داشته باشید بلافاصله ربات ها تشخیص می دهند و برای شما شناسایی می شود. اگر فکر میکنید نوشتن فایل ربات کار پیچیده و سختی است باید بگوییم که اشتباه فکر کردید، زیرا بسیار ساده و کوتاه می توانید این فایل با ارزش را بنویسید. حتما برایتان پیش آمده است که برای انجام کاری به اداره و یا سازمان بزرگی مراجعه کرده باشید و به دلیل عدم آشنایی با بخش های مختلف آن، مستقیما از بخش اطلاعات سازمان مربوطه کمک گرفته باشید.
قدم به قدم جلو میرویم تا ببینیم چطور میتوان از فایل Robots.txt استفاده کرد؛ چطور میتوانیم رباتها را محدود کنیم، چطور از ایندکس شدن صفحهها جلوگیری کنیم و در نهایت یک فایل Robots.txt عالی بسازیم. با وجود این که امروزه تمامی موتورهای جستجو به این دستورالعمل ها احترام می گذارند ولی باید توجه داشت که پیروی از آنها برای هیچ یک از موتورهای جستجو اجباری نیست. توجه داشته باشید که فایل Robots.txt تنها یک دستورالعمل اختیاری است که ممکن است برخی از موتورهای جستجو اقدام به اجرای آن نکنند. شما نمی خواهید که موتورهای جستجو در بخش های admin وب سایت شما بخزند. با این حال باید توجه داشته باشید که گوگل از امکان تعریف یک crawl rate یا نرخ خزیدن که به آن نرخ درخواست نیز گفته می شود پشتیبانی می کند که شما می توانید از طریق کنسول جستجوی گوگل به آن دسترسی داشته باشید. در غیر این صورت موتورهای جستجو در زمان تجزیه فایل robots.txt سردرگم می شوند.
بازم ممنون بابت صبر و حوصلتون و اینکه سرتونو بدرد آوردم امیدوارم جوابی بمن بدید که مشکلات سایتمو حل کنه و راه حلاتون عملی باشه عین مقاله هاتون . و اگه توسط این قابلیت میشه من باید چکار کنم تا از دست این دسته ها و آدرس های قدیمی که ارور هستش راحت شم . از رتبه ۲ هزار گوگل به ۵۰ هزار نزول پیدا کردیم و بهتر بگم عین ۱۰ هزار صفحه ما شد ارور ۴۰۴ که طراحان جدید گفتن مجله خبری سئو بعد از مدتی از بین میرن که نرفت تکرار میکنم از بین نرفت و یا اگه رفت بالای ۶ ماه طول کشید. این مقاله به کوشش رامین محمودی، حسین بابائی، صفیه منتظری و دیگر اعضای تیم نوین تولید شده است. تکتک ما امیدواریم که با تلاش خود، تاثیری هر چند کوچک در بهبود کیفیت وب فارسی داشته باشیم. هر آنچه برای کنترل این رباتها فضول اما مفید لازم بود را به زبان ساده توضیح دادیم.
آشنایی با دستورات فایل robots.txt و کاربرد آنها
فایل Robots.txt شامل URLهایی است که نمیخواهید توسط رباتهای گوگل و یا هر موتور جستجوگر دیگری ایندکس شوند و در معرض دید کاربران قرار گیرند. بنابراین فایل ربات ساز از ورود رباتها به صفحات موردنظر شما جلوگیری کرده و ایندکس شدن آنها را ممنوع خواهد کرد. اگر نمی توانید به ریشه وب سایت خود دسترسی پیدا کنید، از یک روش مسدودسازی جایگزین مانند متا تگها استفاده کنید. پروتکل سایت مپ (نقشه سایت) به رباتها کمک می کند تا بدانند چه چیزی را در خزیدن خود در یک وب سایت قرار دهند. گاهی اوقات به جای فهرست کردن همه فایلها به صورت جداگانه، مسدود کردن چندین صفحه به طور همزمان کارآمدتر است.
چگونه میتوانیم یک فایل Robots.txt ایجاد کنیم؟
در نتیجه، آدرس URL و احتمالاً سایر اطلاعات عمومی در دسترس مانند متن انکرتکست در پیوندهای صفحه همچنان می توانند در نتایج جستجوی Google ظاهر شوند. برای جلوگیری از نمایش صحیح URL خود در نتایج جستجوی Google، از فایل های سرور خود با رمز عبور محافظت کنید ، باز هم تاکید میکنیم از متای noindex برای حذف کامل استفاده کنید. اگر شما اعتقاد دارید در بودجه خزش سایت شما اشکالاتی وجود دارد پس بلاک کردن موتورهای جستجو از بررسی قسمتهای کم اهمیت سایت، از هدر رفت بودجه خزش جلوگیری میکند. با بهینه سازی فایل ربات موتورهای جستجو از جمله گوگل میتوانند از بررسی صفحات کم اهمیت صرف نظر کرده و به بررسی صفحات مهمتر سایت بپردازند.