پیشنهاد اونا استفاده از افزونه ریدایرکت بود و حالا اینکه اینا درست میگن یا نه تا حد زیادی به نظر خودم درسته . اما دستور htaccess که شما می فرمائید رو بنده نمیدونم به چه شیوه ای عمل میکنه اگه شما میتونید تو این زمینه فیلم یا آموزشی ارائه بدبد که تست کنم ممنون میشم . این ابزار نمی‌تواند به صورت مستقیم فایل robots.txt را ویرایش کند. بعد از زدن دکمه submit پنجره‌ای باز می‌شود که از شما می‌خواهد فایل جدید ویرایش شده را دانلود کرده و به جای فایل قبلی در سرور میزبان وبسایت جایگزین کنید. فرقی نمی‌کند میزبان وبسایت شما یک سرور اختصاصی، اشتراکی یا مجازی است، فقط کافی است این فایل را در پوشه یا همان دایرکتوری اصلی سایت بارگذاری کنید.
- اگر شما فایلی بانام Robots.txt مشاهده نمی‌کنید، به این معناست که سایت شما آن فایل را ندارد.
- ربات گوگل برای هر سایت یک بخش بودجه ای را که متناسب با مطلوبیت و ماهیت آنها باشد، کنار می گذارد.
- به کمک فایل robots.txt می‌توانیم دقیقا مشخص کنیم که کدام یک از این ربات‌ها به کدام بخش‌های سایت اجازه دسترسی دارند و کدام یک باید دارای محدودیت‌هایی برای بررسی سایت‌مان باشند.
- گوگل این فرمان را نمی‌شناسد، اگرچه موتورهای جستجوی دیگر آن را تشخیص می‌دهند.
- یعنی همینطور مثل چی سرشان را می‌ندازند پایین و سر تا پای سایت را بررسی میکنند.
در این حالت، برای جلوگیری از نمایش صفحاتی که علاقه‌ای به نمایش آنها در نتایج گوگل نداریم از فایل robots.txt کمک می‌گیریم و آدرس این گونه صفحات را از دسترس خزنده‌های گوگل خارج می‌کنیم. Robots.txt فایل، یک فایل متنی می باشد که در Root Directory (روت دایرکتوری) یا مسیر اصلی هاست فضای وب سایت تان قرار دارد. با استفاده از این فایل شما در حقیقت به معرفی بخش های قابل دسترس و همچنین مشخص نمودن بخش هایی که نمی خواهید ربات های جستجوگر سطح وب یا همان Web Crawlers به آن ها دسترسی داسته باشند؛ می پردازید. در واقع این خزندگان سطح وب، با بررسی این فایل، اطلاعات سایت شما را به ثبت می رسانند.
قیف بازاریابی محتوا چیست؟
از نظر فنی می توانید فایل robots.txt را در هر فهرست اصلی سایت خود قرار دهید. این راهنمای مفید از Google اطلاعات بیشتری در مورد قوانینی که می توانید برای مسدود کردن یا اجازه ربات ها به خزیدن صفحات مختلف سایت شما استفاده کنید. بسیاری از موتورهای جستجو به دستور العمل های این فایل مجله خبری سئو توجه می کنند. مختصر بخواهیم بگوییم، این فایل به خزنده ها می گوید که چه قسمت هایی را اجازه دارند دنبال کنند و چه قسمت هایی را مجاز نیستند و اجازه ندارند که دنبال کنند. البته که این دستورالعمل ها می تواند بسیار بیشتر از این حرف ها باشد اما نباید جزء به جزء دستور در آن وارد کنیم.
در ادامه این نوشته به بررسی دقیق‌تر و عمیق‌تری از فایل Robots.txt می‌پردازیم. اهمیت استفاده از فایل Robots.txt برای یک سایت از آن جهت است که شما می‌توانید مدیریتی درست و ساختارمند بر روی سایت خود و محتوا‌ها و صفحات مختلف آن داشته باشید. برای پیدا کردن یک شناخت بهتر نسبت به فایل Robots.txt در ادامه همراه ما باشید. این فایل نوشتاری، شامل دستوالعمل هایی در یک قالب‌بندی خاص می‌باشد. ربات‌هایی که از این دستورالعمل‌ها پیروی میکنند، سعی میکنند که قبل از گرفتن فایل دیگری از این وبسایت، این فایل را مرور کرده و دستورالعمل‌ها را بخوانند. درصورت موجود نبودن این فایل ربات‌ها بافرض اینکه صاحب سایت قصد ارائهٔ هیچ دستورالعمل خاصی را ندارد، کل سایت را بررسی میکنند.
لینکدین
این دستورالعمل در واقع مسیر دسترسی را برای موتورهای جستجو تعریف می کند و در صورتی که هیچ مسیری مشخص نشده باشد به طور کامل توسط گوگل و بینگ نادیده گرفته می شود. در صورتی که برای یک وب سایت هیچ robots.txt وجود نداشته باشد یا دستورالعمل های قابل اجرا در این فایل وجود نداشته باشند موتورهای جستجو معمولا کل وب سایت شما را جستجو می کنند. گوگل پیشنهادات مختلفی را در خصوص ربات های خزنده در موتورهای جستجو ارائه داد که برخی از آنها مورد تایید قرار گرفته و پیاده سازی شدند. یک فایل robots.txt شامل دستورالعمل هایی برای تمامی موتورهای جستجو می باشد. برای انجام این کار و یافتن خطاهای فایل Robots.txt ابتدا وارد وب سایت Google Search Console شده و سپس وارد بخش robots.txt Tester شوید و گزینه Test را انتخاب کنید. در صورت وجود هرگونه مشکل در فایل Robots.txt پس از چند ثانیه ارور قرمز رنگ Disallowed به همراه تمامی خطاهای موجود به صورت با هایلایت شده برای شما نمایش داده می‌شوند.
این به این معنی است که گوگل فرض می کند که هیچ محدودیتی برای خزیدن وجود ندارد. توجه داشته باشید فایل ربات در روت سایت باید با حروف کوچک انگلیسی نوشته شود و همینطور محتوای ربات به حروف بزرگ و کوچک حساس است. اگر محتوای تکراری در سایت خود دارید می توان از طریق فایل txt اجازه ایندکس شدن را ندهید. از نظر فنی می توانید فایل robots.txt خود را در هر دایرکتوری اصلی سایت خود قرار دهید. یکی از تکنیک هایی که در سئو مورد استفاده قرار می گیرد، URL Cloacking نام دارد که برای پنهان کردن آدرس صفحات از دید موتور های جستجو و کاربران کاربرد دارد. Crawl-delay به موتور های جستجو دستور می دهد که صفحه ای را با تاخیر ایندکس کنند؛ این دستور زمانی کاربرد دارد که صفحه شما دارای مشکل است و می خواهید آن را برطرف کنید.
مثالی از فایل robots.txt