همراه من باش تا بهت بگویم که چه طوری ربات های گوگل را تحت اختیار خودت بگیری. این به ربات ها می گوید که می توانند کل وب سایت را مرور کنند، زیرا هیچ چیزی غیرمجاز نیست. طراحی سایت ریسپانسیو هر روز بیشتر از دیروز تبدیل به یک الزام میشود. طراحی سایت ریسپانسیو با پیشرفت تلفنهای همراه و همهگیر شدن استفاده از آنها نسبت به کامپیوترهای شخصی و لپتاپها اهمیت پیدا کرده است. طراحی پورتال سازمانی مسئلهای است که حتی شرکتهای طراحی سایت نیز کمتر به آن ورود میکنند و میتوان گفت که سختترین موضوع در طراحی سایت، طراحی پورتال سازمانی است. ما در مه ویژن با تکیه بر توان علمی و فنی تیم طراحی سایت خود، آماده طراحی پورتال سازمانی برای هر سازمان دولتی و خصوصی هستیم.
همان Notepad ساده ویندوز یا هر ویرایشگر متن دیگر که فایل خروجی از نوع TXT میدهد قابل استفاده است. همانطور که میبینید دیجیکالا دستور سایت مپ را در فایل robots.txt خود قرار داده است. دستور / بعداز Disallow به ربات گوگل میگوید باید وارد پوشهای در ریشه فایل شوی. مطمئناً شما هم میخواهید ربات گوگل Crawl Budget سایتتان را به بهترین شکل ممکن مصرف کند. به عبارت دیگر، ربات گوگل باید ارزشمندترین و مهمترین صفحات شما را بهتر و بیشتر بررسی کند. اما باید حواستان باشد که این رباتها زبان آدمیزاد سرشان نمیشود!
چگونه دستورات ‘Disallow’ در فایل robots.txt کار میکنند؟
آموزش طراحی سایت
صفحه ای را که ما به عنوان مثال در آن کدهای مربوطه را جایگذاری می کنیم به طور حتم ایندکس خواهند شد. در این بخش، گوگل به شما کنترل بیشتری می دهد تا بگویید، صفحه ای را که در آن کدهای مربوطه جایگذاری شده اند را چگونه فهرست کنید. این موضوع را به عنوان هشداری در گوگل در مورد جایگذاری شبکه های اجتماعی از جمله اینستاگرام یا سایر تصاویر و مشکلات سئو که می توانید ایجاد کنید موثر خواهد بود. اما نباید فراموش کنید که اگرچه میتوان سایت مپ در داخل فایل ربات سایت به رباتهای موتور جستجو گوگل معرفی کرد اما این روش بهترین روش معرفی سایت مپ به رباتهای گوگل نیست. با اینکار خزندههای موتور جستجو گوگل حتی اگر فایل robots.txt سایت شما را هم نادیده بگیرند چون در داخل صفحه صراحتا از رباتها خواسته شده که این صفحه را ایندکس نکنند، به این درخواست احترام میگذارند.
- این کار با مقایسه قاعده با مؤلفه مسیر URL که خزنده سعی در واکشی آن را دارد کار می کند.
- اما ربات موتور جستجو با مشاهده یک صفحه جدید در یک سایت یا یک سایت کاملا جدید که پیش از این مشاهده نکرده است، فایل Robots.txt را بررسی میکند تا از وضعیت مجوز برای بررسی و فهرست کردن صفحه یا سایت جدید را اطلاع یابد.
- هنگامی که فایل robots.txt خود را در رایانه خود ذخیره کردید، آماده است تا آن را در اختیار خزنده های موتورهای جستجو قرار دهید.
- خارج از این سه مورد حاشیه ای، توصیه می کنم از دستورالعمل های متا به جای robots.txt استفاده کنید.
بودجه خزش به تعداد صفحاتی از سایت اشاره دارد که رباتهای جستجوگر در طول یک بازه زمانی مشخص مثلا یک روز یا یک هفته به ایندکس آنها میپردازند. نرخ خزش هر وب سایت بر اساس میزان بزرگی و بازدید روزانه و تعداد لینکهای آن مشخص میشود و مسلما هرچه میزان بودجه خزش یک سایت بیشتر باشد، رتبه بهتری در صفحه نتایج جستجو بدست خواهد آورد. بنابراین مجله خبری سئو با استفاده از فایل Robots.txt میتوانید از بودجه خزش سایت خود استفاده بهینه داشته باشید و از آن برای ایندکس کردن صفحات مهم وب سایت و مسدود ساختن صفحات غیر ضروری استفاده کنید. در واقع فایل Robots.txt یک قرارداد بین سایت شما و رباتهای خزنده است که به آنها اعلام میکند چه محتوایی قابل بررسی و چه محتوایی غیرقابل بررسی است.
تمام رباتهای استاندارد در وب به قوانین و محدودیتها پایبند بوده و صفحات شمارا بازدید و ایندکس نخواهند کرد ولی ناگفته نماند که بعضی از رباتها توجهی به این فایل ندارند. اگر در فایل Robots دستور دهید که رباتهای گوگل اجازه دسترسی به صفحاتی را ندارند، این صفحات کلاً بررسی نمیشوند اما هیچ تضمینی وجود ندراد که این صفحه در نتایج جستجوی گوگل ظاهر نشود. امکان دارد رباتها از طریق لینکهایی که به همان صفحه داده شدهاند و کمک گرفتن از همان انکر تکست لینک، صفحه را ایندکس کنند. در حال حاضر بهترین راه برای حذف صفحهای از نتایج جستجو، اضافه کردن دستور noindex در قسمت head صفحهها است. اگر از وردپرس استفاده میکنید افزونههایی برای این کار وجود دارد و در غیر اینصورت باید از طراحی وبسایت خود بخواهید که امکاناتی برای افزودن این کدها یا دستورات در قسمت هد هر صفحه فراهم کند.