فایل robots.txt برای پیاده سازی بخش های ممنوع سایت برای موتورهای جستجو مورد استفاده قرار می گیرد و یک استاندارد برای انجام این کار به شمار می آید. با استفاده از فایل robots.txt می توان نکات مفیدی در خصوص چگونگی عملیات خزیدن در وب سایت خود به موتورهای جستجو ارائه دهید. گوگل در این باره می گوید که تگ indexifembedded “به یک مشکل رایج می پردازد. این مشکل به طور کلی ناشران رسانه ها را نیز تحت تاثیر قرار خواهد داد. در حالی که در برخی مواقع مشاهده خواهید کرد که متقاضیان بخواهند محتوای خود را در زمانی مشخص در صفحات شخص ثالث جایگذاری کنند تا گوگل به ایندکس صفحات بپردازد. از اینرو لزوما نیاز نخواهد بود که صفحات رسانه ای خود را به تنهایی مورد ایندکس گوگل قرار دهید.
معمولا یکبار قوانین و محدودیت‌های فایل robot مشخص می‌شود و تا زمانی که محدودیت‌های این فایل مشکل ساز نشده‌اند نیازی به اصلاح و تغییر فایل robots.txt نیست. بعد از انتخاب، صفحه‌ای باز می‌شود که در آن گوگل آخرین فایل ربات پیدا شده از سایتتان را به شما نمایش می‌دهد. درصورتی که شما اقدام به ایجاد یک فایل حقیقی به نام robots.txt در ریشه هاست سایت خودتان کنید، فایل ربات مجازی به صورت خودکار از کار می‌افتد و فایل حقیقی آپلود شده توسط شما جایگزین آن خواهد شد. همچنین برخی از دستورات انحصاری ربات‌های خاص هم برای بسیاری از ربات‌ها، ناشناخته و غیر قابل درک است و به همین خاطر ممکن است برخی ربات‌ها از این دستورات پیروی کنند و برخی دیگر به آنها توجهی نکنند. دقیقا همانطوری که حرف زدن به زبان چینی برای بسیاری از مردم جهان کاملا غیر قابل مفهوم و درک است. قبل از اینکه بخواهیم در فایل robots.txt سایت‌مان تغییراتی ایجاد کنیم، لازم است که با محدودیت‌های این فایل آشنا باشیم.
موتور جستجوی گوگل تنها اجازه دسترسی به /not-launched-yet/ را ندارد اما اجازه دسترسی به /secret/ و /test/ برای آن فراهم شده است. به عنوان مثال در موتورهای جستجو گوگل و بینگ در صورتی که تعداد کاراکترهای استفاده شده در دستورالعمل Allow بیشتر باشد اولویت بیشتری نسبت به دستورالعمل Disallow خواهد داشت. توجه داشته باشید که تفسیر آنها از این دستورالعمل اندکی متفاوت می باشد و به همین علت نیز بهتر است که قبل از استفاده حتما اسناد موجود در وب سایت این موتورهای جستجو را مطالعه کنید. اگر موتورهای جستجو قادر باشند تا یک سرور را overload کنند معمولا استفاده از این دستورالعمل در فایل robots.txt یک راه حل موقت برای حل این مشکل خواهد بود. حتی اگر شما در حال حاضر نقشه XML سایت خود را در کنسول جستجوی گوگل یا ابزارهای Webmaster موتور جستجوی بینگ نیز ارسال کرده اید باز هم به شما پیشنهاد می کنیم حتما از این قابلیت بهره مند شوید. این دستورالعمل در واقع مسیر دسترسی را برای موتورهای جستجو تعریف می کند و در صورتی که هیچ مسیری مشخص نشده باشد به طور کامل توسط گوگل و بینگ نادیده گرفته می شود.
- در صورتی که سایت شما دارای ساب دامین است لازم است هریک از این ساب دامین‌ها دارای فایل robots.txt مختص خود باشند.
- اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم.
- با استفاده از گوگل وبمستر یا همان کنسول جستجوی گوگل شما می توانید بررسی کنید که چه تعداد و چه صفحاتی از سایتتان فهرست بندی شده اند.
- گوگل ربات‌هایی دارد که عکس را جست‌وجو می‌کنند و ربات‌هایی نیز دارند که به سراغ محتواها می‌روند.