همه چیز در مورد فایل robots.txt

  • نویسنده : بابک رستمی
  • ۱۴ شهریور ۱۳۹۴
Want create site? Find Free WordPress Themes and plugins.

سلام دوستان

امیدوارم حالتان خوب باشد

در این پست به

 همه چیز در مورد فایل robots.txt

می پردازیم

خب اول به تعریف فایل robots.txt می پردازیم

پسوند این فایل همان طور که معلوم می باشد txt  می باشد

وظیفه این فایل این هست که به robot ,spider,crawler میگه که چه صفحه هایی را می توانند باز کنند و کجا ها را نمی توانند

مسیر این فایل در سایت ها معمولا تو شاخه ی اصلی سایت(root)  می باشد

به عنوان مثال robots.txt  گوگل را می توانید در لینک زیر مشاهده کنید:

کلیک برای دیدن

افزایش امنیت سایت با robots.txt

فایل robots.txt در امنیت سایت نقش مهمی دارد

میخواهم واضح تر توضیح دهم

و همه ما این مطلب را خود درک کرده ایم که اگر یک افزونه ای نوشته شد و رایگان در اختیار عموم قرار گرفت به جز ما کسانی نیز از ان استفاده خواهند کرد.

به عنوان مثال شما یک افزونه ای را روی سایت وردپرسی خود نصب کرده اید و ادرس این پلاگین به این صورت می باشد

وقتی هکر(نفوذگر) توانست باگی را در افزونه پیدا کند دیگر نمیاید یکی یکی سایت های وردپرسی را چک کند کافیست ادرسی را که دارای باگ هست در گوگل جستجو کند

به این صورت

کد بالایی google dork می باشد که هکر با استفاده از ان سایت های هدف را مشخص می کند

اما ما می توانستیم به گوگل اجازه ندهیم که بخش wp-content سایت ما را در نتایج خود بیاورد

کافی بود به robots.txt دستور را اضافه می کردیم:

خب بریم دستور های موجود در فایل robots.txt را مورد بررسی قرار دهیم

خب این میگه که همه دستورات برای همه موتور های جستجوگر داده میشه

اما اگر بخواهیم دستورات را فقط برای ربوت گوگل اعمال می کنیم باید این طوری عمل کنیم:

خب ما می توانیم با استفاده از دستور allow,disallow صفحاتی را که می خواهیم ربوت ببیند یا نبیند را مشخص می کنیم به عنوان مثال

در بالا به همه ی موتور های جستجوگر گفتیم که

پوشه wp-content نمی تواند ببیند

امامجاز به دیدن پوشه اپلود و همه فایل های اون هس

این جا هم می توناید لیستی از robots.txt ها را مشاهد کنید

http://www.robotstxt.org/

سوالی بود از قسمت دیدگاه ها لطفا بپرسید

یاعلی.

 

 

 

Did you find apk for android? You can find new Free Android Games and apps.

مستروب یک رویا یا یک داستان افسانه ای نبود…
مستروب با یک برنامه ریزی دقیق و اندیشه ای نو پا به عرضه گذاشته و امید بر آن است که هر روز بتوانیم بهتر از دیروزمان ظاهر شویم

نظرات کاربران

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

افزایش امنیت سایت
ارتباط با ما مستروب از طریق تلگرام