فایل Robots.txt یک فایل متنی بسیار ساده ,در عین حال بسیار مفید و تاثیر گذار می باشد.توسط این فایل شما قادر خواهید بود تا صفحات,لینک ها,پوشه های خاصی را از دید موتور های جستجو پنهان کنید این کار کمک شایانی در seo یک سایت می کند بطوری که وب سایت هایی که از این فایل استفاده می کنند در رتبه بهتری در پیج رنک قرار می گیرند علاوه بر seo این فایل باعث ایجاد امنیت بالاتری در برابر حملات می شود.توسط این فایل می توانید محدودیتها زیادی رو بر روی سایت خود ایجاد نمایید.

برای ایجاد فایل Robots.txt کافیه از یک نرم افزار ویرایش متن مثل notepad استفاده کنید,نرم افزار رو اجرا کنید و شروع کنید به وارد کردن کدهای مورد نظرتون. به شکل زیر توجه کنید…

robo2

آشنایی با فایل Robots.txt , نحوه ایجاد و فواید آن

همانطور که در تصویر بالا مشاهده می کنید ابتدای هر کد از واژه Disallow استفاده شده این واژه به معنی عدم اجازه می باشد و به موتور جستجو می فهماند که اجازه دسترسی به پوشه و یا فایل مورد نظر راندارد در نتیجه موتور جستجو فایل هایی با این شرایط را را ایندکس گذاری نمی کند.

به عنوان مثال عبارت Disallow:/wp-admin پوشه ادمین وردپرس را برای موتور های جستجو غیر قابل دسترس می کند.و اگر بخواهیم فایل خاصی را در پوشه ی مورد نظر غیر قابل دسترس کنیم تنها کافیست بعد از اشاره به پوشه مورد نظر نام فایل یا پوشه ی مد نظرتان راوارد کنید مانند:

Disallow:/wp-admin/نام فایل یا پوشه مورد نظر

نکته مهم دیگری که باید مورد توجه قرار گیرد محل ذخیره فایل Robots.txt می باشد این فایل باید در ریشه اصلی سایت مورد نظر ایجاد و یا ذخیره شود بدین صورت :

http://www.yoursite/robots.txt

به همین راحتی و با چند خط کد شما هم میتوانید seo سایت خود را بهتر و هم امنیت سایت خود را فزایش دهید…

در پایان تعدادی از دستورات مهم این فایل رو مشاهده می کنید که برای دو cms قدرتمند جوملا و وردپرس مورد استفاده قرار می گیرد…

joomla :

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /editor/

Disallow: /help/

Disallow: /includes/

Disallow: /language/

Disallow: /mambots/

Disallow: /media/

Disallow: /modules/

Disallow: /templates/

Disallow: /installation/

Disallow: /libraries/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /admin

Disallow: /administrator

Disallow:/admin/

Disallow: /admin.html

Disallow:/admin.php

wordpress :


User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /tag

Disallow: /author

Disallow: /wget/

Disallow: /httpd/

Disallow: /cgi-bin

Disallow: /images/

Disallow: /search

Disallow: /feed

Disallow: /feed/

Disallow: /trackback/

Disallow: /rss

Disallow: /comments/feed

Disallow: /feed/$

Disallow: /*/feed/$

Disallow: /*/feed/rss/$

Disallow: /*/trackback/$



اشتراک در شبکه هاي اجتماعي :

مطالب مرتبط با اين نوشته Related to this post