Як створити правильний файл robots.txt для сайту на WordPress

Написав admin. Опубліковано в рубриці CMS

Правильний файл robots.txt - заставу коректної індексації Вашого сайту, тому слід приділити особливу увагу його налаштуванні. Нагадаю, що даний файл дає інформацію пошуковим роботам про те, які сторінки сайту слід індексувати, а які ні, а також дозволяє налаштувати інші параметри індексації для різних пошукових систем.

В цілому, файл robots.txt схожий для всіх систем управління контентом, однак для WordPress він має деякі особливості. У цій статті я запропоную свій варіант цього файлу. Ви можете їм не користуватися, але взяти на замітку і вивчити думаю варто. Тому що моя суб'єктивна думка - на WordPress цей robots.txt працює як треба.

Ви можете створити файл самостійно і скопіювати туди вміст, а можете просто завантажити його прямо за цим посиланням. Створити його можна за допомогою будь-якого текстового редактора, наприклад Блокнота. І не забудьте змінити назву сайту.

А ось, власне, моя версія вмісту файлу robots.txt.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /vote Disallow: /vote/ Disallow: /author/ Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/backup-f9bcc Disallow: /wp-content/backups-dropbox Disallow: /wp-content/cache Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /wp-content/languages Disallow: /wp-content/upgrade Disallow: /trackback/ Disallow: */trackback Disallow: */*/trackback Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /*?* Disallow: /?feed= Disallow: /?s= Disallow: /tag/ Sitemap: http://www.vash-site.ru/sitemap.xml.gz Sitemap: http://www.vash-site.ru/sitemap.xml User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /vote Disallow: /vote/ Disallow: /author/ Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /xmlrpc.php Disallow: /wp-content/themes Disallow: /trackback/ Disallow: */trackback Disallow: */*/trackback Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /*?* Disallow: /?s= Disallow: /tag/ Host: www.vash-site.ru