Сайт випав з індексу

Або - як воно все насправді працює

У сьогоднішній статті я хочу розповісти Вам про те, як мій сайт випав з індексу Яндекса, чому це сталося і що робити щоб не потрапити в подібну історію? Якщо Ви будете готові до цього, то не опинитеся в тому становищі, в яке потрапив я. А повірте, коли сайт випадає з індексу пошукової системи це - дуже неприємно! :)

Що таке є цей самий "індекс", ми говорили в попередній статті, присвяченій пошукових алгоритмах. Коротко кажучи, якщо сайт не індексується це значить, що він "не бачимо" для самої пошукової системи, а отже, і для всіх користувачів, які нею користуються. Виходить що сайту - ні! Точніше фактично він-то є, але ось знайти його в результатах пошукової видачі не можна.

На початку червня цього (2012-го) року я став помічати плавне, але неухильне падіння трафіку. Це показав лічильник статистики від «LiveInternet». В той момент я займався ремонтом в квартирі і списав відбувається на якісь сезонно-відпускні коливання трафіку, коротше про те, що мій проект випав з індексу я не підозрював вообюще.

Але! Коли я по закінченні декількох днів ще раз заглянув у статистику, то зрозумів, що творяться реально не гарні речі:

Все зрозуміло і без пояснень :) Ось тут я, зізнаюся, перейнявся серйозно. Бо як тільки напередодні мав розбір польотів з «Google» і ось тепер - «Яндекс»!.

Першим ділом, закрадається думка: а що якщо сайт не індексується Яндексом взагалі? Перевіримо це припущення. Відкриваємо пошуковик і прямо в рядку запиту набираємо таку конструкцію site:sebeadmin.ru Після двокрапки, природно, підставляєте адресу свого ресурсу. Натискаємо "знайти". Цей метод працює і в пошуковику Гугл.

Що це за команда? Вона дозволяє побачити всі сторінки, які були проіндексовані пошуковим роботом (ботом, краулером, индексатором) і потрапили в базу самої ПС.

Помилуємося на результат:

З індексу пошукової бази) випали всі сторінки. Фактично весь сайт випав з індексу. Підсумок: для "дзеркала Рунета" його взагалі немає! Що тут скажеш? За-ши-бись... Ось приблизно так я і подумав, тільки трохи більш лаконічно :)

Вирішив ще раз "потрясти" Інтернет-статистику, але вже за запитом "трафік з пошукових систем". Ось що я побачив:

Ось гірше цього видовища для власника вже, напевно, нічого бути не може :) Сайт повністю випав з індексу і, як наслідок, - трафік з Яндекса впав практично до нуля.

Виникає резонне питання: чому не індексується сайт? Ніяких "робіт" на ньому останнім часом не проводилося, "заборонених" методів не використовувався, так де, питається, собака порилася? :)

Першим ділом вирішую зайти в панель веб-майстра. В даному випадку - сюди: webmaster.yandex.ru Ввожу логін і пароль, вказаний при реєстрації в неї, і одразу бачу ще одне підтвердження того, що сайт випав з індексу:

Тільки одна сторінка бере участь у пошуку (присутній в базі, по якій і шукає пошукова система - ПС).

Натискаємо на знак питання біля кількості сторінок стовпця "Сторінок у пошуку". Бачимо ось таке виринаюче вікно:

Також звернемо увагу на праву частину панелі інтерфейсу веб-майстра. Там зібрані повідомлення, які потребують нашої уваги, новини, різні анонси і т..д.

Натискаємо на посилання "Повідомлення" і переконуємося в тому, що сайт випав з індексу ще близько двох тижнів тому, а те що пошуковий трафік почав знижуватися тільки зараз можна пояснити залишковим присутністю сторінок в кеші ПС.

Кликабельно:

Так, ситуація прояснюється! Виявляється справа - в налаштуваннях веб-сервера хостингу, на якому розташований мій проект.

Примітка: хостинг - місце для розміщення ресурсу, за гроші орендоване його власником у компанії, що надає такі послуги (хостингова компанія - "хостер"). Тобто - сайт фізично розташований на їх сервері, який управляється їх адмінами. Ось цей момент треба завжди тримати в голові!

Схоже, доведеться зв'язуватись зі службою підтримки мого хостера" і з'ясовувати, в чому справа? Але, для початку, напишемо листа на підтримку самого Яндекса, просто щоб подивитися, як швидко і що саме вони скажуть :)

Це можна зробити через ту ж панель повідомлень, натиснувши на посилання: "Задати питання службі підтримки" (один з скріншотів вище). На потрібно буде заповнити таку форму:

Картинка - кликабельна.

Вдумливо робимо це, детально описуємо ситуацію, що виникла, говоримо, що сайт випав з пошуку, прикріплюємо графічний файл із підтвердженням цього сумного події і натискаємо кнопку "відправити".

Саппорт (підтримка) працює з нумерованим "тикетам" (запитами користувачів), тому на більш-менш адекватний "тікет" відповідь прийти зобов'язаний. В середньому його доведеться чекати 2-3 дні, але, швидше за все, він таки прийде!

Ось як виглядав заголовок вхідного листа в моєму випадку:

А ось сам текст, який пояснює чому не індексується сайт.

Бачимо, що був заблокований доступ для індексуючого робота пошукової системи. Треба з'ясувати чому.

Ось тепер з "чистою совістю", ми можемо писати у підтримку нашого хостера і розбиратися далі. Пишемо через звичайну пошту, пояснюємо ситуацію, "лякаємо" підтримку листом Яндекса :)

В результаті отримуємо ось таку відповідь:

Тут давайте притормозим і коротко розберемо, як пошуковик складає свою базу? Пошуковий робот (краулер або - павук) "гуляє" по мережі Інтернет і, знаходячи нові сайти, заносить їх вміст в пошукову базу своєї ПС. Причому "павук" регулярно повертається на проіндексовані їм вже ресурси, подивитися не з'явилося на них якої-небудь нової інформації? Можна сказати що він "харчується" їх контентом.

Робот-це програма, що виглядає для програмного забезпечення, яке керує показом сайту, як інтернет-браузер користувача. Візит бота це - одне з'єднання з сайтом з однієї IP адреси в один момент часу. І ось тут важливий момент!

Якщо з якої-небудь причини краулер не зможе отримати доступ до сайту (тимчасові проблеми у хостера, неправильне налаштування веб-сервера, на якому розташований сайт і т. д.) він може повідомити своїй пошуковій системі, що такого сайту просто немає і вона легко виключить його із своєї індексної бази (він з неї випаде). Причому сайт, в принципі, буде у Вас прекрасно функціонувати і Ви (до останнього моменту) і знати ні про що не будете!

В моєму випадку сталася трохи інша історія: робот не зміг (чому? - підтримка хостера тут глухо мовчить) "зайти" на сайт і не придумав нічого кращого, як почати швидко з'єднуватися з ним з різних IP-адрес (він таке вміє), а налаштування безпеки серйозного дата-центру хостера візьми і порахуй, що така поведінка є ознака хакерської атаки і забанила (заблокувала) всі ці IP-адреси.

У результаті - все працювало на ура! Пошуковик порахував що ресурсу більше немає і сайт випав з індексу, система безпеки дата-центру відрапортувала про успішно відбитій хакерській атаці а я залишився з... результатом взаємодії цих двох "інтелектуальних" систем! Пам'ятайте такі рядки однієї з пісень Володимира Висоцького: "Доктор діяв на благо, шкода що благо - не моє" :)

Коротше кажучи, пишу ще раз в службу підтримки "дзеркала Рунета". Так мовляв і так, Ваш робот доданий в "білий список" і більше блокуватися не буде. Через пару днів отримую ось таку відповідь:

Кликабельно:

Ну, слава богу! Процес пішов! Правда АП (апдейт, воно ж - оновлення) пошукової бази Яндекса відбувається (в середньому) раз на п'ять днів, але - почекаємо, що ще залишається?

А поки - заходимо в панель нашого веб майстра і бачимо ось таке радісне повідомлення:

Запис буквально означає: випав з індексу сайт готовий до переіндексації. В результатах видачі його немає, але після того, як на нього черговий раз "зайде" пошуковий робот і занесе його в базу - з'явиться там. А це 5-7 днів, не менше!.

А поки - зверніть Вашу увагу на приписку в листі від співробітників Яндекса: "З повагою, Платон Щукін". Листи від цієї "людини" Ви будете отримувати часто (якщо будете листуватися з підтримкою, зрозуміло). Це - псевдонім, який покликаний надати "людяності" нашого спілкування з бездушною машиною. Втім, якщо Ви вмудритеся поставити в глухий кут штучний інтелект Платона) Вам може відповісти дійсно реальна людина :)

І ось, заглянувши через тиждень у веб-майстер я з задоволенням виявив ось таку картину:

Робот за перший захід завантажив (проіндексував) 75 сторінок мого сайту. Інші, будемо сподіватися, - підтягнуться після наступного "апа" (апдейта) пошукової бази.

Перевіримо для більшої переконливості це через рядок пошуку. Введемо в неї команду: site:sebeadmin.ru

Бачимо - все нормально. Сторінки дійсно присутні і індексі ПС.

А ось як виглядає графік відвідуваності мого ресурсу по окремих ПС за вчорашній день:

Як бачите, днів за 10 ресурс повністю вибрався з "ями" і це, без сумніву, - чудово! Проблема в іншому: чому він, власне, до неї потрапив? Адже те, що сайт випав з індексу це ніяк не тому, що він - не відповідає якимось (придуманим кимось) вимогам, а в силу відвертою "кривизни" роботи пошукової системи (в даному випадку - «Яндекс»).

Ну, невже, дожившись до 2012-го року, не можна досі придумати адекватний спосіб перевірки того, припинив ресурс своє існування чи ні? Навіщо настільки сліпо довіряти недосконалою програмі, яка послала ПС сигнал про його недоступності і викидати сайт з індексу? Можна, зрештою, асесора і утрудиться - вручну зайти на сторінку, упевнившись у її абсолютної доступності.

Примітка: асесор - людина, що має право вручну коригувати результати видачі і відповідає за "навчання" машинного інтелекту. "Дзеркало Рунета" володіє цілим штатом асесорів.

Але, чомусь мені здається, що ці мої питання так залишаться риторичними. Не в цьому суть, а в тому, що Ви повинні знати про таку схему поведінки ПС і, по можливості, не дати їй шансу зробити так, щоб Ваш сайт випав з індексу! :) Частіше заглядайте в панель веб-майстра і отримуйте в ній тільки приємні повідомлення!