Яндекс не индексирует WordPress и OpenCart или отзыв о хостинге Ukraine

На этом блоге, где по состоянию на сегодня около 100 статей и 30 уникальных посетителей в месяц была проблема. А именно в индексе яндекса было аж 3 страницы, карта сайта sitemap.xml (не путать с HMTL картой сайта) была в обработке уже больше двух месяцев, хотя должна быть не более двух недель. С Google наоборот было все замечательно, в индексе 987 страниц, 900 с чем-то картинок, да и все посетители пришли именно с Google, а не Яндекса. Более того, кроме этого блога тоже самое было и с одном относительно молодым магазином на базе OpenCart. Такая ситуация меня понятное дело не устраивала и я начала копать.

В первую очередь проблема скорее всего в том что почему-то поисковик рунета не хочет обрабатывать карту сайта. Выяснить в чем проблема самостоятельно мы не можем, а значит надо отписать в тех. поддержку. Для этого:

1. Заходим в Yandex Webmaster. Если вы не знаете адреса то можете его найти просто вбив это словосочетание в любой поисковой машине
2. Заходите в управление вашим сайтом
3. И в правой части экрана, в самом низу нажимайте на кнопку «Обратная связь»

Отписал я им следующие:

1

Добрый день, загрузил в вебмастер sitemap.xml для двух сайтов (napositive.com.ua и Адрес_магазина) больше месяца назад, но до сих пор пишет "в обработке". В индексе только главная страница. В чем может быть проблема?

Через  пару недель получил ответ что проблема не в моем сайте, а у них на стороне и очень скоро они все исправят и станет чики-пики с картой сайта. Но вот почему проблема с индексацией сайта они пока не знают, когда найдут причину и от меня надо будет что-то сделать они сообщат. Дословно ответ был таким:

1
2
3
4
5

Здравствуйте, Андрей!
 
К сожалению, задержки с обработкой Ваших файлов sitemap вызваны техническими проблемами с нашей стороны. Мы уже работаем над их устранением, но на это потребуется определенное время. Как только неполадки будут полностью устранены, обработка Ваших sitemap возобновится. Приносим Вам наши искренние извинения в связи с этой ситуацией и надеемся на Ваше терпение и понимание.
 
Что касается индексирования, то мы проверим, по какой причине остальные страницы сайтов не начинают посещаться роботом и не появляются в поиске. Если от Вас потребуются какие-то действия, мы свяжемся с Вами дополнительно.

Отлично, значит с нашей стороны требуется просто ждать. По крайней мере я так думал… Еще через пару недель карта сайта загрузилась и нормально отработала. Ситуация не поменялась. Еще примерно через месяц приходит второй ответ:

1
2
3
4
5

Здравствуйте, Андрей!
 
Хочу сообщить, что процесс индексирования сайтов организован таким образом, чтобы роботы могли скачать максимально возможное количество страниц, не перегружая при этом сервер. Если на одном IP-адресе расположено очень много хостов, робот просто не сможет скачать все страницы, обход которых он запланировал, так как это может привести к перегрузке севера.
 
Ваши сайты расположены как раз на таких IP-адресах: помимо napositive.com.ua и адрес_магаина, там находится ещё несколько сотен хостов, в связи с этим на индексирование сайтов может уйти гораздо больше времени, чем обычно. Указать какие-то конкретные сроки индексирования страниц в подобных случаях у нас, к сожалению, нет возможности. В связи с этим предлагаю Вам обратиться к Вашему хостинг-провайдеру с просьбой перенести сайты на менее загруженные IP-адреса.

Да уж, проблема ясна почему за пол года в индексе всего 6 страниц, потому что украинский хостер Ukraine слишком перегружен. Поскольку кроме этих двух проблемных сайтов на этом хостинге находилось еще 7 сайтов которыми я занимался, то тарифный план был далеко не самый дешевый и я ожидал что тех. поддержка пойдет мне на встречу и перенесет учетную запись на менее загруженный ip. Да и сотрудничал  с этим хостером довольно долго, примерно 6-7 лет.

Написал в чат с просьбой перенести, на что получил ответ что единственное что я могу сделать этой купить выделенный ip за 5$ в месяц. На вопрос «Значит то что по вашей вине свыше сотни сайтов не индексируеться одним из двух поисковиков вам плевать?» получил дипломатичный ответ что «Знал на что подписывался, и все ресурсы сервера распределяются равномерно по всем клиентам». Дело конечно не в 5$/месяц, а самом понятии что услуга не предоставляться так как должна и мне не сообщили об этом. С блогом дело десятое, но вот коммерческие сайты недополучили приличное количество денег, потому что частично были не в индексе. Об этом вообще то надо предупреждать заранее что если я хочу чтобы мои сайты индексировал яндекс то надо покупать сразу выделенный ip.

Кроме этой проблемы у него еще были такие:

• Постоянные DDOS атаки на сайты-соседи. Поэтому и мои сайты грузились не очень быстро во время атак.
• Во время атак отключали зарубежный трафик что плохо для блогов и коммерческого международного ресурса.
• Из-за популярности хостинга и большого количества клиентов отклик сайта желал быть лучшим. Иногда долгая загрузка сайта невероятно бесила. Страница могла загружаться 30-45 секунд, что делало работу с ресурсом практически невозможным.

Суммарно из-за этих проблем я решил, для начала, поменять место жительства для двух сайтов — коммерческого  ресурса и этого блога. После теста в три месяца перенести и все остальные ресурсы. После долго серфа интернета  выбор остановился на хостинге HostIQ из-за регионального признака, который важен для SEO (но после 6 месяцев использования я поменял его на этот vps hosting. Для начала я выбрал тарифный план который включает в себя:

1. 10 ГБ места
2. 2 сайта (то что мне и нужно)
3. Неограниченный трафик
4. И сразу заказал опцию «выделенный ip» за 1$ в месяц.

Итого вышло 10$ в три месяца (квартал)

Дело осталось за малым, переехать и посмотреть решит ли это мою проблему. От сюда родилось две статьи:

Как переехать WordPress на новый хостинг (CPanel)

Как переехать OpenCart на новый хостинг (CPanel)

Сразу хочу сказать что во время переезда я стыкался с некоторыми трудностями которые с блеском решал новый хостер. А именно во время регистрации ошибся в названии основного домена. Также были проблемы во время переезда с SQL базами и прочие мелкие досадности которые с блеском решала тех. поддержка. Суммарно мне понадобилось пол дня на то чтобы полностью переехать и большинство этого времени я потратил на ожидание изменения DNS зон и копирование файлов.

Если у вас возникли вопросы напишите их в комментариях, попробую вам помочь.