Каждый опытный вебмастер хотя бы раз в своей практике встречается с такой проблемой, что страницы сайта выпадают из индекса поисковых систем. Если вы с этим тоже столкнулись, то в этой статье мы разберем причины возникновения такого явления . Д ля начала нам нужно собрать все страницы которые были исключены с индекса и поддать их следующему анализу по следующим критериям:
Давайте разберем подробно причины выпадения из индекса поисковых систем страниц сайта. Почему это произошло и как поступить в сложившейся ситуации. Анализ можно провести самостоятельно и так же самостоятельно исправить выявленные проблемы.
Неуникальность . Конечно, если вы написали сами вполне внятный текст, проверяли на уникальность при публикации, и не постили где-нибудь еще, то тут может быть только одна причина – статью скопировали, разместили на стороннем ресурсе и скорее всего поисковые системы посчитали что первоисточник не вы.
Что делать? Проверьте текст на уникальность. Как это делать вы можете почитать в статье. Если вы нашли дубликаты в сети, то советуем проверить, как Яндекс относится к вашему тексту. Выберите один абзац не уникального текста, скопируйте и вставьте в поисковую строку Яндекса, возьмите этот кусочек текста в кавычки.
Если ваш сайт в выдаче находится первый, то волноваться нечего — ваш текст Яндекс считает первоисточником и ранжирует выше копий.
Если же наоборот – то надо обращаться с жалобой к владельцу сайта и хостинговой компании с просьбой удалить сворованный контент. При составлении письма советуем изучить закон об авторском праве и меры наказания за его нарушение.
Плохое качество контента. Что тут имеется ввиду? Это может быть грубый рерайт, размноженный текст с помощью синонимайзеров и прочих программ. Что делать? Переписать или дописать статью, так как плохой контент по сути никому не интересен.
Переоптимизация контента. Проверьте статью, которая выпала из индекса на количество вхождений ключевых слов. Сделать это можно любым сервисом http://advego.ru/text/seo/ или http://istio.com/rus/text/analyz/ . Тут обращайте внимание на максимальный процент по слову. Он должен быть максимум до 4%, или же ориентируйтесь по ТОПу выдачи, какой процент вхождения используют конкуренты, статьи которых занимают первые позиции. Так же обратите внимание как у вас прописаны метатеги: Title, Disсription, заголовок H1 и другие подзаголовки с тексте. Возможно вы перестарались и слишком много употребили ключевых слов.
Если сайт постоянно недоступен для ботов Яндекса, то поисковая система может посчитать, что данная страница уже не существует и исключить из поисковой выдачи. Иногда такие косяки бывают со стороны хостинга. Если он постоянно подводит, сайт часто становится недоступным, то надо переносить свои сайты на другой более качественный хостинг.
Так же проверьте, закрыта ли страница для индексации (проверьте запрещающие директивы файла роботс, и наличие атрибута noindex в metarobots. Вы могли не корректно настроить какой-нибудь плагин или CMS и случайно закрыть доступ роботам к индексации данного урл адреса.
Контент, размещенный на данной странице может нарушать закон об авторском праве. Или не соответствовать нормам, правилам и действующему законодательству РФ.
Что делать? Изучать более детально закон под действие которого попал ваш сайт. Если есть ошибки со стороны поисковой системы то это стоит решить в частной переписке со службой поддержки, если все по закону то удалить все нарушающие закон материалы и больше так не делать
Проверьте количество исходящих ссылок, обратите внимание так же на количество расположенной рекламы. За агрессивную продажу ссылок Яндекс может посчитать страницу (или весь сайт) спамным, не соответствующим критериям качественного сайта.
Что делать? Убрать максимально возможное количество внешних ссылок, ведущие на сторонние ресурсы или закрыть их от индексации атрибутом rel=nofollow.
Очень частая мера при нахождении роботом в индексе страниц дублей это удаление лишних на усмотрение робота, и не редко бывает что удаляются совсем не те страницы которые нужно.
Что делать? Если у вас в индексе 24000 страниц а уникального контента всего 300 страниц, то будьте готовы к внезапному удалению 23500-23600 страниц или же, если лишние страницы не приносят вам трафик, пропишите корректные правила индексации в файле robots.txt и закройте все страницы не имеющие полезного уникального содержания.
У вас может быть изумительный контент, но если он будет подан на сломанной верстке или на совсем не естественной цветовой гамме то среднестатический пользователь вряд ли будет ее читать а скорее всего перейдет к конкурентам. Накопление статистики плохих поведенческих факторов может привести к наложению фильтра на ваш сайт.
Не стоит упускать такой момент, как фильтры поисковых систем. Как правило они накладываются уже за очень грубое и систематическое нарушение описанных здесь причин и если вы получили АГС или Бан тогда вам стоит пересмотреть все предыдущие пункты и найти конкретную причину за который вы получили санкции.
Если вы все проверили, но грубых нарушений не обнаружили, то это может быть обычный глюк Яндекса. Такое периодически бывает, и как правило восстанавливается в следующие 1-2 апдейта.
С поисковыми системами нужно быть крайне осторожным, их алгоритмы совершенствуются постоянно, что приводит неопытных вебмастеров к серьезным проблемам.
Сделав одно не правильное действие, можно не то что попрощаться с ТОПом выдачи, но и вообще придти к исключению сайта из неё.
Почему страницы выпали из индекса? Для всех новичков мы уже рассказывали, . Делать это нужно постоянно, чтобы быстро определять проблемы.
Чем быстрее вы их выявите, тем проще будет всё исправить. Удаление страниц из поисковой выдачи может быть связано с различными причинами, попробуем в этом разобраться.
Самая распространенная причина удаления страниц из списка проиндексированных – это попадание сайта под фильтры .
У поисковых систем создано несколько фильтров, под которые попадают ресурсы за нарушение разных правил. К примеру, под Минусинск попадают площадки, чьи владельцы покупали ссылки.
В одной из наших статей рассказывалось, . А вообще, сначала нужно отправить сообщение в тех. поддержку поисковых систем, чтобы выяснить, какой именно фильтр наложен и по какой причине.
Если речь идет о Google, то при ручных санкциях вебмастерам отправляются уведомления о наложении санкций. Автоматическое добавление под фильтры не сопровождается этим уведомлением.
На практике встречаются самые разнообразные факторы, из-за которых выпали страницы из индекса в Яндекс. К примеру, это может быть переспам ключевыми словами .
Если вы ещё не зарегистрированы в специальных сервисах для вебмастеров, обязательно это сделайте:
Это необходимо для сбора статистики, получения уведомлений и так далее. Даже если ваша площадка попадает под фильтры, вы сразу это заметите.
Если же вы не имеете представления, за что ваши страницы пропали из индекса, читайте, (это тех. поддержка Яндекса).
Чтобы вы не думали, что вашу площадку по ошибке добавили под фильтры, рассмотрите основные причины наложения санкций поисковыми системами и проанализируйте свою деятельность за последние месяцы.
Возможно, вы сами создали проблемы, если:
Дайте поисковой системе хотя бы один повод добавить вас под фильтры и санкции 100% будут наложены. Лучшее думать об этом заранее, так как вывести площадку из-под них не так просто. Для начала потребуется устранить проблему, а потом продолжать развивать проект.
Бывают проблемы связанные с индексацией, которые не указывают на наложение санкций. Возможно, вы устанавливали какой-нибудь плагин или редактировали код, что может привести к закрытию страницы.
Хорошо, что в интернете есть профессионалы, готовые помочь и после создания темы на одном из популярных сервисов, выяснилось следующее.
Страницы сайта могут пропадать из результатов поиска Яндекса по нескольким причинам:
Страница перенаправляет робота на другие страницы.
Робот продолжает посещать исключенные из поиска страницы, а специальный алгоритм проверяет вероятность их показа в выдаче перед каждым обновлением поисковой базы. Таким образом, страница может появится в поиске в течение двух недель после того, как робот узнает о ее изменении.
Если вы устранили причину удаления страницы, . Так вы сообщите роботу об изменениях.
На странице правильно заполнены метатеги Description, Keywords и элемент title, страница соответствует всем требованиям. Почему она не в поиске?
Алгоритм проверяет на страницах сайта не только наличие всех необходимых тегов, но и уникальность, полноту материала, его востребованность и актуальность, а также многие другие факторы. При этом метатегам стоит уделять внимание. Например, метатег Description и элемент title могут создаваться автоматически, повторять друг друга.
Если на сайте большое количество практически одинаковых товаров, которые отличаются только цветом, размером или конфигурацией, они тоже могут не попасть в поиск. В этот список можно также добавить страницы пагинации, подбора товара или сравнений, страницы-картинки, на которых совсем нет текстового контента.
Страницы, которые отображаются как исключенные, в браузере открываются нормально. Что это значит?
Это может происходить по нескольким причинам:
Заголовки, которые запрашивает робот у сервера, отличаются от заголовков, запрашиваемых браузером. Поэтому исключенные страницы могут открываться в браузере корректно.
Если страница исключена из поиска из-за ошибки при ее загрузке, она исчезнет из списка исключенных только в том случае, если при новом обращении робота станет доступна. по интересеющему вас URL. Если ответ содержит HTTP-статус 200 OK, дождитесь нового посещения робота.
В списке «Исключенные страницы» показываются страницы, которых уже нет на сайте. Как их удалить?
В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.
Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.
Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:
1.2. Старый сайт частично или полностью выпал из индекса
Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).
Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.
Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:
Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:
Если за последнее время, у вас просел трафик, страницы выпали из индекса, то тогда есть только 2 варианта. Первый: санкции от поисковых систем, второй:
Здравствуйте, уважаемые читатели блога сайт.
На связи Могиш Иван, и сегодня я расскажу вам об такой проблеме, когда из индекса поисковой системы выпадают (уже ранее) .
Буквально несколько дней назад, с нами случилась точно такая проблема. Из индекса гугла вылетело почти 50% страниц. Трафик упал с 800 на 169. Просто жесть. Сами посмотрите:
На сегодня вроде статистика выровнялась, но все равно есть ещё небольшой минус. Надеемся, через 2-3 дня выйдем на тот уровень что и были.
Так вот друзья, если у вас случилась такая проблема, считайте вам повезло. Расскажу все, что делали. Только сначала, давайте узнаем причины такой неприятной проблемы.
1. Санкции (АГС, Панда, Пингвин и т. д.). Первый признак наложенных фильтров является понижение трафика и вылет страниц из индекса. Поэтому, чтобы первым узнать о таких проблемах, каждый веб-мастер, блоггер просто обязан зарегистрировать свой ресурс в панелях веб-мастеров. Друзья, если вы ещё это не сделали, то не тяните:
Процедура добавления сайта довольно проста. Но все же если возникнут проблемы, то отпишитесь в комментариях. С радостью, помогу.
В общем, если ваш сайт попал под санкции, то вначале нужно узнать, какой именно фильтр наложен. Обычно, в панели для веб-мастеров приходит письмо со всей информацией (за что, когда наложен и т. д.).
P.S. Гугл отправляет сообщение веб-мастеру, только тогда, когда наложены ручные санкции. Если автоматические, письмо не придёт.
Вывод сайта из-под санкций, это совсем другая тема, о которой я расскажу в других своих статьях. , чтобы не пропустить.
А теперь, другая причина вылета страниц из индекса.
2. Закрывающий мета-тег. Да-да, друзья именно через один код, который появился в шаблоне случайно, принёс нам такую проблему. А вот и сам код:
Теперь, запускаете программу и поочередно открываете все Html и PHP файлы. Используя поиск программы, находите мета-тег и удаляете его. Чтобы ускорить поиск, можно открыть все файлы сразу, вверху (в разделах) нажать поиск а потом «Найти в файлах». Т.е. вы будете искать тег во всех файлах сразу.
После, как тег будет удалён, страницы вернуться в индекс самостоятельно.
Как упоминал раньше, откуда всплыл этот мета-тег мы не знаем, если вы знаете, то напишите в комментариях. Будем признательны. Мы в свою очередь, на всякий случай сделали следующее:
Ну вроде все, можно заканчивать. Надеюсь, что статья вам поможет, вернуть все страницы в индекс и выйти на тот уровень, на котором были раньше. Для тех, в кого таких проблем не наблюдалось, добавьте статью в закладки. Возможно, в будущем пригодиться…
