Как массово добавить страницы в индекс яндекса

Индексирование сайта — Вебмастер. Помощь

  1. Добавьте сайт в Яндекс.Вебмастер.

  2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс.

    В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта.

    Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

  3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим три наиболее важных параметра, которые можно указать в этом файле:

    DisallowЭта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:Подробнее об этом см. в разделе Использование файла robots.txt.Crawl delayПозволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.Clean paramС помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.

  4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

    • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.
    • Для индексирования важен размер документа — документы больше 10Мб не индексируются.
    • Индексирование flash:
      1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;
      2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.
    • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.
    • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.
    • Допустимо использование тегов и , робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.
  5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

  6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

  7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

Примечание.

Запрещайте для индексирования не предназначенные для пользователей страницы, управляйте поисковым роботом Яндекса.

К следующему разделу

Была ли статья полезна?

Предыдущая

Юзабилити сайта

Следующая

Структура сайта

Источник: https://yandex.ru/support/webmaster/recommendations/indexing.xml

Как сайт добавить в индекс Яндекса

Опубликовано admin в Ноябрь 27, 2018

Яндекс – вторая по популярности поисковая система Рунета. Она охватывает почти половину всех поисковых запросов в интернете, поэтому для сайта очень важно попасть в данный поисковик. Индексирование – ключевой процесс для добавления сайта в поисковую систему.

Индексированный сайт включается в учет поисковиком и становится виден пользователям, которую ищут информацию. Для того, чтобы молодой сайт был в поисковой выдаче, необходимо знать, как добавить сайт в индекс Яндекса.

Процесс добавление занимает некоторое время (от 1 до 5 суток), сайт появляется в индексе как правило, в течении 2 недель.

Добавляем сайт в индекс Яндекса

Раньше, существовал специальный сервис для добавления нового сайта в индекс Яндекса. Сегодня, он заменяется сервисом Яндекс вебмастер. Для того, чтобы добавить сайт в индекс Яндекса, необходимо зарегистрировать его в панели вебмастера. После добавления сайта Вам будет доступно 3 способа подтверждения прав на сайт:

  1. Добавить в код Head метатег
  2. Добавить в корневую папку специальный файл в формате .txt
  3. Добавить DNS домена специальную запись

Наиболее простой способ подтверждения прав на сайт – это добавление специального метатега в код Head. Данный процесс займет не больше минуты. После того, как Вы подтвердили права на сайт, открывается панель вебмастера, в которой можно увидеть общую информацию о сайте.

Регистрация нового сайта в панели вебмастера

После добавления сайт в панель вебмастера происходит автоматическое индексирование нового сайта Яндексом. Поисковый робот собирает полную информацию о  сайте, которую в дальнейшем отражает в панели вебмастера. Кроме этого, рекомендуется иметь на сайте два файла, которые облегчают процесс индексирования – Robots.txt и Sitemap.xml

Выбор способа подтверждения прав на сайт

Файл Robots.txt отвечает за открытие сайта поисковым системам и подсказывает им, какие файлы открыты для индексирования.

В простом варианте можно открыть сайт для поисковых роботов без ограничений (если на сайте не имеется служебной информации в корневом каталоге). Если Вы сомневаетесь в правильной настройке файла Robots.

txt, то можете воспользоваться инструкцией по настройке от компании Яндекс.

Обратите внимание

Файл Sitemap позволяет поисковикам быстро получить информацию о страницах, добавленных на сайт, и быстрее включить их в индекс.

Данный файл храниться в виде специальной таблицы, в которой перечислены все страницы сайта. В настоящее время, такие таблицы формируются автоматически, без дополнительного участия пользователя.

Информацию о состоянии карты сайта можно узнать в панели вебмастера в соответствующем разделе.

Теперь Вы знаете, как добавить сайт в индекс Яндекс. С данным процессом может справиться даже начинающий вебмастер, не имеющих специальных знаний. Если у Вас остались вопросы, обязательно пишите их в комментариях. Быстрой индексации Вашему сайту!

Источник: https://bloogit.ru/yandex/kak-sajt-dobavit-v-indeks-jandeksa.html

Массовое добавление URL адресов в Яндекс

Как долго Вы ждете индексацию постов яндексом с ссылками из gogetlinks? Это мучительное ожидание, трата нервов, когда же наконец зачислятся деньги за размещенные ссылки на мой счет.

Способов на самом деле ускорить этот процесс масса и уверен, большую часть из них вы прекрасно знаете. Сюда можно отнести:

— репосты в социалки (postpr вам в помощь, который делает репосты в twitter, subscribe, жж и др. сервисы);
— покупка (или иное размещение) внешних ссылок (с помощью того же gogetlinks, miralinks и др.

);
— если посты с ссылками не публикуются на главной, а только в разделе новости, например, тогда пригодится вывод заголовков этих новостей в боковой панели, а также использование различных карт сайтов, о которых я недавно писал, но это уже способы внутренней оптимизации.

Ну в общем, как я уже сказал, способов масса.

Есть и еще один очень хороший способ, который подарили нам сами поисковые системы, точнее их создатели, — это адурилки :). Название адурилки пошло от английского add url, т.е. «добавить адрес». Такие адурилки есть у каждой поисковой системы, в том числе и у интересующего нас сегодня Яндекса.

Но не список этих самых адурилок я хотел вам сегодня предложить, а очень действенный инструмент массового добавления URL адресов в поисковик Яндекс.

Для одного-двух адресов можно конечно воспользоваться имеющейся у яндекса формой, она здесь.

Но что если у вас 20-30-40 постов, ожидающих индексации? Тогда новенький инструмент в PostPR это то, что нужно.

Пользование инструментом не вызовет у вас каких-либо проблем. Я даже инструкцию не стал писать, как это делал обычно для других сервисов, потому как… ну просто очень. Проходите на страницу сервиса, вставляете в окошко URL адреса страниц, а затем только вводите цифры с картинки отщелкивая кнопку «Следующий…».

На скриншоте выше видно, что на странице ввода цифрового кода отображается добавляемый адрес, а также количество оставшихся адресов.

Стоит заметить, что для отдельных групп пользователей существует разный уровень ограничений пользования сервисом:

  • для гостей postpr можно добавлять 5 адресов за раз;
  • для зарегистрированных пользователей — 20;
  • для модераторов сервиса эти ограничения сняты вообще.

Кстати, в ggl наверняка знали, что в PostPR появится такой сервис :). Они даже предусмотрели экспорт всех необходимых пользователю URL адресов.

Чтобы произвести экспорт, идем в ggl, раздел «Вебмастер->Ожидают индексации». Затем выбираем все посты этой категории, прокручиваем страницу вниз и в правом углу кликаем по ссылке «Экспорт в Exсel».

В открывшемся окне выбираем пункт «Страница с обзором»:

А затем копируем список адресов и загоняем их в Яндекс с помощью описанного сервиса.

Важно

Удачи Вам друзья, быстрой индексации постов и пользуйтесь сервисами PostPR на здоровье!

p.s.

Источник: http://Pervushin.com/mass-add-url-address-yandex-massovoe-dobavlenie-adresov.html

Как добавить сайт или страницу в индекс поисковых систем Яндекс и Гугл 1

Сегодня поговорим о том что такое индексация и зачем она нужна. Если коротко, то индексация — это результат посещения новой страницы роботом поисковых систем. Для любителей сухой терминологии приведу цитату из википедии:

Что такое индексация в поисковых системах

Допустим вы создали сайт и выложили его в интернет на всеобщее обозрение в надежде что теперь его увидят сотни или тысячи пользователей. Не увидят, точнее увидят только те, кому вы сами расскажете о сайте или дадите прямую ссылку.

Но как сделать так, чтобы ваш сайт могли найти те люди, которые не знают о его существовании, но они пользуются Яндексом или Гуглом и ищут информацию, вводя обычные запросы.

Поисковые системы имеют свою базу сайтов, в которой ищут ответы на запросы пользователей и выдают им результаты, отсортировывая их по релевантности, то есть определяют какой сайт или страница наиболее четко отвечают на запрос и показывают ее в поисковой выдаче.

Так вот индексация — это попадание вашего сайта в эту самую базу, из которой в дальнейшем и будет проводиться отбор результатов и строиться поисковая выдача. Чтобы ваш сайт попал в такую базу его должен посетить специальный робот от каждой поисковой системы.

Как работают поисковые роботы

Поисковых роботов очень много, каждый выполняет определенную задачу. Например один определяет какой код возвращает сайт, другой индексирует rss-ленту, третий занимается индексированием изображений и т.д.

Но сегодня я расскажу про главного робота поисковых систем, целью которого является индексация новых сайтов и страниц. Как же он работает? Этого робота часто называют пауком. Паук постоянно ползает по сети Интернет и переходит по ссылкам.

Так, в какой-то момент он наткнется на ссылку, ведущую на ваш сайт, а когда перейдет по ней на ваш сайт, пойдет по ссылкам внутри самого сайта, перебирая все страницы. Эти страницы он сохраняет в специальном виде на своем сервере.

То есть можно сказать, что если паук посетил страницу и сохранил ее у себя на сервере, эти страницы являются проиндексированными.

Как проверить сайт или страницу на индексирование в Яндексе или Гугле

Вы можете легко проверить любую страницу на индексацию. Команда для проверки в обоих поисковиках идентичная. Просто введите запрос в поисковой строке следующего вида:

site:example.com/page/

На примере моего сайта запрос может выглядеть так:

site:vash-webmaster.ru/services/websites-development/

Результатом, говорящим об успешной индексации вашей страницы, будет отображения информации о странице и ссылки в результате поисковой выдаче. Также вы увидите надпись о количестве найденных результатов. Выглядит это так:

Если количество результатов оказалось равным нулю и результаты поисковой выдачи пустые, значит ваша страница еще не проиндексирована.

Для проверки проиндексирована ли хотя бы одна страница вашего сайта просто введите запрос вида:

site:example.com

Если ваш сайт проиндексирован, в поисковой выдаче появится хотя бы одна страница:

Переиндексация

Как несложно догадаться, переиндексация — это повторные заходы поисковыми роботами на ваш сайт или страницу, записывание содержимого поверх старой информации, хранящейся на серверах поисковой системы, то есть ее актуализация. В одном из следующих постов расскажу как можно ускорить переиндексацию, чтобы информация поскорее попала в индекс поисковых систем.

Как добавить сайт в поисковые системы

Источник: http://vash-webmaster.ru/2015/10/09/kak-dobavit-sait-ili-stranitsu-v-index-poiskovyh-sistem-yandex-i-google/

Как быстро добавить страницу сайта в индекс Яндекса и Гугла

Всем доброго времени суток дорогие читатели моего блога scriptcoding.ru. В сегодняшней статье мы рассмотрим, как можно добавить сайт в индекс Яндекса и Гугла рядовыми способами и не только.

Как добавить сайт в индекс Гугл и Яндекс

Добавить страницу сайта в индекс Гугл и Яндекс, который только что создан, не составляет трудностей, но… является актуальным всегда.

Полагаю, что не ошибусь, если скажу, что многие люди не совсем правильно понимают, как работает поисковая система. Так, вполне вероятно, что они думают, что поисковик автоматически начинает находить и индексировать новый интернет ресурс.

Дело в том, что поисковику для начала нужно узнать о существовании нового сайта. Это возможно только в двух случаях:

  • Наличие внешних ссылок – поисковый робот периодически проверяет те ресурсы интернета, о которых уже известно. Если на одном из таких проектов будет ссылка на только что появившийся блог или сайта, то робот его автоматически проиндексирует и сможет добавить страницу сайта в индекс поиска, если, конечно, на новенький ресурс не наложено штрафных санкций. Дело в том, что санкции, как такие, накладываются на доменное имя, и даже если у домена появился новый владелец, то… нужно время, или даже письмо в поддержку, что бы санкции были сняты.
  • Add URL – практически, если не сказать что у каждой поисковой системы, есть своя форма, которая позволяет добавить сайта в индекс. Важно отметить, что в данную форму можно добавить в индекс не только главную страницу, но и любую внутреннюю.

Прежде чем продолжить, мне придется сделать небольшое лирическое отступление…

Почему добавить сайт в индекс Гугла проще, чем Яндекса?

Все оптимизаторы знают, что Яндекса, в отличии от Гугла (именно на эти поисковые системы многие ориентируются) работает непредсказуемо, я бы даже сказал – у него женская логика. Так, если добавить страницу в индекс Гугла, то она будет проиндексирована практически мгновенно, даже, если новый материал уже давно не публиковался.

А вот с Яндексом… Дело в том, что поисковый робот Яндекса старается подстроиться под обновляемость блога (сайта, ресурса, называйте как хотите). Под обновляемостью понимается то, как часто появляется новый материал (статьи, новости, публикации…).

Если вы давно ничего не публиковали, то если добавить новую страницу сайта в индекс Яндекса, то может пройти длительное время…

Совет

Лично я для себя, в таких случаях делаю следующее… После длительного застоя, я стараюсь в короткий срок (максимум неделя) опубликовать чем больше новых статьей. В таком случае, Яндекс сам добавит страницы в индекс даже без напоминания (форма для ручного добавления сайта в индекс). Получается что-то в этом роде:

По сути, вопрос заданный выше содержит один простой ответ – у Яндекса намного меньше возможностей как в плане финансов, так и в плане серверов, что бы добавить сайт и страницу в индекс поиска так же быстро, как и Гугл.

Как добавить страницу в индекс Яндекса?

В первую очередь, переходим по ссылке webmaster.yandex.ru/addurl.xml. Видим, что перед нами простая строка ввода. Прописываем адрес сайта (если он еще не проиндексирован) или заданной страницы, вводим капчу и нажимаем на кнопку «Добавить». Как видим все просто, но, есть подводные камни о которых вы просто обязаны знать:

  • Доменное имя – большинство рядовых пользователей считают, что доменное имя – это адрес сайта, и не больше. Частично это так, но, есть еще и доменный зоны, которые (в идеале) должны информировать, на каком языке будет изложен материал (ru – Россия, ua – Украина, by — Белоруссия). Но, это только в идеале, в реальности – на каком языке хотим, на таком и публикуем материал. Не знаю как сейчас, но раньше Яндекс тоже обращал внимание на доменную зону, и доменные зоны тех стран, в которых находятся филии яндекса индексировались быстрее, чем все остальные.
  • Карта сайта – если вы хотите добавить сайт в индекс, являющийся только что созданным, то лучше зарегистрироваться в панели для вебмастера — webmaster.yandex.ru. Там вы сможете добавить в индекс не только страницу, но и карту сайта. Плюс, тут вы сможете наблюдать, как проходит процесс индексации, и когда робот посещал ваше творение.
  • Санкции – как я упоминал выше, проблема добавить ваш сайт в индекс Яндекса может возникнуть, если на доменное имя наложены санкции – проще говоря, ресурс в черном списке. Такое случается, если предыдущий владелец домена натворил дел, но… достаточно написать письмо Платону (сценическое название поддержки Яндекса) и все объяснить.

Как добавить страницу в индекс Гугла

Источник: http://scriptcoding.ru/2014/09/20/kak-dobavit-sajt-v-indeks-yandex-google/

Как загнать страницу в индекс Яндекса. Ускорение индексации

Приветствую друзья. Сегодняшняя статья будет немножко оптимизаторской. В связи с недавними обновлениями в алгоритмах Яндекса многие вебмастера уже почувствовали на себе его последствия. И я сейчас говорю не о забаненых ГСах.

Речь идет о вполне приличных сайтах, которые по непонятной причине вылетают пачками из индекса Яндекса. При этом в ответ на возмущенные вопли вебмастеров Платон Щукин успокаивал их стандартными отписками, мол никаких санкций к вам не применялось, в течении двух недель страницы должны вернутся в поисковую выдачу.

Меня эта беда к счастью обошла стороной, тьфу тьфу тьфу. Но я заметил, что теперь начались капитальные проблемы с индексацией некоторых новых страниц статей. Бывает уже по 2-3 недели проходит, а статья все еще не в поиске, хотя раньше они туда в первый же день залетали… (на другом сайте, на этом все быстро)

И вот какой я способ выбрал, что бы решить эту проблему.

Как заставить Яндекс проиндексировать страницы сайта

В общем начал я писать статьи для своего игрового сайта, который напичкан партнерскими ссылками, плюс еще на другой сайт, который пока не палю. Что-то заказывал на бирже копирайтинга Etxt, что-то сам писал. Ну да не суть важно. Смысл в том, что в гугле идет нормальная индексация, спустя 1-2 дня максимум страницы уже в поиске.

А вот с Яндексом какие-то непонятки. Раньше было достаточно опубликовать статью, сделать пару твитов, пощелкать соц. кнопки сделать репосты и на том все, через пару дней индексировалось. Но сейчас…

К примеру эту статью я добавил на сайт еще 16 ноября, так до сих пор и нет в SERPе, хотя уже было несколько апдейтов, про быстробота вообще не вспоминаю. И следующие за ней, которые писал так же не индексировались. И вот что я предпринял.

Шаг 1. Для начала я решил пойти простым путем — просто добавлял их в аддурилку Яндекса. Но эффекта это как вы сами поняли не дало.

Шаг 2. Затем я пошел более изощернным способом. Многие знают что боты очень любят гулять по твитеру и индексируют через него страницы, когда находят там ссылки на них.

Видимо два моих ретвита на каждую статью оказалось мало, поэтому я попробовал заказать с десяток ретвитов через сервис форумок. В итоге помогло частично, пару статей таки заползли, но остальные по прежнему были вне игры.

10 твитов обошлись мне в 30 центов или 10 рублей по нашему.

Шаг 3.  Разместил несколько анонсов к этим статьям на сайтах вроде сасбкрайба, grabr, webice и т.д. Да-да, даже на вебмастерские сервисы я постил игровые анонсы, вот такой я недоспамер =) По идее это должно было дать открытые ссылки + некоторые переходы, то бишь заработали ПФ и в идекс статьи должны полезть. Но как то опять не помогло, зато хотя бы открытые ссылки получил)

Шаг 4. И наконец я вспомнил об одном очень мощном и между тем довольно опасном инструменте. Да-да, речь идет о Сапе, он же Sape — агрегатор временных ссылок. Впрочем там сейчас и вечные ссылки уже есть, но нам они пока не нужны. А теперь подробнее о том, что же я там такого сделал, что мне это помогло статью в индекс забить.

Как добавить в индекс яндекса статьи с помощью ссылок в Sape

Все очень просто, я лишь купил 3 временных ссылки с жирных тицевых сайтов, причем выбирал именно тематические статьи для размещения ссылки, то бишь об онлайн играх. Тиц у них был от 100 и выше, цена за размещение ссылки от 10-15 рублей в месяц что в принципе немного.

Таким образом статья про игрушку Infestation которая была написана несколько дней назад и затем разогнана с помощью 3х  временных ссылок сейчас уже в поиске, в то время как остальные статьи на которые ссылки не покупал для чистоты эксперимента все так же не проиндексированы по пол месяца.

Доноры подбирал под свою тематику, искал пожирнее, и не слишком дорогие, притом не заспамленные и по возможности с нормальным трафиком. Короче все и сразу мне захотелось, а так почти не бывает =)

Если у вас распространенный ключ, то можно пользоваться инструментом Контекстные ссылки. Если нет то быстрый подбор. Фильтры я настраивал примерно таким образом:

Обратите внимание

Именно по ключевым словам в тексте будут отбираться доноры. Ну а дальше уже жмем поиск и ищем подходящих нам клиентов.

Смотрим что устраивает по цене и пузомеркам, обязательно заходи на страницу и проверяем, соответствует ли она тематике нашей статьи, насколько это похоже на СДЛ, как с трафиком дела и т.д.

Короче отбираем качественные площадки.

Добавляем анкоры и текст, я делал 3 разных анкора, желательно разбавлять естественными анкорами, это вида «здесь»,» тут», «на этом сайте» и просто с urlом сайта в качестве анкора.

После того как купили уже многое зависит от того, насколько быстро эти ссылки нащупает поисковый бот, 3х ссылок может оказаться недостаточно для быстрого эффекта, может понадобиться больше времени.

Но как правило, на трастовых и часто обновляемых ресурсах боты появляются регулярно, и найдут вашу ссылку быстрее.

  Так что может имеет смысл купить несколько дорогих ссылок на пару дней, чем много дешевых на пару недель.

А самое забавное, что обошлось мне это удовольствие в Сапе всего в каких-то 60 копеек в сутки.  К примеру различные сервисы для ускорения индексации обойдутся вам значительно дороже)

Важно

То есть за несколько дней накапает всего пару рублей, как только статья проиндексируется ссылки можно будет снять. 

Впрочем можно и не снимать, глядишь еще и позиции вырастут в топе) Главное что бы гугл не обиделся, он особенно не любит сапу.

Как вариант для тех кто хочет шикануть, можно покупать постовые, в том же ротапост или ggl, но это обойдется значительно дороже — от 50 рублей за ссылку и выше. С другой стороны, ссылки будут вечные и помимо индексации добавят вашим статьям веса и помогут повысить позиции в топе (в идеале)).

Если вы знаете еще интересные способы ускорения индексации, то поделитесь в комментариях, коль не жадины =)

Источник: https://ruskweb.ru/prodvizhenie-sayta/kak-ya-zagonyal-stati-v-indeks-yandeksa-kotoryie-uporno-ne-hoteli-indeksirovatsya.html

Ворваться в Индекс!

Вот ужо несколько дней, как в Индекс Яндекса были возвращены все 100% страниц блога Блоготей.

Это знаменательное событие, которое хочется праздновать! Ведь целых 4 месяца мы прозябали с 5-15 страничками в поисковой выдаче.

Правда, это были очень эффективные статьи, которые не дали трафику из Яндекса обрушиться до нуля… Теперь давайте проанализируем, какие действия могли стать причиной долгожданного освобождения.

Оглянись вокруг — ты не одинок!

Ежедневно я общаюсь со многими блоггерами. Таким образом, я узнаю о судьбе десятков блогов. И могу утверждать, что ситуация, которая сложилась с Блоготеем — не уникальна. Постоянно сталкиваешься с тем, что вполне приличные блоги вдруг подвергаются санкциям.

Что это за санкции? — Страшная тайна!

Точно можно сказать одно: это — не фильтр. Во-первых, есть некоторые ресурсы, которые показывают наличие или отсутствие фильтра на сайте (например, проверка траста xt). Ну, пусть они не дают 100% гарантии, но это лучше, чем просто гадать.

Во-вторых, будем честными — если блог нарушает правила добросовестности, то автор об этом знает ВСЕГДА! Переспам ссылками, замусоренность рекламой, фреймы, копипаст… Мы говорим сейчас о сайтах, на которых всего это нет.

Ответы Платонов не вносят ни малейшей ясности. Кроме расплывчатых рекомендаций «улучшать свой сайт» и отсылов к автоматическим алгоритмам, которые сами принимают решение — ничего путного не говорится. Если переводить эти блеенья на человеческий язык, то ответ яндексоидов звучит так: «Да, мы забанили твой блог, но не скажем, почему, и не скажем, как исправить положение!»

Я пишу все это не только для того, чтобы излить желчь. Но и к тому, чтобы показать:

так что, пути выхода приходится искать, буквально, на ощупь!

Что было сделано для возвращения в Индекс?

За четыре месяца моих мытарств я, как вы можете догадаться, получила массу советов и совершила немало движений.

Убрать облако тегов из сайдбара

Я долго страдала — мне не хотелось терять такой удобный способ навигации по блогу. Действительно, внимание читателя могут привлечь теги — темы, которым посвящены статьи. По собственному опыту знаю, что нередко просматриваю посты именно по тегам.

Но, с другой стороны, такой виджет добавляет на каждую страницу блога целый список ключей. И поисковые системы могут воспринимать это, как переспам ключевыми словами. Дикость, конечно, поскольку пора бы уж отличать виджеты в сайдбаре от основного контента. Но… Все может быть.

В общем, я убирала, возвращала, снова убирала облако тегов.

Убрать редирект

В процессе улучшения юзабилити блога я решила отказаться от статической главной страницы. Она находилась по основному адресу блога — http://blogotey.ru/, а страница блога находилась по адресу http://blogotey.ru/blog… В общем, я настроила редирект со второго адреса на первый. При помощи плагина «301 редирект».

Не могу с уверенностью утверждать, что это было очень мудрое или очень глупое решение. Какие-то соображения у меня конечно были, просто я их уже не помню

В общем, в очередном порыве я просто уничтожила отдельную страницу блога http://blogotey.ru/blog. Соответственно, я выключила и плагин с редиректом.

Уничтожить все дубли контента

Я подробно писала о дублированном контенте в отдельной статье (даже во многих статьях!). И на этот раз я не только давала советы, но и следовала им.

Мне пришлось перестроить вывод анонсов в шаблоне моего блога, чтобы они выводились в виде цитат. Я сократила их объем до минимума.

И, наконец, я стала писать уникальные анонсы (которые видны только на главной и не выводятся в отдельной странице поста).

Совет

Честно говоря, тоже довольно странная ситуация: существуют миллионы блогов на Вордпресс. Следовательно, структура таких сайтов должна быть изучена поисковыми системами вдоль и поперек. И наличие анонсов, пусть даже и в виде дублей части текста, на главной странице не должно вызывать каких-то недоумений…

С момента моих разборок с дублированным контентом прошло, примерно, недели две-три… Ну, возможно, именно это время потребовалось Яндексу, чтобы изменить свое отношение к Блоготею.

Убрать noindex в плагине Platinum SEO Pack

Возможно, это действие больше относится к магии… Просто, в очередной раз исследуя данные об индексировании и не индексировании блога в Яндекс Вебмастере, я обратила внимание, что некоторые страницы не индексируются из-за наличия тега noindex на них. Речь шла о служебных страницах.

И вот я подумала: «Эти разделы сайта закрыты в файле robots, так зачем дублировать эти запреты еще и через плагин?» — И я отправилась отключать теги noindex (подробно о настройках плагина Platinum SEO Pack).

Те, кто проводил настройку этого плагина по моим рекомендациям и скриншотам, могут произвести такие же изменения.

Вот, что я сделала — убрала все «галочки» в предложениях добавлять тег noindex для категорий, архивов, комментов, страниц результатов поиска и так далее. В общем, только для RSS-фидов я оставила этот тег, так как фиды не закрыты в файле robots.

Повторю: это действие, скорее, магическое, чем обусловленное логикой. Невозможно утверждать, что оно эффективно, или, наоборот, не имеет никакого отношения к таинственным алгоритмам Яндекса, которые сами решают, что человеческий блог нужно выкинуть из индекса…

Убрать рекламу Адсенс???

Пишу этот пункт под большим вопросом, т.к. это вообще из области фантастики. НО! В последнюю секунду, перед публикацией этого поста, я вспомнила, что у меня вот уже месяц не показывается реклама Гугл Адсенс. Благодаря нашей великой почте, я никак не могу подтвердить свой адрес для этой системы. Хотя код я из шаблона не убирала.

В общем, я уверена, что это просто совпадение, однако

Случайность или заговор?

На самом деле, наиболее убедительными мне кажутся две теории, объясняющие выпадание сайтов из поиска. Удивительно, но это два абсолютно противоположных взгляда. Однако, каждый из них может оказаться правдой.

Предположение №1: пессимизация блога, удаление из поисковой выдачи страниц происходит случайно

Действительно, заподозрить алгоритмы поисковых систем в точности — трудно. Даже если какие-то параметры вашего блога трактуются неточно — это крайне трудно выяснить.

Тем более, никто просто не будет париться, изыскивая, почему некий сайтец из 200 страниц с посещаемостью 100-200 уников в сутки вдруг выпал из индекса.

Поэтому яндексоиды и посылают нас в мягкой форме, мол, сидите и не вякайте.

Предположение №2: ТОП поисковой выдачи корректируется вручную и у крупных проектов есть свое лобби

Я не являюсь сторонником этого взгляда, так как просто не люблю «теории заговора». Хотя ТОП выдачи по большинству запросов, мягко говоря, удивляет. Настолько нерелевантные и вторичные статьи (просто копипаст!) занимают первую десятку мест.

До пессимизации Блоготей по некоторым, даже не очень низкочастотным, запросам попадал в ТОП-10 и даже в ТОП-5 Яндекса. Теперь о тех позициях приходится только мечтать.

У теории заговора есть и еще один недостаток: для «опускания» неугодного ресурса достаточно было бы просто задвинуть его «за Можай» на 555 место выдачи. Т. е. не обязательно было выкидывать страницы из Индекса…

Обратите внимание

В общем, вот такие пироги с котятами… И все-таки хорошо, когда все страницы блога есть в поиске — как-то тепло на душе от этого

Источник: http://blogotey.ru/vorvatsya-v-index/

Удаление страниц из индекса поисковых систем

Здравствуйте! Сегодня пост о наболевшем для большинства из начинающих сайтостроителей.

Мне приходилось очень часто в комментариях отвечать на один и тот же вопрос — как удалить страницы из поиска, которые были проиндексированы ранее, но в силу сложившихся обстоятельств были удалены и больше не существуют, но по-прежнему находятся в индексе поисковых систем. Или же в поиске находятся страницы запрещенные к индексации.

В комментариях особо не развернешься, поэтому после очередного вопроса решил уделить данной теме отдельное внимание. Для начала давайте разберемся, каким образом такие страницы могли оказаться в поиске. Примеры буду приводить исходя из собственного опыта, так что если я что-то забуду, то прошу дополнить.

Почему закрытые и удаленные страницы есть в поиске

Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами файла robots.txt или мета-тегом.

Несуществующие страницы находятся в поиске по следующим причинам:

  • Самое банальное — страница удалена и больше не существует.
  • Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
  • Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится менять структуру страниц на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
  • Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или редирект с кодом 3хх.

Лишние страницы появляются в индексе при следующих условиях:

  • Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для вебмастеров.
  • Они были проиндексированы до того как были закрыты доступными способа.
  • На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.

Итак, с причинами разобрались.

Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от апдейтов или частоты посещения сайта роботом.

Как удалить страницу из поисковой системы Яндекс

Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.

Главное условие успешного запроса на удаление:

  • страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
  • при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.

При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.

Источник: https://webliberty.ru/udalenie-stranits-iz-indeksa-poiskovyih-sistem/

Как происходит индексирование сайта в Яндексе и какие шаги предпринять для его ускорения

По большому счету, если Ваш ресурс хороший, качественно сделанный, то проблем с его индексированием быть не должно. Если сайт, пусть и не на 100%, но отвечает требованиям поисковиков — «для людей», то они с радостью будут заглядывать к Вам на огонек и индексировать все новое, что будет добавлено.

Но как бы там ни было, первым шагом в продвижении сайта является добавление его в индекс ПС. До тех пор, пока ресурс не проиндексируется, по большому счету и продвигать то нечего, ведь поисковики вообще о нем не будут знать.

Поэтому, в этой статье я рассмотрю, что такое индексация сайта в Яндексе и как отправить ресурс на индексацию.

А также расскажу о том, как проверить попал ли сайт или отдельная страница в индекс Yandex и, что делать для ускорения индексации Яндексом.

Как происходит индексация сайта в Яндексе

Индексирование сайта в Яндексе – это обход роботами поисковой системы yandex Вашего сайта, и внесения всех открытых страниц в базу. Паук русского поисковика добавляет в базу данные о сайте: его страницах, картинках, видео, документах, которые доступны для поиска. Также, поисковой бот занимается индексированием ссылок и других элементов, что не закрыты специальными тегами и файлами.

Основные способы индексации ресурса:

  • Принудительная — следует отправить сайт на индексацию в Яндекс через специальную форму.
  • Естественная — поисковому пауку удается самостоятельно найти Ваш сайт, переходя с внешних ресурсов, что ссылаются на вебсайт.

Это зависит от множества факторов: какие значения стоят в Sitemap.xml, как часто наполняется ресурс, как часто упоминание о сайте появляется на других ресурсах. Процесс индексации цикличен, поэтому робот будет приходить к Вам через (практически) равные промежутки времени. А вот с какой периодичностью — зависит от упомянутых выше факторов и конкретного робота.

Паук может проиндексировать веб-сайт полностью (если он маленький) или отдельный раздел (это относиться к интернет-магазинам или СМИ). На часто обновляемых ресурсах, типа СМИ и информационных порталах живут, так называемые, быстро-роботы для быстрой индексации сайта в Яндексе.

Порой на проекте могу возникнуть технические неполадки (или проблемы с сервером), в таком случае yandex индексация сайта не состоится, из-за чего поисковая система может прибегнуть к следующему сценарию:

  • сразу выкинуть непроиндексированные страницы с базы;
  • провести переиндексацию ресурса через определенное время;
  • поставить страницы, что не были проиндексированы, на исключение из базы, и если не обнаружит их при повторной индексации, то выбросит из индекса.

Как ускорить индексацию сайта в Яндексе

Как ускорить индексирование в Яндекс – частый вопрос на различных форумах вебмастеров. Фактически жизнь всего сайта зависит от индексации: позиции ресурса в ПС, количество клиентов с них, популярность проекта, прибыль, в конце концов.

Я подготовил 10 способов, которые, надеюсь, пригодятся Вам. Первые пять – это стандартные для постоянной индексации ресурса, а следующая пятерка поможет Вам ускорить индексацию сайта в Яндексе:

  1. Файл robots.txt. Как не странно, но вебмастера частенько забывают (или не знают как) разрешить поисковым ботам индексировать страницы сайта. Либо наоборот, открывают все, что также негативно сказывается, поскольку пауку приходится бродить по сотням ненужных файлов.

  2. Файл Sitemap.xml. В нем следует указать только те страницы, которые нужно индексировать, а также частоту переиндексации: раз в день, неделю, месяц.

  3. html карта сайта. Должна находится в 1 клике от главной страницы, и быть сборником всех страниц сайта. Если Ваш сайт очень большой, то следует разбить карту на несколько страниц, на каждой странице не должно находится больше 1000 ссылок. Ссылка на html карту должна быть открыта для индексирования и находится на всех страницах сайта.

  4. 404 страница. Настроить сервер для ответа корректных HTTP заголовков – у работающих код 200, у страниц с ошибками — 404. Также желательно, чтобы эта страница не была стандартной от CMS, а являлась уникальной под дизайн сайта.

  5. Вебмастер Yandex. При помощи формы добавления можно поставить сайт на индексацию в Яндекс или отдельную страницу, чтобы отправить в индекс нужный url.
  6. Внутренняя перелинковка. С помощью нее ускоряется индексация новых материалов, а также не выпадают из индекса старые статьи.

  7. Частая публикация информации. Об этом уже писалось давно и каждым вебмастером — чем чаще появляются на ресурсе новые статьи, тем быстрее они попадают в индекс. Тем, кто не верит, советую присмотреться к новостным сайтам: порой складывается впечатление, что паук туда не то что часто заходит, а вообще живет там!

  8. Правило трех кликов. Другими словами, глубина Вашего сайта не должна превышать 3-го уровня. И если интернет-магазинам еще простительно не придерживаться данного правила, то блогам и небольшим сайтам-визиткам (частного лица или компании) ни в коем случае.

  9. Внешние сигналы ссылками. Это могут быть в первую очередь:
    • сервисы вопросов ответов (одним из которых является Ответы майл.ру);
    • сервисы закладок;
    • RSS-лента – обеспечит трансляцию новых материалов с Вашего ресурса на почту подписчикам и в RSS-каталоги;
    • биржи ссылок – обеспечат стабильный прирост dofollow ссылок с качественных доноров, при правильном их отборе (как правильно отбирать читаем тут);
    • регистрация в каталогах – если вы еще не регистрировали сайт в каталогах, то советую сделать это. Многие говорят, что каталоги давно умерли или регистрация в них убьет сайт – это не правда. Точнее не полная правда, если регистрироваться во всех подряд каталогах, то действительно Ваш ресурс только пострадает от этого. Но при правильном отборе трастовых и хороших каталогов эффект будет несомненно.

Источник: https://guland.biz/seo/yandex-seo/indeksatsiya-sajta-v-yandekse.html

Как добавить сайт в поисковик Яндекс: регистрация в Яндекс Вебмастер, подтверждение прав, настройка

Довольно часто новый сайт не получается найти в Яндексе. Даже если набрать в поисковой строке его название. Причины этого могут быть разные. Иногда поисковики просто еще не знают о том, что появился новый ресурс. Чтобы разобраться, в чём дело и решить проблему, нужно зарегистрировать сайт в Яндекс Вебмастере.

Что такое индексация сайта в Яндексе

Сначала разберёмся, как поисковики вообще узнают о новых сайтах или изменениях на них. У Яндекса есть специальная программа, которая называется поисковым роботом. Этот робот гуляет по интернету и ищет новые страницы. Иногда он заходит на старые – проверяет, не появилось ли на них что-то новое.

Когда робот находит полезную страницу, он добавляет её в свою базу данных. Эта база называется поисковым индексом. Когда мы ищем что-то в поиске, мы видим сайты из этой базы. Индексирование – это когда робот добавляет туда новые документы.

Робот не может каждый день обходить весь интернет. Ему на это не хватит мощности. Поэтому ему нужно помогать – сообщать о новых страницах или изменениях на старых.

Что такое Яндекс Вебмастер и зачем он нужен

Яндекс.Вебмастер – это официальный сервис от Яндекса. В него нужно добавить сайт, чтобы робот узнал о его существовании. С его помощью владельцы ресурсов (веб-мастера) могут доказать, что это именно их сайт.

Ещё в Вебмастере можно посмотреть:

  • когда и куда заходил робот;
  • какие страницы он проиндексировал, а какие – нет;
  • по каким ключевым словам приходят люди из поиска;
  • есть ли технические ошибки.

Через этот сервис можно настроить сайт: задать регион, цены товаров, защитить свои тексты от воровства. Можно попросить робота заново зайти на страницы, на которых вы внесли изменения. Яндекс Вебмастер упрощает переезд на https или другой домен.

Как добавить новый сайт в Яндекс Вебмастер

Зайдите в панель Вебмастера. Нажмите «Войти». Логин и пароль можно ввести те, которые вы используете для входа на почту Яндекса. Если у вас еще нет учетной записи, придётся зарегистрироваться.

После входа вы попадёте на страницу со списком добавленных ресурсов. Если вы ранее не пользовались сервисом, то список будет пуст. Для добавления нового ресурса нажмите кнопку «+».

На следующей странице введите адрес вашего сайта и подтвердите его добавление.

На последнем этапе нужно подтвердить права – доказать Яндексу, что вы являетесь владельцем. Есть несколько способов это сделать.

Как подтвердить права на сайт в Яндекс Вебмастер

Самый простой способ подтверждения прав в Яндекс Вебмастер – добавить файл на сайт. Для этого нажмите на вкладку «HTML-файл».

Нажмите на ссылку, выделенную красным прямоугольником на скриншоте ниже:

Скачается небольшой файл. Этот файл сейчас понадобится, поэтому сохраните его куда-нибудь на видное место. Например, на Рабочий стол. Не переименовывайте файл! В нём ничего менять не нужно.

Важно

Теперь загрузите этот файл на ваш сайт. Обычно для этого используют файловые менеджеры, но для пользователей InSales ничего этого делать не нужно. Просто зайдите в бэк-офис, нажмите «Файлы». Затем наверху страницы – «Добавить файл». Выберите скачанный ранее файл.

Затем вернитесь в панель Яндекс.Вебмастер и нажмите кнопку «Проверить». После успешного подтверждения прав доступа ваш сайт появится в списке добавленных. Таким образом, вы сообщили в Яндекс Вебмастер о новом сайте.

Мета тег Яндекс Вебмастер

Иногда описанный выше способ не срабатывает, и владельцы не могут подтвердить права на сайт в Вебмастере. В таком случае можно попробовать другой способ: добавить строку кода в шаблон.

В Вебмастере перейдите на вкладку «Мета-тег». Вы увидите строчку, которую нужно добавить в HTML-код.

Пользователи InSales могут обратиться в техподдержку и попросить вставить этот код. Это будет выполнено в рамках бесплатной доработки.

Когда они сделают это, в Вебмастере нажмите кнопку «Проверить». Поздравляем, вы зарегистрировали сайт в поисковике!

Предварительная настройка Яндекс Вебмастер

Сайт добавлен в поиск, теперь робот точно зайдёт к вам и проиндексирует его. Обычно это занимает до 7 дней.

Но что делать дальше? Предлагаем ознакомиться с краткой инструкцией о том, как настроить Вебмастер, что делать в первую очередь.

Добавьте ссылку на sitemap

Для того чтобы робот быстрее индексировал ресурс, добавьте в Вебмастер файл sitemap.xml. В этом файле содержатся адреса всех страницах ресурса.

У интернет-магазинов на InSales этот файл уже настроен и должен добавляться в Вебмастер автоматически. Если этого не произошло, добавьте ссылку на sitemap.xml в разделе «Индексирование» — «Файлы Sitemap».

Проверьте robots.txt

В файле robots.txt указывают страницы, на которые роботу заходить не нужно. Это корзина, оформление заказа, бэк-офис и другие технические документы.

InSales по умолчанию создаёт robots.txt, в который не нужно вносить изменения. На всякий случай рекомендуем проверить, нет ли ошибок в роботс. Для этого зайдите в «Инструменты» — «Анализ robots.txt».

Задайте регион сайта

На странице «Информация о сайте» — «Региональность» вы можете задать регион сайта. Для интернет-магазинов это те города, регионы и страны, по которым доставляются купленные товары. Если у вас не магазин, а справочник или блог, то регионом будет весь мир.

Задайте регион продаж как показано на скриншоте:

Чем ещё полезен Вебмастер?

На странице «Поисковые запросы» можно видеть фразы, по которым попадают к вам  из поиска.

В разделе «Индексирование» выводится информация о том, когда робот был на сайте и сколько страниц он нашёл.

Подраздел «Переезд сайта» поможет вам, если вы решили установить SSL сертификат и перейти на https. Также крайне полезен подраздел «Переобход страниц».

Совет

В нём вы можете указать роботу страницы, на которых изменилась информация. Тогда при следующем визите робот проиндексирует их в первую очередь.

На странице «Товары и Цены» раздела «Информация о сайте» можно предоставить информацию о вашем интернет-магазине. Для этого на ресурсе должна быть настроена выгрузка данных о товарах и ценах в формате YML. При правильной настройке в поисковой выдаче страниц товаров будут отображаться цены и информация о доставке.

Если вы хотите улучшить видимость вашей компании в сервисах Яндекса, следует воспользоваться разделом «Полезные сервисы». В Яндекс.Справочнике можно указать телефон и адрес вашего магазина, часы работы. Эта информация будет отображаться прямо в выдаче Яндекса. Также это добавит вас на Яндекс.Карты.

Яндекс.Метрика — еще один важный инструмент владельца интернет-ресурса, показывающий данные о посещаемости. Статистика и динамика посещаемости сайта отображается в удобных для анализа таблицах, диаграммах и графиках.

После подключения к сервисам Яндекс.Вебмастер и Яндекс.Метрика вы будете получать достаточное количество информации для управления позициями сайта и его посещаемостью. Это незаменимые инструменты для владельцев сайтов, желающих продвинуть свои ресурсы в самом популярном в России поисковике.

Следующий шаг в продвижении сайта — добавить его в Гугл через аналогичный сервис Search Console.

Источник: https://www.insales.ru/blogs/university/yandex-webmaster

Ссылка на основную публикацию