Если вы не возражаете мне,
то как мне узнать, что я прав?
Сэмюэл Голдвин.

    В этой статье — полный алгоритм сбора семантического ядра для информационного сайта (преимущественно), но данную инструкцию можно применить и для сбора семантики под коммерческий сайт.

Первоначальная семантика и создание структуры сайта

    После того, как выбрали нишу для нашего сайта, переходим к сбору семантики. Самый нелюбимый процесс для многих. Но, тем не менее, сбор семантического ядра — самый важный этап в создании сайта.

    От того, как ты проработаешь ядро ключевых запросов, зависит структура сайта, его трафик, тексты на его страницах, даже дизайн сайта.

    Под составлением семантического ядра подразумевается и его группировка. Без группировки, это — не семантическое ядро, а никому не нужный список запросов.

    Краткий план сбора семантического ядра у меня выглядит вот так:

1. Парсинг поисковиков, «Вордстата», «Адвордса», подсказок, базы ключевых слов «Букварикса» (пока бесплатная), «Ютуба»;
2. Группировка семантического ядра;
3. Бесплатный сбор у конкурентов + Группировка ядра;
4. Платный сбор у конкурентов + Группировка ядра.

    На первом этапе (при сборе семантики), мы уже будем иметь представление о сайте, погрузимся в его нишу и её нюансы. У нас появится основная структура сайта. А также уже окончательно сделаем выводы, стоит ли вообще нам ввязываться в эту нишу.

    Поэтому я регистрирую домен и заказываю хостинг только после первого этапа сбора семантики. Это, кстати, иногда помогает подобрать красивый домен, потому что ты знаешь уже все слова из тематики будущего сайта.

    На втором и третьем этапах — уже можно углубляться в семантику, парсить конкурентов и искать интересные «ключи».

    1 и 2 этап можно менять местами. Об этом будет написано ниже: в подразделе «Структура сайта».

    Так как у нас — узконишевые сайты, то надо как можно тщательнее проработать семантику и охватить все ключевые слова. От этого будет зависеть успех продвижения.

    Чем полнее охвачена семантика, тем выше в ТОПе будет твоё главное ключевое слово. Да и все остальные ключевые слова получат бонус.

    Это и логично. Как для людей, так и для поисковых систем. Если твой сайт раскрывает полностью тематику, то значит он — круче других. И он должен ранжироваться лучше всяких лентяев.

Подготовка слов для парсинга и первоначальная структура сайта

    Перед тем, как начать парсить ключевые слова, нам нужно их узнать (мы же не хотим пойти туда, не знаю куда, чтобы принести то, не знаю что?). Поэтому составляем первоначальную структуру нашего сайта и выбираем базовые слова для парсинга (их ещё называют маркёрами).

    Первоначальную структуру сайта и базовые слова ты можешь посмотреть:

1. Используя логику, слова из головы (если ты понимаешь в теме будущего сайта).

2. У своих конкурентов, которых ты проанализировал при выборе ниши для сайта или введя основной запрос в поисковые системы (вот ещё раз ссылка на инструкцию о том, как выбрать нишу для сайта).

3. Из «Википедии» (ист. созд. «Википедии»).

4. Смотрим «Вордстат» по твоим основным запросам и правую колонку.

5. Изучаем тематические книги и справочники.

    Например, тема нашего сайта — ремонт автомобилей. Понятно, что в структуре нашего ресурса обязательно должны быть представлены все возможные поломки автомобилей (в идеале, конечно, так то нужно, хотя бы, осветить все самые популярные).

    Тебе не обойтись без какого-нибудь автомобильного справочника. И я бы не стал смотреть конкурентов, потому что у них могут быть представлены не все поломки (скорее всего, они не успели их охватить своими загребущими ручонками).

    В общем, твоими базовыми словами для парсинга будут самые популярные поломки у автомобилей. А уже исходя из «ключей», которые мы напарсим, ты будешь строить структуру сайта, когда начнёшь их группировать.

    К тому же, ты можешь взять наименования запчастей, как расширение темы, и т. д. Ты смотришь «Википедию», рубрики у конкурентов на сайте, «Вордстат», думаешь логически и находишь ещё маркерные слова, которые будешь парсить.

Структура сайта

    Ты можешь смотреть конкурентов для общего ознакомления, но не всегда нужно делать структуру сайта как у них. Исходи, в большей степени, из логики твоей целевой аудитории: ведь это же они вводят запросы, которые ты парсишь в поисковиках.

    Например, как поступить? Перечислить все поломки автомобиля, а от них уже вести на причины и способы ремонта? Или, всё-таки, сделать рубрики «Причины», «Способы ремонта», а от них уже вести на поломки?

    Эти вопросы, обычно, решаются при группировке ключевых слов, исходя из данных поисковых систем. Но не всегда: иногда тебе придётся делать выбор самостоятельно и решать, как сделать структуру сайта наилучшей, потому что запросы могут пересекаться.

    Помни: структура сайта создаётся на протяжении всего сбора семантики. Иногда, в первоначальном виде, она состоит из нескольких рубрик, а уже при дальнейшей группировке и сборе она расширяется, так как ты начинаешь видеть ранее неизвестные запросы и понимаешь всё лучше логику их задающих. А иногда ты сможешь составить её сразу, не парся ключевые слова, потому что хорошо знаешь тематику или она отлично представлена у конкурентов.

    В общем, никакой единой системы по составлению структуры сайта нет. Можно сказать, это — лично твоё творчество.

    Но при этом важно: структура сайта может быть твоей индивидуальной (отличающейся от конкурентов), но она обязательно должна быть удобной для людей, отвечать их логике (а значит — и логике поисковых систем) и быть такой, чтобы можно было охватить все тематические слова в выбранной нише. Она должна быть лучше и удобней, чем у конкурентов!

    Всегда думай наперёд. Бывает такое, что берёшь нишу, а потом тебе охота её расширить и ты начинаешь менять структуру всего сайта. А уже созданную структуру на сайте очень сложно и муторно менять. Нужно будет добавить или объединить разделы, поменять/удалить адреса страниц, «склеить» всё это грамотно на самом сайте... Короче, это жесть какая нудная и очень ответственная работа. Так что сразу определяйся с тем, что и как у тебя должно быть!

    Если ты очень плохо знаком с тематикой создаваемого сайта и не знаешь, как будет строиться его структура, не знаешь, какие базовые слова для парсинга взять, то 1 и 2 этап сбора семантики ты можешь менять местами. То есть сначала пропарсить конкурентов (как их парсить — разберём ниже), посмотреть их «ключи», на основе этого составить структуру своего сайта и определиться с базовыми словами для парсинга, а потом уже парсить «Вордстат», подсказки и т. д.

    Для составления структуры сайтов, я использую «майнд-менеджер» «Xmind». Он бесплатен и в нём есть всё основное.

    Простенькая структура будущего сайта выглядит вот так:

Изображение недоступно

    Это — структура коммерческого сайта. Обычно, в информационных сайтах нет пересечений и всяких фильтров карточек товаров. Но и эта структура — не сложная. Составлялась для клиента, чтобы он понял.

    Как правило, мои структуры состоят из множества стрелок, пересечений и комментариев. И в такой структуре могу разобраться только я сам.

    Так вот, мы накидали первоначально структуру сайта или не накидали, решили идти вторым этапом. У нас есть список базовых слов или фраз из нашей тематики, которые мы можем начать парсить.

Парсинг и работа в «Кейколлекторе»

    Для парсинга, конечно же, использую «КейКоллектор». Я не буду останавливаться на настройке «КейКоллектора»: ты можешь почитать справку по этой программе на сайте или найти статьи по настройке в Интернете (их очень много и там всё подробно расписано).

    При выборе источников парсинга, стоит рассчитывать свои трудозатраты и их эффективность. Например, если ты будешь парсить базу Пастухова или MOAB, то закопаешься в куче мусорных запросов, которые надо будет отсеивать, а это — время. И, по моему мнению, это того не стоит (тратить столько времени на поиск парочки запросиков).

    На тему баз ключевых слов, есть очень интересное исследование от «RushAnalytics». Конечно же, они там хвалят себя, но если на это не обращать внимание, весьма интересные данные по процентам плохих ключевых слов.

    На первом этапе, я произвожу парсинг «Вордстата», «Адвордса», исследую их подсказки и использую базу ключевых слов «Букварикса» (десктопная версия бесплатна). Также раньше просматривал подсказки из «Ютуба» вручную. Но недавно «КейКоллектор» добавил возможность их парсить и это — прелестно. Если у тебя много свободного времени, сил и терпения, то можешь сюда добавить другие базы ключевых слов.

    Запускаешь парсинг и понеслось.

Чистка семантического ядра для информационного сайта

    Мы спарсили запросы и у нас получился список различных слов. В нём, конечно же, присутствуют нужные слова, а также и мусорные: пустые, не тематические, не актуальные и т. д. Поэтому их надо почистить.

    Ненужные слова я не удаляю, а перемещаю их в группы, потому что:

1. Они в дальнейшем могут стать пищей для размышления и приобрести актуальность;
2. Исключаем вероятность случайного удаления слов;
3. При парсинге или добавлении новых фраз, они не будут добавляться, если поставить галочку. Я иногда забывал её ставить, поэтому настраиваю парсинг в одной группе и парсю ключи только в ней, чтобы сбор не дублировался. Ты можешь работать так или так, кому как удобно.

Сбор частотностей

    Собираем у всех слов (через «Директ») базовую частотность [W] и точную [“!W”]. Всё, что не собралось, дособираем через «Вордстат».

Чистка «однословников» и «неформата»

    Фильтруем по «однословникам», смотрим их и убираем не нужные. Есть такие «однословники», по которым нет смысла продвигаться: они не однозначные или дублируют другой однословный запрос.

    Например, у нас тематика — ремонт автомобилей. По слову «автомобиль» нет смысла продвигаться: не понятно, что человек имеет ввиду. Это — слишком широкий и неоднозначный запрос.

    Также смотрим, по каким словам не собралась частотность: это либо в словах содержатся спецсимволы, либо слов в запросе более 7. Переносим их в «неформат». Малая вероятность, что такие запросы вводят люди.

Чистка по общей и точной частотности

    Все слова с общей частотностью [W] от 0 до 1 убираем.

    Также убираю и все от 0 до 1 по точной частотностью [”!W”]. Разношу их по разным группам.

    В дальнейшем, в этих словах можно найти нормальные логические ключевые слова. Если ядро маленькое, то можно сразу вручную все слова с нулевой частотностью пересмотреть и оставить, которые, как тебе кажется, вводят люди. Это поможет охватить тематику полностью и, возможно, по таким словам будут переходить люди. Но, естественно, эти слова надо использовать в последнюю очередь, потому что по ним большого трафика точно не будет.

    Значение от 0 до 1 тоже берётся исходя от тематики: если ключевых слов много, то можно фильтровать и от 0 до 10. То есть всё зависит от широты твоей тематики и ваших предпочтений.

Чистка по полноте охвата

    Теория здесь такова. Например, есть слово «форум». Его базовая частотность составляет 8 136 416, а точная частотность — 24 377. Как видим, отличие более чем в 300 раз. Поэтому можно предположить, что данный запрос — «пустой»: он включает очень много «хвостов».

    Поэтому, по всем словам, я рассчитываю такое KEI:

Точная частотность / Базовая частотность * 100% = полнота охвата

    Чем меньше процент, тем больше вероятность что слово — «пустое».

    В «Кейколлекторе» эта формула выглядит вот так:

YandexWordstatQuotePointFreq / (YandexWordstatBaseFreq+0.01) * 100

    Здесь тоже всё зависит от тематики и количества фраз в ядре. Поэтому можно убирать полноту охвата меньше 5%. А где ядро большое, то можно не брать и 10-30%.

Чистка по неявным дублям

    Чтобы почистить неявные дубли, нам необходимо по ним собрать частотность в «Адвордсе» и ориентироваться по ней, потому что она учитывает порядок слов. Экономим ресурсы, поэтому будем собирать этот показатель не у всего ядра, а только у дублей.

    Таким способом мы нашли и отметили все не явные дубли. Закрываем вкладку «Анализ неявных дублей». Они у нас отметились в рабочей группе. Теперь отобразим только их, потому что съём параметров происходит только у тех фраз, которые у нас показаны в группе на данный момент. И только потом запускаем парсинг.

    Ждём, когда «Адвордс» снимет показатели и заходим в анализ неявных дублей.

    Выставляем вот такие параметры умной групповой отметки и нажимаем «Выполнить умную проверку». Таким способом, у нас в группе дублей не отметятся только самые высокочастотные запросы по «Адвордсу».

    Все дубли лучше, конечно, ещё пробежать и глянуть вручную: вдруг там что-то выставилось не так. Особенно нужно уделить внимание группам, где нет показателей частотности: там дубли отмечаются случайно.

    Всё, что ты отмечаешь в анализе неявных группах, проставляется и в рабочей группе. Так что после завершения анализа, просто закрываешь вкладку и переносишь все отмеченные неявные дубли в соответствующую папку.

Чистка по стоп-словам

    Все стоп-слова я тоже делю на группы. Отдельно заношу города. Они могут пригодиться в дальнейшем, если мы надумаем делать каталог организаций.

    Отдельно заношу слова, содержащие в себе слова «фото», «видео». Вдруг они когда-нибудь пригодятся.

    А также витальные запросы (запросы, состоящие из названия бренда или организации, например «Википедия» — прим. Seoded.ru). Отношу сюда и «форум», а также в медтеме сюда могут относиться «малышева», «комаров» и т. д.

    Всё также зависит от тематики. Можно ещё делать отдельно и коммерческие запросы: «цена», «купить», «магазин».

Чистка «накрученных» слов

    Это касается конкурентных тематик: их частенько «накручивают» конкуренты, чтобы ввести тебя в заблуждение. Поэтому необходимо собрать сезонность и отсеять все слова с медианой, равной 0.

    А также можно глянуть соотношение базовой частотности к средней: большая разница может тоже указывать на «накрутку» запроса.

    Но надо понимать, что эти показатели могут говорить и о том, что это — новые слова, по которым только недавно появилась статистика, или они просто сезонные.

Чистка по «гео»

    Обычно, проверка по «гео» для информационных сайтов не требуется. Но, на всякий случай, распишу этот момент.

    Если есть сомнения, что часть запросов — геозависимые, то лучше проверить это через сбор в «Rookee». Он хоть, бывает, и ошибается, но намного реже, чем проверка этого параметра в «Яндексе».

    Потом, после сбора в «Руках», стоит проверить все слова, что получили отметку геозависимых, вручную.

Ручная чистка

    Теперь наше семантическое ядро стало в несколько раз меньше. Пересматриваем его вручную и убираем ненужные фразы.

    На выходе получаем вот такие группы нашего ядра:

Изображение недоступно

    Жёлтый: стоит покопаться, можно найти слова на будущее. Оранжевый: могут пригодиться, если будем расширять сайт новыми сервисами. Красный: не пригодятся.

Анализ конкуренции запросов для информационных сайтов

    Собрав запросы и почистив их, нам надо проверить конкуренцию собранного. Чтобы понимать в дальнейшем, какими запросами нужно заниматься в первую очередь.

Конкуренция по количеству документов, title, главных страниц

    Это всё легко снимается через KEI в «Кейколлекторе».

    Получаем данные по каждому запросу о том, сколько документов найдено в поисковой системе. Смотрим, сколько главных страниц в выдаче по этому запросу и вхождений запроса в заголовках страниц (title).

    В Интернете можно встретить различные формулы расчёта этих показателей. Даже, вроде, в «Кейколлекторе», по стандарту, встроена какая-то формула расчёта KEI. Но я им не следую, потому что надо понимать, что каждый из этих факторов имеет разный «вес».

    Например, самый главный — наличие главных страниц в выдаче. Потом уже заголовки и количество документов. Вряд ли эту важность факторов как-то можно учесть в формуле. И если, всё-таки, можно, то без математики не обойтись. Но тогда эта формула уже не сможет вписаться в возможности «Кейколлектора».

Конкуренция по биржам ссылок

    Здесь — уже интереснее. У каждой биржи ссылок — свои алгоритмы расчёта конкуренции. И можно предположить, что они учитывают не только наличие главных страниц в выдаче, но и возраст страниц, ссылочную массу и другие параметры. В основном, эти биржи, конечно же, рассчитаны на коммерческие запросы. Но всё равно, более менее, какие-то выводы можно сделать и по информационным запросам.

    Собираем данные по биржам, выводим средние показатели и уже ориентируемся по ним.

    Я, обычно, собираю по 2-3 биржам. Главное — чтобы все запросы были собраны по одним и тем же биржам и выведено среднее число только по ним. А не так, что какие-то запросы собрали в одних биржах, остальные — в других и вывели среднее.

    Для более наглядного вида, можно применить формулу KEI, которая покажет стоимость одного посетителя, исходя из параметров бирж:

KEI = AverageBudget / ( AverageTraffic +0.01)

    Средний бюджет по биржам делим на средний прогноз трафика по биржам — получаем стоимость одного посетителя, исходя из данных бирж.

Конкуренция по «Мутагену»

    Сервис «Мутаген» создан специально для анализа конкуренции информационных запросов. Работает с 2011 года. Принцип алгоритма не разглашается, но вполне себе годно рассчитывает. Конкуренция рассчитывается по 25 баллам.

    Чем больше балл, тем больше конкуренция:

• 1-7 — низкая конкуренция,
• 8-15 — средняя,
• 16 и выше — высокая.

    Сервис платный, но в день можно «чекать» 10 запросов бесплатно. Тут сразу показываются просмотры по «Вордстату», ключи-«хвосты», цена за клик в «Яндекс.Директе» (по клику — картинка откроется в полный размер):

    В «Кейколлекторе» есть возможность массового сбора по «Мутагену».

Выводы. Если у тебя бюджет ограничен, то ты можешь использовать первые два способа проверки конкуренции в совокупности. Если готов тратиться на анализ, то можно использовать только «Мутаген».

Группировка семантического ядра для информационного сайта

    При группировке семантического ядра для сайта, я руководствуюсь здравой логикой, сравнивая её с выдачей.

    Для информационных сайтов, я не вижу смысла прибегать к кластеризации и чётко следовать её требованиям. Поисковая система постоянно обучается и совершенствуется. Сегодня она показывает, что запросы «чёрный хлеб» и «ржаной хлеб» — разные продукты, а завтра покажет правильно, что это — одно и тоже.

    Итак, в «Кейколлекторе» у нас есть чистенький список запросов и мы собрали по нему данные из поисковой выдачи. Чтобы облегчить работу, группируем ядро средствами «Кейколлектора».

    Заходим в «Анализ групп», ставим по поисковой выдаче «Яндекса», сила 2. Обновляем группировку и экспортируем результаты в «Эксель».

    Таким способом, у нас получилась группировка, исходя из данных поисковой системы «Яндекс». Но, как я уже писал выше, надо следовать логике и свои предположения проверять в поисковой системе. Поэтому в некоторых группах могут быть запросы, которые вообще никак к ним не относятся. Их надо все пересмотреть и доработать.

    Чтобы легче было дорабатывать, лучше всего оставить несколько столбцов только с нужными данными. Обычно я оставляю: базовую частотность, точную, KEI по полноте охвата, конкуренцию.

    Покажу группировку ядра запросов на примере. Чтобы было наглядно.

    Например, мы создаём сайт, посвящённый рецептам блинов. Мы увидели, что есть множество запросов, связанных с молоком. Решаем, что будем делать отдельную рубрику «Рецепты блинов на молоке». На примере этой рубрики и рассмотрим группировку.

    Смотрим первую группу:

Изображение недоступно

    Видим, что в группу «простого рецепта» попал общий запрос «тесто для блинов на молоке рецепт». Этим запросом, человек не обязательно хочет найти простой рецепт. По логике, лучше всего этот запрос перенести в общую группу, которая будет вести на категорию со всеми рецептами блинов на молоке.

    Но также следует и глянуть выдачу в «Яндексе», что там вообще находится.

    Смотрим и видим, что, действительно, в выдаче по этому запросу есть пара страниц, которые ведут не на один рецепт, а на множество. Также видим, что в выдаче большинство страниц ведёт на один рецепт (при этом на рецепты тонких блинов). Но это же тупо: человек не обязательно хочет тонкие блины. Если бы он хотел тонкие блины, то он ввёл бы это в запрос. А у нас — общий запрос.

    Мы должны показать ему общую страницу, а он уже на ней должен определиться с тем, какие блины он хочет на молоке: с простым рецептом, тонкие блины, в дырочку или ещё какие-то.

    В общем, я мыслю так.

    Переносим лишний запрос в другую группу. Точнее, создаём выше новую — «Рубрика рецепты блинов на молоке». Отмечаем её другим цветом, потому что это — рубрика, а в неё уже будут входить рецепты. В нашем случае — «простой рецепт блинов на молоке». Тем самым, у нас создаётся структура внутри семантики.

    Все данные по группе суммируем. Бюджет можно выводить средним числом, так как это — взаимодополняемые запросы. Ты все их продвигаешь на одной странице, а не по отдельности.

    KEI1 (полнота охвата) выводим по уже известной нам формуле:

["! W"]/[W]*100

    Данные по рубрике «Рецепты блинов на молоке» ещё не суммируем, потому что, скорее всего, туда добавятся ещё запросы. Но и не исключено, что в «простой рецепт блинов на молоке» тоже ещё добавятся запросы.

    В дальнейшем, как я и предполагал, мы нашли ещё похожие запросы в нашу группу с простым рецептом, которые содержали дополнение «фото». Фото, видео — это всё дополнительные запросы. Их можно кидать в одну группу со смежными запросами. Нет же смысла делать отдельно страницу только с фотками и только с видео? Это, мать его, дубли получатся.

    Видим, что и «лёгкий» сюда пожаловал. «Простой рецепт» и «лёгкий рецепт» — это одно и тоже же? Конечно же, да. Добавляем это всё в нашу группу и получаем ещё красивее, не забываем просуммировать новые данные.

    Дальше встречаем запрос «рецепт блинов на молоке и воде».

    Тут уже посетитель хочет использовать не только молоко, но и воду. Понятно, что этот рецепт пересекается с другой рубрикой нашего сайта: «Рецепты блинов на воде». Поэтому возникает задача, куда его определить: в рубрику с молоком или в рубрику с водой? Или под него делать отдельную рубрику.

    Я под такие запросы делаю отдельные рубрики. Потому что это — логично.

    К тому же, тут ещё и затесался запрос с «тонкие блины». Его тоже отдельно. Он будет страницей к рубрике «Рецепт блинов на молоке и воде».

    И таким вот способом перерабатываем всё ядро. В итоге, получается вот так:

Изображение недоступно

    Красным шрифтом помечены дополнительные фразы, которые имеют приставки фото- и видео-. Для нас, это — не совсем актуальные фразы. Эти фразы конкурируют с сервисами поисковых систем и трафика по ним очень мало. Но эти фразы подходят нам по смыслу, поэтому мы их добавляем в группу.

    Каждая группа помечена своим цветом. Цвет является структурой сайта (то есть уровнем вложенности страницы).

    Например, если бы у нас был запрос «простой рецепт блинов на скисшем молоке», то он бы уже шёл, как подгруппа к группе «Блины на скисшем молоке» и, естественно, был бы выделен другим цветом.

    Думаю, идея с цветом понятна.

    Вот так создаётся семантика и удобная, понятная структура сайта, где всё — логично и имеет свой уровень вложенности.

    Новые или изменённые рубрики добавляем в нашу структуру в «Xmind».

    В общем, чтобы нормально разгруппировать семантическое ядро запросов для сайта, необходимо мыслить логически, вставать на место посетителя и отвечать на вопрос «Что посетитель хочет увидеть, введя этот запрос?». А также смотреть выдачу по этому запросу и принимать решение, как поступить наилучшим образом.

Бесплатный парсинг запросов конкурентов

    Чтобы спарсить семантическое ядро конкурентов, их надо знать. В анализе ниш я уже рассказывал, как определить своих конкурентов.

    Выписываем всех конкурентов, если ещё этого не сделали. Надо брать только прям точных конкурентов. Например, у тебя сайт про Италию: тебе надо брать только сайты об Италии. Сайты, которые посвящены всей Европе с разделом про Италию — не подойдут. Потому что спарсятся другие разделы сайта, которые посвящены не Италии, и ты запаришьсь их чистить.

Wizard.Sape

    Заходим в «Кейколлекторе» во вкладку «Wizard.Sape». Выбираем «Анализ доменов». Вводим логин, пароль (регистрация в «Сапе»). Любой тематический url и своих конкурентов списком. Нажимаем «Начать сбор».

    После сбора, в колонке «Частотность "Вордстат"», появляются цифры сервиса. Их необходимо очистить.

    Также можно ещё подключить «Сбор расширений ключевых фраз» в той же самой вкладке в «Кейколлекторе».

Megaindex

    Заходим в «Кейколлекторе» во вкладку «Megaindex». Вводим логин и пароль (регистрация в «Мегаиндексе»), указываем регион «Москва», потому что Россию нельзя указать. Выбираем последнюю дату (раньше можно было парсить за весь период, но сейчас, почему-то, не работает, можно выбирать только определённую дату). Вбиваем домены конкурентов. И начинаем парсинг.

Rookee

    Выбираем «Rookee» в «Кейколлекторе», составление семантического ядра (регистрация в «Rookee»).

    Здесь всё проще: выбираем «Москва», ТОП-10 и вводим конкурентов с «https://».

    Можно отдельно собрать ядро запросов конкурентов по «Яндексу», потом по «Гуглу».

    Также можно собрать «Сбор расширений ключевых фраз» в той же самой вкладке в «Кейколлекторе».

Top.Mail.ru

    Здесь всё сложнее. Необходимо перейти в рейтинг Top.Mail.ru и там найти ваших конкурентов с открытым счётчиком статистики. Обычно, что-то узконишевое там сложно найти. Но всё равно расскажу про этот способ сбора семантического ядра на основе конкурентов. Для общего кругозора.

    Вводим вашу тематику в поле поиска рейтинга. Получаем сайты. Как видим, нашей тематики тут нет. Замочек напротив сайта — статистика закрыта. Значок рейтинга — «стата» открыта.

    Так вот, если бы мы делали сайт не про Италию, а по косметике, то первый сайт в рейтинге нам бы подошёл. У него открыта статистика и мы можем её спарсить.

    Переходим на него и смотрим его id. В «Кейколлекторе» щёлкаем на значок Mail.ru, «Сбор статистики из счётчиков Top.Mail.ru».

    Указываем id счётчика и выставляем самый большой срок данных (3 года).

    Есть также пакетный анализ, где можно указывать сразу много счётчиков.

    Также можно спарсить глобальный рейтинг Top.Mail.ru по ключевым словам, в той же самой вкладке в «Кейколлекторе».

    На этом, бесплатный сбор ключевых слов у конкурентов закончен. Теперь его надо очистить и оставить только нужное.

    В итоге, получаем готовый список ключевых слов конкурентов, которыми можем дополнить наше семантическое ядро.

Платные способы парсинга запросов конкурентов

    Из платных способов сбора семантического ядра для сайта, в «Кейколлекторе» мы можем спарсить запросы конкурентов через «SpyWords» и «Семраш». А также собрать через эти сервисы расширения фраз.

    Ещё можно сюда добавить «Мутаген»: он поможет расширить ядро.

    Сбор аналогичен бесплатному методу: указываешь конкурентов и парсишь их «ключи».

    Но я сейчас практически не пользуюсь этими сервисами, потому что на рынке есть лучшее решение под Рунет (ист. созд. Рунета) — сервис Keys.so.

    Его нет в «Кейколлекторе», но это — не помеха. Без проблем все нужные ключевые слова из Keys.so можно выгрузить в «Excel», а потом прогнать через «Кейколлектор».

    Чем же лучше «Keyso»? У него больше база (по сравнению с конкурентами). Она у него чистая: нет фраз, которые дублируются и пишутся в разном порядке. Например, ты не найдёшь там таких повторяющихся «ключей» «виза италия» и «италия виза».

    Также «Keyso» умеет «палить» сайты с одним счётчиком «Adsense», «Analytics», «Leadia» и др.: ты можешь увидеть, какие ещё есть сайты у владельца анализируемого сайта. Да и вообще по поиску сайтов-конкурентов, считаю, это — лучшее решение.

Как работать с «Keyso»?

    Берём один любой сайт своего конкурента. Лучше, конечно, побольше, но не особо критично. Потому что мы будем работать в две итерации.

    Вводим его в поле. Жмакаем «Анализировать».

    Получаем информацию по сайту. Нам здесь интересны конкуренты. Жмём «Открыть всех». У нас открываются все конкуренты.

    Это все сайты, у которых хоть как-то пересекаются ключевые слова с нашим анализируемым сайтом. Здесь будут youtube.com, otvet.mail.ru и т. д. То есть крупные порталы, которые пишут обо всём подряд. Нам они не нужны, нам нужны сайты чисто только по нашей тематике. Поэтому мы их фильтруем по следующим критериям:

• Похожесть — процент общих «ключей» от общего числа данного домена;
• Тематичность — количество «ключей» нашего анализируемого сайта в «ключах» домена конкурента.

    Пересечение этих параметров уберёт «общие» сайты.

    Ставим тематичность «10», похожесть «4» и смотрим, что у нас получится.

    Получилось, например, 37 конкурентов. Но всё равно ещё их проверим вручную, выгрузим в «Excel» и, если надо, уберём ненужные.

    Теперь переходим на вкладку «Групповой отчёт» и вводим всех наших конкурентов, которых мы нашли выше. Жмём «Анализировать».

    Получаем список ключевых слов этих всех сайтов. Но мы ещё полностью не раскрыли тематику. Поэтому мы переходим в «Конкуренты группы».

    И теперь мы получаем всех конкурентов тех всех сайтов, которые мы ввели. Их в несколько раз больше и здесь также много общетематических. Фильтруем их по похожести, допустим, «30».

    Получаем, опять же например, 841 конкурента.

    Здесь мы можем посмотреть, сколько страниц у этого сайта, сколько на них приходит трафика и сделать вывод о том, какой же конкурент — самый эффективный.

    Экспортируем всех их в «Excel». Перебираем руками и оставляем только конкурентов нашей ниши. Можно отметить самых эффективных товарищей, чтобы потом оценить их и глянуть, какие у них есть «фишки» на сайте и запросы, дающие много трафика.

    Теперь мы опять заходим в групповой отчёт, добавляем уже всех найденных конкурентов и получаем список ключевых слов.

    Здесь мы можем список сразу фильтрануть по «“!wordstat” Больше 10».

    Вот они — наши запросы. Теперь мы можем их добавить в «Кейколлектор» и указать, чтобы не добавлялись фразы, которые есть уже в любой другой группе «Кейколлектора».

    Теперь мы чистим наши «ключи», расширяем и группируем наше семантическое ядро.

Услуги по сбору семантического ядра

    В данной отрасли, можно найти немало организаций, которые готовы предложить тебе услуги по кластеризации семантического ядра. Например, если ты не готов тратить время на то, чтобы самостоятельно изучать тонкости кластеризации и выполнять её собственными руками, то можно найти специалистов, готовых выполнить эту работу.

Yadrex Закрылись

    Компания Yadrex Закрылись — одна из первых на рынке, кто начал использовать искусственный интеллект для создания семантического ядра. Руководитель компании — сам профессиональный вебмастер и специалист по SEO-технологиям, поэтому он гарантирует качество работы своих сотрудников.

    На их сайте ты можешь самостоятельно рассчитать стоимость сбора семантического ядра для твоей задачи.

    Кроме того, ты можешь позвонить по указанным телефонам, чтобы получить ответы на все интересующие тебя вопросы относительно работы.

    Заказывая услуги, ты получишь файл, где будут указаны группы семантического ядра и его структура. Дополнительно ты получаешь структуру в «Mindmup».

    Стоимость работы по сбору семантического ядра варьируется в зависимости от объёма: чем больше объём работы, тем дешевле стоимость одного «ключа». Максимальная стоимость для информационного проекта будет 2,9 рублей за один «ключ». Для коммерческого сайта — 4,9 рублей за «ключ». При большом заказе, предоставляются скидки и бонусы.

Заключение

    На этом мой ликбез по сбору семантического ядра для информационного сайта завершён.

    Советую тебе мониторить историю изменений программы «Кейколлектор», потому что она постоянно дополняется новыми инструментами. Например, недавно для парсинга был добавлен «Ютуб». С помощью новых инструментов, ты можешь ещё больше расширить своё семантическое ядро.

 

    Автор: Александр Овсянников.

Ещё с сайта:

• Выбор и анализ ниши для создания сайта
• Дроп-домены: поиск, покупка, плюсы-минусы
• Информационный сайт: что это такое, как создать и чем отличается от коммерческого сайта?
• «Не за что» или «ни за что»? «Неважно» или «не важно»?
• До скОльких, к скОльким или до скольки?

Комментарии:

Pasagir
16.05.2016 13:04
В целом все также делаю. Только структуру сайтов стал только в этом году прорабатывать, тоже в майндмэпе, а раньше как-то так на глазок делал ))

Евгений
16.05.2016 15:15
Про "не добавлять ранее удаленные фразы". Не удаляем, а переносимости в группу мусор. При парсинге или ручном добавлении стоит галка, не добавлять, если есть фраза в другой группе. И можно работать в скольки хочешь группах. Единственный минус, большое количество фраз неимоверно жрет ресурсы компа.
P.s. по многодиванов помню конкурс аудитов был на вебмастерс. От туда карта осталась? )

Александр Овсянников
16.05.2016 18:08
Про удаление просто пример приведен, чтобы лучше понятно было, тоже не удаляю а переношу в мусор. Не понял про галку, где то есть галка которая влияет, что при удалении в одной группе в другой тоже не будет показываться?
Многодиванов, да, оттуда осталось.

Александр Овсянников
28.05.2016 23:52
А все понял про что вы. При парсинге, да есть галки, чтобы не добавлять ключи находящиеся в другой группе. Но у меня было так частенько, что я просто забывал её ставить и парсилось опять тоже самое, поэтому решил парсить в одной группе и в настройках ставить эту галку.

Seoonly
16.05.2016 21:17
для моих мозгов это слишком сложно. напиши про сеоспринт.

seoonly
16.05.2016 22:54
Букварикс выручает знатно) Разрабам респект-)

seoonly
31.05.2016 23:33
Убил постом бизнес семантистов))

Александр Овсянников
01.06.2016 07:59
Не, семантика выжигает глаза и занимает много времени, что не всем самостоятельно ее охота собирать. А так все это есть в хелпе кейколлектора только я немного структурировал

kudros
03.06.2016 15:20
Первый раз зашел. Полезная статья. Респект! Только что собрал и разгруппировал ядро для очередного сайта. Многое упустил, след. раз обязательно применю.

Алексей
05.09.2016 13:34
Привет. Спасибо за статью и респект) Очень доступно пишешь. Интересно, что твой метод сбора семантики более структурированный и логичный, на мой взгляд, чем платные курсы Пузата, к примеру.
Годный блог) Пиши еще!

Александр Овсянников
05.09.2016 17:59
Спасибо бро, это приятно

Алексей
07.09.2016 05:05
Единственное, что не совсем понятно - зачем ты выставляешь регион Россия? Почему не СНГ? Или вообще регион не указывать. Русскоговорящая аудитория есть и в других странах.

Александр Овсянников 07.09.2016 06:46
Регион обязательно надо указывать, потому что яндекс вводил какие-то ограничение если регион не указываешь. Можно и СНГ вставлять не особо критично или Россию. Я просто исхожу из того, что если показы есть в России, то они и есть в других странах.

Алексей
07.09.2016 18:53
С ограничениями пока не столкнулся, но смысл понятен. Просто нижний порог частоты "!" можно сделать чуть меньше в таком случае, и все. Верно?
Собственно, видимо, поэтому ты все, что выше 1, берешь в СЯ?

Александр Овсянников
07.09.2016 19:28
Беру я все ключи на будущее, чтобы потом не дополнять ядро когда ключи все кончаться частотные и всю тематику охватить, даже если статьи не будут давать трафик или 1-2 посетителя в месяц, все равно ты статьями охватываешь всю тематику ниши и за это получаешь бонус. Конечно все от ниши зависит, если у тебя миллион запросов, то и нет смысла брать маленькие, потому что ты этот миллион за 10 лет не освоишь

Алексей
07.09.2016 19:38
Ясно)

Андрей
26.10.2016 01:32
А если структуру сайта себе представляешь и уже определил (или у клиента на сайте она уже есть). Есть ли плюсы в том, чтобы парсить запросы и составлять семантику уже исходя из этой структуры. Т.е. по отдельности для каждого раздела сайта. Или лучше все-таки всю тематику одновременно парсить и собирать в одно ядро? Или не имеет значения?

Александр Овсянников
26.10.2016 08:45
Если хочешь охватить все ядро, то лучше парсить всю тематику. Возможно что у клиента не все есть разделы или какие то могут писаться иначе. Можно конечно и так напарсить, но если прям заморочиться, то лучше именно всю тематику. Потому что как ты охватишь ядро, будет зависеть и продвижение, чем ядро полнее охвачено, тем лучше продвигаются остальные запросы, особенно ВЧ.

Виталий
12.03.2017 08:06
Для новичков статья - просто находка.
Вот если бы раньше мне такие попадались.

ёба
17.06.2016 16:04
формула мутагена уже вроде как известна, так что можно этот кей и самому просчитывать

Александр Овсянников
17.06.2016 16:19
примерная и более похожая известна, но не точная

Shtolz
17.06.2016 17:28
И какова формула мутагена?

Sickboy
17.06.2016 17:43
C2H5OH

Александр Овсянников
17.06.2016 17:43
Вот здесь эксперимент был по поводу формул *** но проблема в том что мутаген использует не три показателя для расчета, а и скорее всего и возраст сайта в выдаче и другие показатели, которых в кейколллеторе не добыть