Проверка релевантности текста: Проверка релевантности текста: как проверить, исправить

Здравствуйте, дорогие читатели моего блога!

Сегодня я продолжаю цикл статей «Как выйти в ТОП». В прошлой статье мы научились определять конкурентность поисковых запросов и анализировать сайты конкурентов.

После того как мы подобрали ключевые слова и фразы к будущей статье, оценили возможность попадания ее на первые строчки выдачи поисковых систем, нам необходимо написать качественную, статью с уникальным текстом, которая должна полностью соответствовать ключевому запросу, по которому она будет продвигаться.

Релевантность страниц

Давайте разберем понятие релевантности.

Простыми словами, релевантность страниц – это соответствие статей определенному поисковому запросу. И чем выше релевантность Вашей статьи, тем больше у нее шансов попасть в ТОП.

И так, наша с вами задача написать статью, максимально соответствующую поисковому запросу, затем оценить релевантность текста.

Обязательно прочитайте мой пост: «Как писать оптимизированные статьи»?.

В этом посте нашей задачей является проверка релевантности статей блога. Я покажу основные методы повышения соответствия страниц поисковым запросам.

Для примера возьмем готовую статью с моего блога, оценку релевантности текста которой я не проводил. Также она написана еще по неопытности и текст плохо оптимизирован, вернее не оптимизирован вообще.  🙂

Сейчас мы это исправим.

У меня на блоге есть статья под названием «Внешняя оптимизация. тИЦ и PR».

По неопытности я ее «оптимизировал» 🙂  под высокочастотные запросы, причем разные. И к тому же релевантность не самая высокая у этой статьи.

Вот результаты проверки релевантности в сервисе http://pr-cy.ru, о котором я писал в прошлой статье.

Как Вы видите: ключевые слова (тИЦ, внешние ссылки, внешняя оптимизация, PR) настолько разные, что выйти с такой статьей даже в ТОП 100 вряд ли получится!

Сейчас я оптимизирую ее под другие запросы.

В статье речь идет о показателях тИЦ и PR, что это такое, для чего нужны и их свойства. Я подобрал для этой статьи два НЧ запроса:

— показатели тиц и pr;

— что такое тИЦ и PR.

По таким запросам уже проще в будущем пробиться в ТОП.

Основной заголовок и название «урла» содержат слова тИЦ и PR – это хорошо.

Остальные слова мы сейчас допишем.

Есть замечательный сервис, который я использую для анализа релевантности своих страниц и отслеживания позиций — megaindex.

Заходим на этот сайт. Если Вы еще не зарегистрированы на нем, то советую это сделать прямо сейчас.

Сервис классный! Он позволяет вести учет Ваших статей и ключевых фраз, проверять позиции в Яндексе и Google, проверять релевантность всех Ваших статей, оценивать бюджет для продвижения своих запросов и многое другое.

Вот как я контролирую релевантность текста и позиции своих страниц (ЭТО БЕСПЛАТНО):

Здесь также можно воспользоваться услугами по продвижению отдельных страниц. Кстати, посмотрев стоимость какого-либо запроса, можно примерно оценить его конкурентность.

Чем больше сумма, тем выше конкурентность ключевого слова.

После регистрации нужно добавить в систему свой сайт и перейти на страницу «Запросы для покупки ссылок» (не переживайте, платить нам ни за что сейчас не придется) 🙂 .

Вводим нужный нам ключевой запрос и добавляем в таблицу.

Теперь необходимо вставить в нужное место ссылку на нашу статью и нажать «Enter» на клавиатуре.

Страница обновится и произведется оценка релевантности статьи. У меня она составила всего 11%.

Это понятно, в статье данный запрос не использовался, нам еще предстоит оптимизировать страницу под него.

Приступим к редактированию нашей записи.
Для начала заполним поля плагина «All in One SEO Pack»:

После заполнения плагина, релевантность статьи увеличилась с 11% до 30%.

Теперь давайте пропишем две – три точных ключевых фраз в тексте статьи. Чем ближе к заголовку, тем лучше. Нужно точно (!) прописать все подобранные ключевые фразы, в таком же виде.

Каждая фраза должна встречаться в статье минимум два раза!

А также парочку слов из запроса, которых может не хватать в нашем тексте. В моем случае, это было слово «показатели». Вот что получилось:

Оценка релевантности страницы показала 100% результат, однако, у нас слишком большой процент вхождений слов из запроса. Такими словами являются «и», «pr». Нужно убрать несколько этих слов или заменить на другие. (Например, «и» можно заменить на «а так же» и т. п.).

В результате получаем:

Все, релевантность страницы равна 100%!

Мы с Вами разобрали оптимизацию на примере уже существующей статьи.

Отмечу, что написать релевантный пост гораздо проще, чем исправлять уже существующий.

В уже размещенной на блоге статье, необходимо соблюдать смысл, читабельность, перестраивать предложения, потому как статья должна оставаться для людей.

Советую Вам посмотреть классное видео об использовании ключевых слов и улучшению релевантности страниц сайта:

На этом пост на тему «Релевантность страниц» я завершаю, надеюсь, он был Вам полезен.

В следующей статье мы с Вами научимся оптимизировать изображения для постов. Этот шаг также очень важен для поисковой оптимизации. Поэтому, чтобы не пропустить следующую статью, советую Вам подписаться на свежие рассылки моего блога.

Хорошая релевантность страниц — это еще не гарантия высоких позиций в поисковой выдаче! Ссылки, вот что действительно нужно для поднятия позиций. Рекомендую Вам прочитать мою статью: «Как покупать ссылки?»

P.S. Со временем плотность ключевых слов на блогах изменяется, это происходит из-за увеличения числа комментариев к статьям. Поэтому следует постоянно контролировать релевантность страниц. Для увеличения плотности ключевых слов иногда следует использовать их в комментариях к статье!

С уважением, Александр Бобрин

Поделись с друзьями:

Обратите внимание:

Похожие статьи

Как повысить релевантность страницы сайта

Релевантность страницы сайта — это соответствие страницы поисковому запросу. Что означает релевантность — чем больше страница соответствует поисковому запросу, тем выше в результатах поиска должен быть сайт, поскольку значение релевантности страницы существенно влияет на поисковое ранжирвание (сортировку). Значение слова релевантность (определение, спасибо Википедия) — оценка степени соответствия информации и практической применимости результата, а также степени социальной применимости варианта решения задачи.

Можно считать, что синоним слова релевантность — «адекватность» информации. И именно к повышению релевантности станиц сайта по определенным запросам должен стремиться каждый владелец сайта, SEO-оптимизатор или специалист по юзабилити. Так как именно высокая релевантность сайта позволяет добиться высоких позиций в результатах поисковой выдачи. Одним SEO здесь не обойтись и вот почему.

Степень применимости результата играет важнейшую роль в понятии релевантности, так как семантическое соответствие страницы поисковому запросу — не единственный критерий релевантности. Главная задача релевантности — определить полезность каждой страницы сайта для посетителя и вывести на основании данных индекс, который будет учитываться при ранжировании страниц сайта по поисковым запросам. Полезность результата — вот, что значит релевантность страниц сайта.

Бесполезные страницы с высоки семантическим соответствием могут удерживать высокую релевантность поиска, до тех пор, пока к показателю релевантности не добавятся поведенческие факторы ранжирования. Где уже пользователи своим поведением покажут истинную пользу страницы, в результате чего, текстовая релевантность будет дополнена и скорректирована. Повысить релевантность страницы, через плотность ключевых слов текста или повысить релевантность через ссылки — меры, работающие в условиях либо низкой конкуренции, либо высоких показателей юзабилити.

Формула релевантности страницы

Формулы расчета релевантности документов сложны и у каждой поисковой системы свои, будь то Яндекс или Google. Но базовые принципы определения релевантности контента примерно схожие. Основные факторы соответствия страницы сайта поисковому запросу можно поделить на два типа: внутренние и внешние. Комплекс внутренних и внешних факторов непосредвденно используется в формуле вычисления релевантности и сортировки страниц в результатах поиска по запросу.

Внутренние факторы релевантности

Внутренние факторы релевантности отвечают за определение соответствия контента сайта ключевому запросу. Здесь на первое место выходит фактическое соответствие семантики страницы запросу. Проще говоря, определение релевантности исходя из наличия ключевых слов текста страницы. Больше других, на релевантность влияют следующие критерии: ключевые слова в заголовке страницы, заголовке h2, описании страницы meta description. Конечно же, релевантность текста статьи, текста описания товара или услуги, SEO картинок так же влияет на степень релевантности всей страницы.

К внутренним факторам релевантности страницы можно отнести не только определение релевантности данных самой страницы, но соответствие внутренних ссылок ключевому запросу страницы и тематическую связь страницы донора ссылки по отношению к странице акцептору. То есть, оценивается релевантность ссылки, ведущей на страницу, а если говорить точноее, то оценивается вес страницы сайта с которой передается ссылка и вес, который передает сама ссылка. Суммарный вес всех весов ссылок увеличивает вес самой страницы, что отражается на релевантности страницы поисковому запросу.

Внешние факторы релевантности

Внешние факторы релевантности — это оценка значимости входящих ссылок и внешних поведенческих факторов. В зависимости от поисковой системы, технология обработки внешних ссылок может быть разной, но, в оснонвом, построены они на цитируемости или авторитетности. Яндекс определяет релевантность страницы на основании внешних ссылок, используя тИЦ — тематический индекс цитирования. Кроме авторитетности сайта, Яндекс учитывает тематическую близость источника ссылки к сайту, на который поставлена ссылка.

В Каталоге Яндекса, результаты выдачи отсортированы по релевантности на основе тИЦ. Google обладает собственной технологией учета внешних ссылок для определения релевантности страницы — PageRank. Google суммирует авторитный вес сайта донора и пердает его часть сайту акцептору и считается общий вес, который принесла каждая внешняя ссылка. В результате, более релевантным считает ресурс с большим авторитетом. Кончено не только ПейджРанк правит поиском, однако, Google PR — один из основных факторов на котором построено ранжирование результатов поиска.

Так же ко внешним факторам можно отнести и внешнюю реакцию посетитлей на сайт. Если страница сайта имеет высокий авторитет и прекрасное семантическое соответствие, это все равно не поможет, если у страницы высокий показатель отказов и возвратов к поиску. Безусловно, релевантность влияет на ранживарование сайта в поиске, но без одобрения посетителей ни один сайт долго в топе не удержится. Сегодня, поисковые системы стали достаточно сложны, для того, чтобы понимать, что нужно пользователям и как в зависимости от пожеланий посетителей нужно сортировать сайты в результатах поиска.

Как повысить релевантность страницы

Для того, чтобы повысить релевантность страницы, необходимо повышение релевантности каждого элемента страницы, а также работа над ссылочной структурой сайта, внутренними ссылками и юзабилити всех элементов сайта. Для каждого сайта критерии релевантности могут свои. Например, для одного сайта необходимым условием является длительность нахождения посетителя на странице. Для другого сайта критерием релевантности является как можно более быстрое совершенное действие.

Для большинства сайтов существуют общие правила повшения релевантности, которые дают ответы на осноной вопрос: — «Как повысить релевантность страницы» по каждому из основных элментов сайта, начиная с SEO верстки сайта и заканчивая написанием SEO текстов. Новые сайты или сайты, страницы которых имеют плохие позиции в поиске и низкую релевантность гарантированно поднимут свои показатели, просто соблюдая эти правила. Не вижу смысла давать список статей здесь, так как список будет слишком объемным. Читайте статьи в разделе СЕО блог, если какой-то статьи еще нет, напишите в комментариях и такая статья появится. Статьи обновляются ежедневно.

Как проверить релевантность страницы сайта

Релевантность страницы сайта постоянно меняется в зависимости от работы алгоритмов поисковой системы. По этому пытаться узнать релевантность страницы или проверить релевантность страницы — задача бессмысленная. Значения, которые хоть сколько то отражали бы действительность есть только у поисковой системы. Тем более, что не может существовать какого-либо общего индекса релевантности, так как релевантность страницы в текущей момент времени разная в зависимости от географических факторов, настроек браузера, истории посещений и множества дргуих факторов.

Однако, проверка релевантности страницы возможна. В некотором раде, оценкой релевантности страницы является поисковая выдача. Анализ релевантности страницы можно проводить на основании данных результата поиска. Как узнать релевантность страницы? Выбирайте ключевые слова для поиска, вводите необходимые параметры и вперед. Если же вам нужна оценка релевантности текста или проверка статьи на релевантность, здесь возможно получить только независимые данные от сторонних программ и веб-сайтов.

На двух сайтах один и тот же текст может быть оценен поисковой системой поразному, в зависимости от множества факторов. Проверить релевантность текста статьи или любой другой части сайта отдельно от общего контекста страницы, так же бессмысленно. Некий абстрактный анализ релевантности текста страницы можно произвести, используя различные онлайн сервисы. Здесь вам и проверка релевантности текста онлайн, и определение релевантности страницы, и проверка сайта на релевантность. Как говорится, на любой вкус и цвет.

Определить и проверить релевантность страницы сайта онлайн предлагают ресурсы вроде seolib или мегаиндекс (megaindex), однако, насколько в действительности эти данные окажутся полезными решать вам. Современные поисковые системы достаточно неплохо справляются с тем, чтобы анализировать поведение людей и на основании человеческих предпочтений формировать поисковую выдачу. Хороший сайт, сделаный для людей, большой, удобный и интересный будет иметь высокую релевантность. Думайте в первую очередь о том, чего хотят ваши посетители, а не о том, какое показатель релевантности текста в данную минуту у одной из ваших страниц.

Делайте хорошие сайты, ставьте лайки и релевантность придет.

Что такое релевантность текста: анализ релевантности страницы сайта

Главным мерилом качества текста в контексте его продвижения в поисковых системах является релевантность текста. Об этом термине и анализе релевантности страниц и пойдет речь в сегодняшней публикации.

Итак, даем определение термину релевантность текста или релевантность страницытак, как мы его понимаем на практике, без подглядывания в словари и справочники.

Релевантность текста – это его соответствие основным ключевым запросам, которые вбивает в поисковике потенциальный читатель. Абсолютная релевантность текста – это когда человек, прочитавший публикацию, получает конкретный, полный и при этом не слишком «размазанный» ответ на конкретный вопрос. И, что немаловажно – только ответ, не более того. Если на странице есть еще ответы на 15 других вопросов, она не будет иметь хорошую релевантность текста. Анализ релевантности текста позволяет с достаточно высокой степенью вероятности предполагать, по каким именно запросам и темам данный материал будет выше в поисковой выдаче.

Поскольку мы в «Лаборатории Контента» являемся поборниками чистоты русского языка и сопротивляемся обширному использованию заимствованной лексики, то постараемся дать корректный синоним русского происхождения. Синонимом слова «релевантность» может выступать «тематичность» текста. Пожалуй, это весьма точное попадание в суть.

Важно: Обращаем внимание – по-настоящему релевантный текст должен быть «пронизан темой», а не «напичкан ключами». Крайне важно создать информативный и компетентный текст, а не ввинтить как можно больше ключей, тем более корявых. Подробнее об этом вы можете прочитать в статье о том, что такое LSI-копирайтинг.

Очень осторожно надо обращаться с коммерческими конструкциями наподобие «купить кирпичи в Новосибирске дешево цена от производителя». Вставьте такой ключ в текст в исходном виде, а лучше два-три раза  – и билет на рейс до Баден-Бадена в один конец от Яндекса вам фактически гарантирован. Разбиваем, «ровняем», синонимизируем – и смотрим на результаты.

Помните, что одним из слоганов алгоритма Яндекса сейчас смело можно назвать следующий – мы найдем, где «приобрести стройматериалы в конкретном городе», даже если этой фразы вообще нет на странице.

Инструментов, позволяющих осуществить анализ релевантности текста поисковому запросу, существует великое множество. Есть даже те, которые позволяют проверить этот параметр с точностью до одного процента. И такими инструментами мы не пользуемся. Причина страстной нелюбви к цифрам будет обязательно объяснена в одном из ближайших материалов. Условно он будет называться так: «Русский язык – это математика или литература»?

Людям, которые не сомневаются в своем знании русского языка и чувстве стиля, понятие релевантности текста и его проверки во многом может даваться на интуитивном уровне. Если вы четко знаете предмет, о котором пишете, и при этом умеете логично, последовательно и четко излагать своим мысли – вероятность написания релевантного текста без проверок и правок достаточно велика. Чтобы в этом убедиться, можно сделать две простые вещи:

• Выделить полужирным все слова, которые могут иметь отношение к релевантности текста – и прямые, и синонимы, и «околоплавающие». И тогда вам будет понятен, насколько текст релевантен теме, о которой вы пишете. Вот примерно как в этом пункте выделено все, что связано с понятием анализа релевантности страниц в интернете.
• Можно зайти на любой из доступных онлайн-ресурсов, которые позволяют проверять спам или, как еще говорят, тошнотность текста. И вот там посмотреть, какие ключевые слова и (что очень важно) ключевые фразы встречаются наибольшее количество раз. Примерно так, как показано в иллюстрации ниже, где приведены параметры проверки релевантности текста запросу на примере публикации, которую вы в настоящий момент читаете.

Да, и не забывайте, что еще более весомым для поисковых систем станет материал, в котором есть тематические и уникальные  картинки – совсем как в данном посте. А еще – эти картинки и называются примерно так – relevantnost-texta.jpg. И атрибуты «alt» и «title» имеют примерно такие же имена, но другие)))). Анализ учитывает все параметры страницы и размещенного на ней контента. То есть содержимого – давайте говорить на русском!))

Надеюсь, нам удалось хотя бы в общих чертах рассказать, что такое релевантность текста и как производить анализ его релевантности на странице.

Искренне ваш,

Александр Алмис.

Искренне ваша,
      Лаборатория Контента Александра Алмиса.

Читайте также:

проверка актуальности

Суть в этом…

Цель состоит в том, чтобы отфильтровать ваш корпус, проверяя, какие из определенных слов или фраз встречаются или не встречаются в каждом тексте. Работает система подсчета очков. Вы указываете слова или фразы, которые, по вашему мнению, типичны для области, которую вы исследуете, и можете указать некоторые из них, которые вы считаете нежелательными отвлекающими факторами. Текстовые файлы с высокой оценкой могут быть скопированы или перемещены в место по вашему выбору.

Настройки

Выберите список строк фильтра, минимальное количество слов и предпочтительную минимальную оценку.

: вы можете выбрать количество сегментов одинакового размера каждого текста, в которых должны быть обнаружены любые хиты. Здесь настройки означают, что тексты будут сегментированы на 5 разделов (первые 20%, вторые 20% и т. д. ) и любые три из них должны иметь хотя бы одно попадание.

       Синтаксис строки фильтра

Какие тексты учитывать?

Когда вы нажмете кнопку, вы получите выбор между всеми текстовыми файлами в папке и подпапках или заранее составленным списком, например, созданным в процедуре Corpus Sampler.

       повторяющиеся фрагменты

Дисплей

На дисплее отображаются баллы, количество слов и количество найденных совпадений различных типов.В строке состояния внизу вы видите, что этот поиск отфильтровал чуть более половины из 35 676 текстовых файлов. Оценка — это просто число. Он будет варьироваться в зависимости от того, насколько ценным вы придаете поисковому запросу, количеству поисковых запросов, которые вы ищете. При поиске выше значения в среднем составляли около 20; было 91 условие поиска.

Пример

Я изучал аскетизм в тексте новостей. Во многих статьях упоминается аскетизм, иногда вскользь. И я хотел изучить аскетизм в Британии, но много статей касалось Греции.Таким образом, в моих фильтрах были такие термины, как сокращение затрат, Великобритания и т. д., а в отрицательных фильтрах — греческий, греческий и т. д. Чтобы получить подходящий корпус, мне нужно было довольно много положительных терминов, которые я предпочитал, и несколько отрицательных. После проверки релевантности я смог отфильтровать большую часть текстов, оставив только те, которые имели гораздо большее отношение к моему запросу.

Кнопка фильтра релевантных текстов

Кнопка образца RTF

См. текст

Чтобы увидеть один из текстов, просто выберите его и дважды щелкните (или щелкните правой кнопкой мыши и выберите Показать этот текст).Когда он появится, вы снова сможете щелкнуть правой кнопкой мыши, чтобы сохранить его в формате RTF, выделить серым цветом любые разделы < >, выделить положительные фильтры и т. д. После выделения всего мы получим

Вы видите, что условия поиска окрашены, а справа график дисперсии, показывающий, где они появляются в тексте.

Ограничение

Процедура использует условия поиска. На самом деле он не понимает текст. Все, что он может сделать, это дать более высокую оценку присутствию положительных терминов и уменьшить оценку, если будут найдены отрицательные.Тексты об окружающей среде не обязательно содержат слово окружающая среда!

Выбор фильтров релевантности

Полезная идея состоит в том, чтобы сначала вычислить ключевые слова и ключевые кластеры вашего несовершенного корпуса. Это поможет вам найти слова и фразы, которые характеризуют ваш корпус. Используйте некоторые из них, а также любые другие, которые, по вашему мнению, будут правдоподобными. Кроме того, внимательно прочитайте образцы текстов, чтобы проверить, какой корпус вы действительно получили.

Наконец, попробуйте фильтр релевантности.Вы можете попробовать тексты, чтобы увидеть, насколько хорошо вы делаете. Отредактируйте фильтры релевантности, чтобы уточнить их.

См. также: Образец RTF, образец корпуса, помогающий выделить нужный образец.

php — MySQL — Как получить результаты поиска с точной релевантностью

Я много раз возвращался к этой проблеме и так и не нашел правильного ответа.

Можно ли выполнить поиск MySQL, который возвращает ФАКТИЧЕСКИ точно отсортированные результаты по релевантности?

Я пытаюсь создать форму поиска ajax, которая предлагает предложения по мере того, как пользователь вводит данные в поле ввода, и не нашел подходящего решения для этого, используя только чистые запросы MySQL.Я знаю, что доступны поисковые серверы, такие как ElasticSearch, и я хочу знать, как это сделать только с необработанным запросом MySQL.

У меня есть таблица школьных предметов. Там меньше 1200 строк, и это никогда не изменится. Давайте выполним базовый полнотекстовый поиск, когда пользователь начнет вводить «Bio».

Запрос («Био…») — ПОЛНОТЕКСТОВЫЙ БУЛЕВСКИЙ РЕЖИМ

  SELECT name, MATCH(name) AGAINST('bio*' IN BOOLEAN MODE) AS релевантность
ИЗ предметов
ГДЕ СОВПАДАТЬ(имя) ПРОТИВ('био*' В БУЛЕВОМ РЕЖИМЕ)
ORDER BY релевантности DESC
ПРЕДЕЛ 10
  

Результаты

  имя | актуальность
-------------------------------------------------- ------
Биомеханика, биоматериалы и протезирование | 1
Прикладная биология | 1
Поведенческая биология | 1
Клеточная биология | 1
Прикладная клеточная биология | 1
Биология развития/репродуктивной биологии | 1
Биология развития | 1
Репродуктивная биология | 1
Биология окружающей среды | 1
Морская/пресноводная биология | 1
  

Чтобы показать, насколько плохи эти результаты, вот сравнение с простым запросом LIKE , который показывает все более релевантные результаты, которые не были показаны:

Запрос («Био…») — НРАВИТСЯ

  ВЫБЕРИТЕ идентификатор, имя
ГДЕ имя LIKE 'био%'
ЗАКАЗАТЬ ПО ИМЕНИ
  

Результаты

  имя | актуальность
-------------------------------------------------- ------
Биоорганическая химия | 1
Биохимическая инженерия | 1
Биоразнообразие | 1
Биоинженерия | 1
Биогеография | 1
Биологическая химия | 1
Биологические науки | 1
Биология | 1
Биомеханика, биоматериалы и протезирование | 1
Биометрия | 1
  

И вы уже видите, сколько тем не предложено, хотя это скорее то, что пользователь будет искать.

Однако проблема с использованием LIKE заключается в том, как искать по нескольким словам и в середине слов, как это делает FULLTEXT .

Основной порядок, который я хотел бы реализовать, выглядит примерно так:

1. Первые слова, начинающиеся с поискового запроса
2. Вторые слова, начинающиеся с поискового запроса
3. Слова, в которых термин не стоит в начале слова
4. Все, как правило, в алфавитном порядке, если это не имеет значения

Итак, мой вопрос: как получить разумно отсортированный список предложений для пользователя с поиском MySQL по нескольким словам?

Как я могу манипулировать релевантностью полнотекстового поиска MySQL, чтобы сделать одно поле более «ценным», чем другое?

Создать три полнотекстовых индекса

• а) один в столбце ключевых слов
• б) один в столбце контента
• c) по одному столбцу ключевого слова и столбца содержания

Тогда ваш запрос:

  ВЫБЕРИТЕ идентификатор, ключевое слово, содержание,
  ПОИСКПОЗ (ключевое слово) ПРОТИВ ("арбуз") AS rel1,
  МАТЧ (содержание) ПРОТИВ («арбуз») AS rel2
ИЗ таблицы
ГДЕ СОВПАДАТЬ (ключевое слово, содержание) ПРОТИВ ('арбуз')
ЗАКАЗАТЬ ПО (отн1*1.5)+(отн2) DESC
  

Дело в том, что rel1 дает вам релевантность вашего запроса только в столбце ключевого слова (поскольку вы создали индекс только по этому столбцу). rel2 делает то же самое, но для столбца content . Теперь вы можете сложить эти две оценки релевантности вместе, применив любой вес, который вам нравится.

Однако вы не используете ни один из этих двух индексов для фактического поиска. Для этого вы используете свой третий индекс, который находится в обоих столбцах.

Указатель на (ключевое слово, содержание) контролирует ваш отзыв. Ака, что возвращается.

Два отдельных индекса (один только по ключевым словам, один только по содержанию) контролируют вашу релевантность. И вы можете применить свои собственные критерии взвешивания здесь.

Обратите внимание, что вы можете использовать любое количество различных индексов (или варьировать индексы и весовые коэффициенты, которые вы используете во время запроса, возможно, на основе других факторов… искать только по ключевому слову, если запрос содержит стоп-слово… уменьшить погрешность взвешивания для ключевых слов, если запрос содержит более 3 слов… так далее).

Каждый индекс занимает место на диске, поэтому чем больше индексов, тем больше диск. И, в свою очередь, больший объем памяти для mysql. Кроме того, вставки будут занимать больше времени, так как вам нужно обновить больше индексов.

Вы должны протестировать производительность (будьте осторожны, чтобы отключить кеш запросов mysql для сравнительного анализа, иначе ваши результаты будут искажены) для вашей ситуации. Это неэффективно для Google, но это довольно просто и «нестандартно», и это почти наверняка намного лучше, чем использование вами «нравится» в запросах.

Я считаю, что это работает очень хорошо.

Повышение релевантности поиска и взаимодействия с текстовыми атрибутами | от Pinterest Engineering | Инженерный блог Pinterest

Мэтью Фонг | Инженер Pinterest, Discovery

Почти два года назад мы запустили управляемый поиск, способ поиска вопросов с более чем одним правильным ответом, и с тех пор вносим улучшения. Pinterest Search был построен на основе Lucene, используя базовые функции, такие как обычные текстовые поля и поля полезной нагрузки, без многих серьезных настроек.Однако мы узнали, что становится все более важным хранить и различать текст из самых разных источников, чтобы более точно ранжировать полученные пины. После перебора многих возможных решений мы разработали и внедрили новое поле attribute_text , которое позволяет нам хранить такие атрибуты, как исходные типы и морфологические формы для каждого фрагмента текста.

Мотивация

Цель любой поисковой системы — обеспечить как высокую точность, так и высокий отзыв при приемлемой задержке.Со временем мы внесли заметные изменения в наш индекс, чтобы решить проблемы с задержкой и отзывом.

Хотя легко добавить новый текстовый источник, когда поисковый индекс мал, нам нужно было найти масштабируемое решение по мере роста количества источников. Мы создали поле с именем merged_text , которое группировало все текстовые аннотации, но оно не позволяло различать источники аннотаций во время оценки и затрудняло экспериментирование с новыми текстовыми источниками. Мы также использовали стемминг, который резко помог вспомнить, но ухудшил точность.Например, пиннер, ищущий «животные», также будет соответствовать документам, у которых есть только токен «животное», но поиски «боулинг» и «миска» будут получать один и тот же набор документов. Поскольку мы хотели максимизировать как полноту, так и точность, наша цель состояла в том, чтобы разработать решение, которое обеспечило бы нам лучшие сигналы ранжирования текста и аналогичный уровень полноты.

Исследование решений

Первая идея состояла в том, чтобы оценить стоимость разделения нашего merged_text обратно на несколько полей за счет наличия разных полей для определенных источников или морфологических преобразований.Мы попробовали простейший случай, сравнив производительность поиска по двум полям с поиском только по одному. Когда мы протестировали одну машину без каких-либо оптимизаций, мы обнаружили, что средняя задержка двух полей в 2,5 раза превышает задержку только одного, а отношение средней задержки составляет 1,5x. Поскольку при использовании двух полей существует такое большое расхождение, мы решили, что это будет не лучший подход, независимо от того, какие оптимизации мы могли бы сделать.

Другая идея заключалась в том, чтобы использовать только одно поле, но хранить в нем разные морфологические формы одного и того же токена.Например, с токеном «животные» мы будем хранить «животные» (точные), «животные» (лемматизированные) и «анимальные» (основные). Затем мы можем указать, какой тип соответствия находится в полезной нагрузке этого токена. Хотя это решение относительно просто реализовать, оно также имеет недостатки. Например, поиск и оценка становятся намного более сложными, поскольку нам приходится просматривать несколько списков постов и индексов позиций, а вычислительные затраты, вероятно, удвоятся.

Это третье решение — наша настоящая разработка.Мы также используем полезную нагрузку для типа соответствия. Хотя кажется, что существует слишком много возможных морфологических преобразований, чтобы эффективно представить их в полезной нагрузке, мы решаем эту проблему, используя идеальное хеширование. Для каждого токена с основой мы присваиваем хэш-значение каждой возможной форме без основы, чтобы не было возможных коллизий. Перед индексированием мы создаем словарь со следующими записями:

Затем мы используем этот словарь во время индексирования для хранения хэш-значения (которое является индексом термина в соответствующем списке токенов с основой).Мы обращаемся к тому же словарю во время обслуживания, чтобы мы могли сравнить точную форму совпадающего токена с точной формой токена запроса. Поскольку самый большой список токенов без основы содержит менее 150 записей, мы можем хранить это значение всего в одном байте, а источник и точную форму — всего в двух байтах. (Забавный факт: первые 5 самых длинных списков токенов — это декор, мода, дизайн, вдохновляющий и цвет .)

Вы можете увидеть пример всего процесса индексации ниже на рисунке 1, включая то, как выглядят фактические полезные нагрузки. .С помощью настраиваемых SpanQuery и Scorer мы можем применять любой тип мультипликативного усиления к документам, которые соответствуют определенным типам источника аннотаций, а также сопоставлению запрошенного токена с основой или без основы.

Рис. 1. Пример процесса заполнения текста атрибута для одного документа

Заглядывая вперед

Эти обновления имели свою долю препятствий. Первая проблема, с которой мы столкнулись, связана с задержкой вычислений. Поскольку теперь мы выполняли больше работы для каждого поиска, нашим обслуживающим машинам приходилось работать больше, и они изо всех сил пытались справиться с нагрузкой в ​​часы пик трафика.Мы продолжаем делать внутренний код Lucene более эффективным для нашего специализированного использования полезной нагрузки, например, реализуя ленивую оценку для запросов с несколькими терминами. Вместо того, чтобы оценивать каждую полезную нагрузку при просмотре списка сообщений, мы будем ждать до конца, чтобы оценить полезную нагрузку для документов, которые соответствуют всем условиям запроса. Благодаря этой оптимизации мы увидели 28-процентное улучшение задержки p99.

Эти изменения также открывают гораздо больше возможностей для предоставления более качественной и точной службы поиска.Мы можем реализовать дополнительные оптимизации, например потребовать, чтобы все токены запроса исходили из одного и того же источника аннотаций или находились на определенном расстоянии друг от друга. У нас также может быть более тонкая форма подсчета очков для точного совпадения и совпадения по основанию для каждого токена. Для некоторых слов, таких как «боулинг», существует большая разница между ним и его корневой формой «чаша». Для других, таких как «мужские», практически нет разницы с «мужчинами».

Атрибутированный текст в действии

Мы все еще экспериментируем с этим подходом, и в первых тестах мы добились значительных успехов как в релевантности, так и в вовлеченности.Наряду со значительным увеличением количества репинов на поиск мы также увидели улучшение релевантности, как показано в параллельном сравнении ниже.

Рис. 2. Улучшение поискового запроса «идеи аниме-арта» за счет использования атрибутивного текста.

Если вы заинтересованы в решении подобных проблем в поисковой инфраструктуре, ранжировании поиска или понимании запросов, присоединяйтесь к нам!

Благодарности: Dong Wang, Xin Liu и Rui Jiang за их техническое руководство и отзывы.

Что такое релевантность поиска?

Что такое релевантность поиска?

Релевантность поиска — это мера связи между поисковым запросом и результатами поиска.

Однако то, как поисковые системы определяют релевантность, совсем не просто. На релевантность может влиять любое количество факторов — условия поиска, популярность, местоположение, прошлые поиски или история покупок, поведение при просмотре, и это лишь некоторые из них.

Для поисковых систем Google установил стандарт.Безусловно, помогает то, что у Google есть данные почти за два десятилетия с сотнями миллиардов поисковых запросов и тысячами инженеров и специалистов по данным, которые настраивают параметры релевантности.

Поиск на месте может быть более сложным, но, как мы увидим, можно обеспечить очень хорошие результаты поиска и отличный опыт поиска даже с более скромными наборами поисковых данных.

В этой статье мы заглянем внутрь, чтобы увидеть, как мы индексируем содержимое веб-страницы и интерпретируем запросы для получения более релевантных результатов, а также как искусственный интеллект и алгоритмы ранжирования могут влиять на релевантность поиска.

Понимание языка

Более 40% всех поисковых запросов Google состоят из 4 и более слов. Количество терминов запроса выросло за последние пару десятилетий отчасти благодаря появлению встраивания ИИ и голосового поиска. Голосовой поиск также изменил то, как мы ищем: то, как мы печатаем, отличается от того, как мы говорим. С триллионами документов в Интернете люди привыкли писать более длинные поисковые запросы, чтобы сузить результаты.

Поиск по своей природе является нечетким, а язык часто двусмысленным, поскольку запрос и намерение пользователя не всегда очевидны. Поисковая система должна попытаться понять смысл разных слов в запросе, чтобы вернуть релевантные документы. «Банк» — классический пример этого; это означает финансовое учреждение или берег реки? В некоторых случаях использования поиска на сайте электронной коммерции клиенты могут даже вводить симптомы или прилагательные, чтобы найти ответы. Без дополнительного контекста трудно точно понять, что им нужно.

Существует ряд методов, которые платформы поиска по сайту используют для анализа смысла пользовательского поиска, в том числе:

• Обработка естественного языка (NLP) — это процесс анализа неструктурированного текста для определения структуры и смысла.
• Понимание семантического запроса — это процесс фактической попытки понять назначение запросов.
• Персонализация для добавления дополнительной информации — прошлой истории поиска, истории покупок, гео и т.д.— на запрос, основанный на человеке, который ищет.
• Встраивание слов, векторизация, сегментация запроса, область видимости и другие методы доступны, чтобы помочь поисковым системам понять смысл запроса.
  

Опечатки — еще одна проблема, с которой нужно справиться. Чтобы избежать плохих результатов поиска и повысить релевантность, необходима проверка орфографии. Где-то между 10-25% запросов в окне поиска могут быть написаны с ошибками, и Баймард сообщает, что «27% сайтов не способны обработать опечатку всего одного символа в названии продукта».Это кажется очевидной функцией, которой должны обладать поисковые системы, но многим, если не большинству поисковых систем сегодня не хватает хорошей устойчивости к опечаткам.

Хорошие результаты поиска и релевантность начинаются задолго до того, как кто-либо введет поисковый запрос. Чтобы понять, как можно повысить релевантность поиска, нам нужно начать с индексации поисковых запросов.

Поисковый индекс

Прежде чем поисковая система сможет начать определять релевантность результатов, она должна быть в состоянии проанализировать каждую запись, которую вы хотите найти.Поисковые системы создадут поисковый индекс с помощью поискового робота или API, который получает данные вашего сайта, используя вашу карту сайта, ссылки сайта или страницы, на которые есть ссылки в хранилище данных.

При индексировании несколько алгоритмов могут оцениваться по каждой проиндексированной записи и добавлять дополнительные поля и информацию в набор данных, которые полезны при выполнении запросов. Например, Sajari теперь включает дополнительную функцию, называемую конвейерами индексов, которая будет обогащать и преобразовывать данные по мере их поступления. Конвейер индексирования имеет некоторые значения по умолчанию, но его также можно расширить — например, вы можете использовать API Google Vision для автоматического извлечения метаданных цвета из изображений для создания более богатого индекса.

Оценка релевантности

При выполнении поиска Sajari присваивает оценку релевантности каждому документу в вашем индексе. Оценка варьируется от 0 (нет совпадения) до 1 (полное совпадение), а результаты поиска упорядочены, начиная с наивысшей оценки. Оценка релевантности состоит из двух компонентов оценки: оценки индекса и оценки характеристик.

• Оценка по индексу : Оценка по индексу представляет текстовую релевантность общего балла. Другими словами, насколько текст поиска соответствует содержанию документов.При этом учитываются орфография, синонимы, основа, встраивание слов на основе ИИ и другие особенности языка.
• Оценка функции : Оценка функции представляет специфику бизнеса; клиенты могут использовать его для корректировки ранжирования, чтобы лучше адаптировать результаты к бизнес-требованиям.

Оценка показателей релевантности

Если поиск по вашему сайту работает хорошо за счет увеличения числа кликов и дохода, это означает, что ваша поисковая система хорошо справляется с предоставлением релевантных результатов поиска.Но есть и другая, более объективная мера релевантности, которую мы можем использовать, чтобы получить представление о том, насколько хорошо работает поиск, и найти способы его улучшения.

Результат моделей ИИ по релевантности может быть измерен с использованием показателей качества ранжирования, таких как:

• nDCG : Нормализованный дисконтированный кумулятивный прирост может определить сходство между тем, насколько хорошо набор результатов запроса упорядочен для конкретного запроса. . Чем выше балл, тем выше актуальность набора.Это метод оценки, который мы используем при проверке релевантности поиска.
• MRR : Средние обратные ранговые порядки определяются вероятностью правильности. Как следует из названия, он вычисляет обратную величину ранга. Оценка равна 1, если веб-страница была заказана на 1-м месте, 0,5, если она заняла 2-е место, и так далее. Средний взаимный ранг — это среднее значение по запросам.

Кроме того, существуют методы ранжирования по порядку, в том числе:

• TF-IDF : одна из старейших моделей ранжирования, термин частотно-обратная частотная модель документа — это статистика, которая измеряет, насколько важно слово в документе. в зависимости от того, сколько раз слово появляется в документе (или на веб-странице).
• Okapi BM25 : Информационно-поисковая система Okapi была разработана в Лондонском городском университете. «BM» означает лучшее совпадение. Есть более новые варианты, но все они работают аналогично TF-IDF.
• Плотный поиск : Использует векторы (или хэши) для математического поиска релевантности. Это здорово, но sloooooow.
• Научитесь ранжировать : Использует многоэтапный процесс для изменения порядка результатов на основе лучших моделей релевантности.
• Гибридное извлечение : Еще один вариант, в котором используется сочетание вышеперечисленного.
• Научитесь хешировать : это новая техника, которая сжимает векторы в «нейронные хэши» для быстрого и умного поиска.
  

Вы можете узнать больше об оценке релевантности в этом превосходном блоге Moz. Качество записей имеет большое значение. Такой контент, как заголовки, описания, теги, заголовки и метаданные, может сильно повлиять на показатель качества. (Ознакомьтесь с нашим бесплатным отчетом о состоянии поиска, чтобы узнать, насколько хорошо ваш сайт оптимизирован для поисковых систем)

Динамическое повышение, усиление сигнала и машинное обучение

Оценка релевантности не статична. Оценки могут быть улучшены с течением времени с помощью усиления сигнала, машинного обучения и корректировки алгоритма.

Усиление сигнала — это процесс, с помощью которого поисковые системы используют поведение пользователей, например клики и конверсии, для оптимизации рейтинга результатов поиска.

По мере того, как все больше пользователей нажимают на определенные результаты, система узнает, какие страницы (или продукты, записи и т. д.) наиболее популярны, и присваивает им более высокую оценку релевантности. Точно так же результаты поиска, которые приводят к конверсиям на сайте (регистрация, корзина, доход и т.) оцениваются выше, потому что они приводят к важным результатам.

Усиление сигнала может улучшить ранжирование и релевантность . Это часть нашего алгоритма машинного обучения. До появления ИИ поиск основывался на поиске по ключевым словам, как индекс в конце книги. Это очень быстро, но регулярно пропускает важные элементы. Люди могут писать правила до бесконечности, и все равно будут возникать бесконечные проблемы с точностью. Это стандарт поиска сегодня.

Поиск на основе искусственного интеллекта предлагает огромную мощность благодаря постоянным и автоматическим улучшениям с интеллектуальными петлями обратной связи (усиление сигнала!).ИИ использует векторы, математический подход к представлению слов, который очень эффективно инкапсулирует смысл текста. Ранжирование ИИ требует использования готовых моделей или создания собственных моделей ИИ для преобразования текстовых запросов в векторы.

Sajari предлагает повышенную релевантность сигналов и ИИ (в частности, обучение с подкреплением), объединенные в функцию, называемую динамическим повышением, которая также включает сбор данных, необходимых для повышения релевантности и ранжирования. Эта система автоматически собирает данные с вашего сайта, приложения или магазина для построения модели данных, машинного обучения для определения релевантности и усиления сигнала для улучшения результатов.Основываясь на ваших желаемых целях — конверсиях, подписках, доходах, кликах и т. д. — поисковая платформа сделает все остальное.

Мы также даем клиентам возможность настраивать алгоритм ранжирования для улучшения результатов в соответствии с конкретными потребностями бизнеса, например, придавая большее значение действиям в корзине покупок, чем кликам, или персонализации для повышения релевантности.

Последнее слово

Возможность предложить исключительный пользовательский интерфейс для поиска по сайту сегодня более возможна, чем когда-либо прежде.Но не все поисковые системы одинаковы. Как минимум, поисковая система должна не только включать такие функции, как НЛП, семантическое понимание запросов, устойчивость к опечаткам, искусственный интеллект и обработка сигналов, но и обеспечивать быстрый поиск информации.

Надеемся, что эта статья послужила хорошим пособием по релевантности поиска и некоторыми сведениями о том, как мы разработали современное решение релевантности. Попробуйте внедрить Sajari, чтобы увидеть, как он работает в вашем случае — подпишитесь на бесплатную 14-дневную пробную версию или свяжитесь с нами для индивидуальной демонстрации.

Внедрение аналитики в поиск по релевантности

Поиск по релевантности обеспечивает быстрые и исчерпывающие результаты по нескольким объектам в одном списке, отсортированном по релевантности. Он находит совпадения с любым словом в поисковом запросе в любом поле объекта. Совпадения могут включать флективные слова, такие как «найти», «найти» и «найти».

Поиск по релевантности основан на тексте и может выполнять поиск только в полях типа «Одна строка текста», «Несколько строк текста», «Наборы параметров» или «Поиски».Он не поддерживает поля поиска с числовым типом данных или датой.

Теперь Microsoft обновила поиск по релевантности. Он становится более интеллектуальным благодаря внедрению машинного обучения. Двигаясь вперед, используя поиск по релевантности, мы можем легче находить данные. Сегодня мы познакомимся с некоторыми новыми возможностями поиска по релевантности.

Новые возможности содержат функцию проверки орфографии. Если поисковый запрос написан с ошибкой, поиск по релевантности попытается найти близкие совпадения на основе введенного текста.

Пример. Когда я ищу «contosa», возвращаются результаты для «contoso».

Еще одна интересная особенность заключается в том, что поиск по релевантности также распознает распространенные сокращения и акронимы в поисковых запросах.

Пример: «contoso eng» показывает результаты для «contoso Engineering».

Пример: «wa» возвращает совпадения для «Вашингтон».

Используя общеизвестные сведения, поиск по релевантности распознает часто используемые синонимы и ограниченное понимание естественного языка.

Пример: «bob lyon» возвращает совпадение для «Robert Lyon», а также для «Bob».

Пример: «contoso 5» возвращает совпадение для «contoso 5» и «contoso».

Пример: «открытые возможности приключения» возвращает результаты из таблицы «Возможность» с именем «приключение», которые являются «открытыми» (даже если возможность указана с ошибкой).

В настоящее время эти возможности доступны во всех средах Dataverse с английским языком в качестве базового. В будущем Microsoft планирует поддерживать и другие языки.

Чтобы включить «улучшить результаты поиска по релевантности», перейдите в Центр администрирования Power Platform. Выберите нужную среду и нажмите на настройки.

Поиск по характеристикам в продуктах.

Внизу страницы включите «улучшить результаты поиска по релевантности» и сохраните изменения.

Ознакомьтесь с нашим Microsoft Dynamics 365 обучающим заданием   , чтобы стать профессионалом в Dynamics 365.Благодаря идеальному плану и руководству мы поможем вам на каждом этапе достижения вашей цели.  

Управляемые моделью push-уведомления приложений в Dynamics 365

Элемент управления Simple Image для управляемых моделью приложений в Dynamics 365

Представляем новые сертификаты для Microsoft Dynamics 365

Обновления терминологии в Dynamics 365 и PowerApps

Что такое поток бизнес-процессов в Dynamics 365?

Каков рабочий процесс в Dynamics 365 CRM?

Каковы должностные обязанности консультантов по Dynamics 365?

Релевантность контента — Глоссарий SEO

Актуальность темы имеет первостепенное значение для поисковой оптимизации.Основное сообщение таково: чем лучше текст или содержание страницы соответствует поисковому запросу, тем выше вероятность того, что она получит хороший рейтинг. Это означает, что релевантность контента можно рассматривать как один из факторов ранжирования, который Google использует для оценки веб-сайта в своем индексе.

Определение термина «релевантность контента»

Термин относится к тому, насколько хорошо информация на веб-сайте соответствует поисковому запросу. Критерии релевантности включают элементы контента, такие как видимый текст, а также изображения или видео.Кроме того, релевантность можно создать с помощью метаэлементов, таких как заголовок, метаописание и теги alt.

Релевантность контента отличается от тематической релевантности, поскольку она фокусируется на значении текста на веб-сайте и не связана в первую очередь со ссылками между веб-сайтами.

Что означает релевантность контента для поисковых систем?

Для каждого поискового запроса поисковые системы оценивают, какие веб-сайты в их индексе лучше всего соответствуют требованиям пользователей. Для этого алгоритмы оценивают, насколько сайты в индексе соответствуют тому, что ищет пользователь.В то же время также учитываются характеристики отдельных веб-сайтов, такие как время загрузки, технические характеристики, структура ссылок и, как мы здесь обсуждаем, релевантность контента. Именно эти алгоритмические процессы формируют рейтинг в результатах поиска.

Вообще говоря, релевантность относится к важности, придаваемой объекту. В области ИТ термин релевантность относится к важности цифрового документа для поискового запроса. Это может применяться как к простым поисковым системам на веб-сайтах, так и к более сложным поисковым процессам, таким как веб-поиск.

Релевантные тексты чрезвычайно важны для поисковых систем, таких как Google. Это связано с тем, что результаты поиска должны максимально точно соответствовать различным поисковым запросам пользователей. Конечной целью является удовлетворительный пользовательский опыт. Эта игра не просто альтруистична, потому что поисковые провайдеры также являются коммерческими предприятиями, которые пытаются получать доход с помощью платной рекламы на страницах результатов поиска. Чем ближе результаты соответствуют запросу, тем больше доверия пользователей к результатам и, соответственно, к самой поисковой системе.

Возможные критерии определения релевантности контента

Существуют различные способы просмотра содержимого веб-сайта, чтобы оценить, насколько оно релевантно заданному поисковому запросу:

• Язык содержимого: Предоставление содержимого на том же языке, что и запрос, является необходимым условием релевантности. Чтобы четко привязать контент к языку или региону, можно использовать атрибут hreflang.
• Основной текст: Это относится к тому, насколько хорошо значение текста соответствует поиску.
• Заголовок страницы: Заголовок страницы может указывать на основную тему веб-сайта и, таким образом, формировать критерий, основанный на релевантности.
• Изображения и графика: Визуальный материал поддерживает текстовую информацию и может повысить актуальность.
• Местный аспект: В этом случае может быть важно использовать термины, соответствующие определенному региону.

Как Searchmetrics рассчитывает релевантность контента?

Searchmetrics также рассчитывает релевантность контента — как для оценки контента в Searchmetrics Content Experience, так и для анализа факторов ранжирования.

Методы измерения релевантности контента основаны, в том числе, на использовании лингвистических корпусов и концептуализации семантических отношений между словами в виде расстояний в виде векторов. Для семантической оценки текста это позволяет оценивать ключевое слово и содержание отдельно друг от друга.