Классифицируй это: как определить тему поисковых запросов
Иногда нужно понять тему запроса — то, о чём спрашивает пользователь. В основе многих исследований Яндекса лежит анализ поисковых запросов. Это можно делать вручную, но такая работа занимает много времени. Если нужно проанализировать большое количество запросов — хотя бы сотни тысяч, мы используем автоматический классификатор. Как он устроен, рассказывает руководитель отдела внешних исследований Яндекса Наталия Крупенина.
В некоторых случаях определить тему несложно. У большинства поисковых запросов есть тема — это то, о чём спрашивает пользователь: автомобили, банки, домашние животные. Иногда у одного запроса может быть несколько тем: [жаропонижающее для детей до года] касается и здоровья, и детей. Например, тема запроса [симптомы гриппа] — здоровье. Запрос [снежная королева] может касаться одежды, сказки Андерсена, фильма или детского спектакля. Бывает, что тема вроде бы одна, но определить её трудно. Чтобы достоверно определить тему запроса в данном случае, нужно понять, что имел в виду пользователь.
Он определяет, на какие сайты переходят по запросам с теми же формулировками, что и на размеченные вручную ресурсы, и выставляет вероятности тем. Дальше классификатор переносит ручную разметку нескольких тысяч сайтов на миллионы сайтов рунета. В результате каждому ресурсу классификатор присваивает несколько наиболее вероятных тем. Чем больше запросов совпало, тем выше вероятность, что сайт относится к той же теме. У других сайтов темы более расплывчатые — скажем, сайты про детей часто неразрывно связаны со здоровьем взрослых, а сайты про ремонт — с рукоделием. Есть сайты, у которых чётко выделяется преимущественная тема. Например, на сайты, посвящённые кино, переходят в основном по запросам, связанным с фильмами, сериалами и мультфильмами.
Для каждого запроса он считает, сколько раз по нему переходили на сайты с разными темами, и определяет доли каждой темы. Зная темы сайтов, классификатор может определить темы запросов. Оставшиеся 5% распределяются по другим темам. Например, запрос [снежная королева] на 55% относится к теме «одежда», на 25% к «литературе» и на 15% к «детям». А запрос [носки черные мужские цена] относится к теме «одежда» на 99%.
Суммарная доля запросов, которые невозможно отнести к одной теме, составляет 40%, а сайтов — 60%. Как выглядят поисковые запросы и сайты рунета с точки зрения классификатора, можно показать в виде карт. Чёткие темы показаны в виде стран, расплывчатые — например, «домашнее хозяйство», в которую могут попадать запросы и про ремонт, и про детей, и про еду — в виде морей, омывающих близкие темы. На картах они обозначены океанами.
Поэтому в исследованиях мы сравниваем не темы между собой, а интерес к каждой теме в разных срезах. В реальности темы лучше не сравнивать друг с другом напрямую. Из-за того, что в основе классификатора лежит разметка наиболее популярных сайтов, а не просто случайных, популярные темы также получают преимущество.
Дата публикации: 17-08-2017
Ещё новости
27.08.2022 Hyundai обновила Solaris первого поколения. Да так, что он выглядит лучше второго
И вот корейская компания на днях представила обновленный HB20S, который сильно преобразился как снаружи, так и внутри. В Бразилии у Hyundai есть модель HB20S — аналог российского Solaris, причем...
27.08.2022 Первоначально сиквел A Plague Tale Innocence не планировался
В такую ситуацию, например, попала A Plague Tale Requiem — сиквел A Plague Tale Innocence про приключения преследуемых инквизицией брата и сестры Гуго и Амиции. Игровая индустрия не всегда предстаёт перед...
27.08.2022 Вот так импортозамещение: многие программы из российского RuStore не запускаются на смартфонах без сервисов Google
Это касается, в частности, смартфонов производства Huawei. Ряд приложений из российского магазина RuStore не работают или делают это некорректно на смартфонах без системных сервисов Google. Как сообщает...
27.08.2022 На Украине создан робот-камикадзе с противотанковой миной. Им можно управлять с расстояния около трех километров
Робот-камикадзе получил название Gnome Kamikaze. На Украине заявили о создании наземного робота, который может нести противотанковую мину. В грузовом отсеке робота находится противотанковая мина типа ТМ-62...
27.08.2022 В России нашли место с самыми дешевыми «параллельными» iPhone
Практически во всех точках «Горбушки», специализирующийся на технике, есть все актуальные модели iPhone в разных цветах и версиях памяти. По данным Forbes, дефицита смартфонов Apple у частников не обнаружено....
Все новости