[den_fan]

Компания «Яндекс» запустила новый алгоритм для своего поисковика, который основывается на нейросети. Об этом компания сообщила в своем блоге.

Алгоритм получил название «Королев». Его особенность в том, что он сопоставляет запрос и веб-страницу не по словам, а по смыслу. Таким образом, алгоритм учится «понимать» смысл поискового запроса пользователя и смысл страницы, которую он может искать.


В прошлом году компания запустила алгоритм «Палех», который, в отличие от «Королева», умел понимать смысл только заголовка веб-страницы.

«Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать ее всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королев» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задает запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц», — отмечают в «Яндексе».

В компании добавили, что новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу, что позволяет устанавливать дополнительные смысловые связи.

Также в «Яндексе» рассказали о роли пользователя в обучении нейросети. Системы сбора статистики «Королева» учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.

«Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашел то, что искал, то есть страница хорошо отвечает на его запрос», — объясняют в компании.

[ezup]

Ага! Я сейчас включал Яндекс, а там заставка Королева.
Пока не пощелкал ее не пропадала.

[Артурыч]

ezup,

Кратко о главном
На какие запросы повлияет «Королев»
Немного истории
Матрикснет
Палех
Как работает алгоритм «Королёв»
Эффект «Королёва»
Люди учат машины
Толока
Мнения экспертов
Как новый алгоритм может повлиять на SEO
Какая выдача нас ждет
Важно ли теперь собирать семантическое ядро
Вырастет ли трафик за счет ассоциированных запросов?
Суммарно
Выводы



Новый алгоритм «Королёв»:

Обучается на поисковой статистике, которая учитывает на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.
Обращает внимание на другие запросы, по которым люди приходят на эту страницу.
Для ответа пользователю подбирает страницы, которые соответствуют смыслу поискового запроса.
Страница может не содержать всех слов из запроса, но тем не менее очень хорошо на него отвечать.
Сопоставляет поисковые запросы со страницами целиком — а не только с их заголовками.

Алгоритм «Королев» — это развитие «Палеха», направленного на повышение качества выдачи по сложным, в основном информационным запросам. По сути, на «Палехе» Яндекс протестировал поиск на основе нейронных сетей, а теперь запустил его во всем масштабе.

Раньше все алгоритмы работали по методу машинного обучения «Матрикснет», который поисковик дорабатывал, условно, вручную. А «Королев», основанный на нейросетях, обучается самостоятельно с помощью миллионов запросов, которые ежедневно задают пользователи.

Вместо того, чтобы анализировать сайты в ответ на запрос, поисковик будет заранее знать, на какие вопросы и их вариации отвечает каждый документ.


На какие запросы повлияет «Королев»

В первую очередь на информационные запросы. Он поможет быстрее находить ответы на сложные вопросы. Соответственно, основные изменения коснутся информационных ресурсов, например, сборников рецептов, которые пользователям будет проще найти.


А что с коммерческими запросами

Единственное, вероятное изменение — увеличение трафика по низкочастотным запросам.

Пока новый алгоритм не кажется опасным. Он оказался логическим продолжением алгоритма «Палех» и область его применения если и затрагивает коммерческую выдачу, то пока очень не очевидно. Выдохнули.


Немного истории

На заре поисковых систем, алгоритмы поиска были достаточно примитивны. Они просто искали страницы, которые содержат слова из поисковой фразы.

О сложном ранжировании — то есть упорядочивании страниц по степени соответствия запросу — речь не шла. Считалось, что чем чаще в документе встречаются слова из запроса, тем лучше он подходит. Интернет быстро рос, и потребовались дополнительные критерии отбора.

Поисковики:

начали учитывать ссылки на документы,
научились определять регион, откуда поступил запрос,
стали обращать внимание на поведение пользователей.


Матрикснет
В какой-то момент факторов ранжирования — признаков, по которым можно определить, насколько хорошо страница отвечает на запрос, — набралось так много, что стало ясно: прописать их все в виде инструкций невозможно. Лучше научить машину самостоятельно принимать решения: какие признаки использовать и как их комбинировать. В Яндексе для этих целей придумали Матрикснет (2009 год). Это метод машинного обучения, с помощью которого строится формула ранжирования.

Поиск, однако, по-прежнему опирается на слова.

Перед тем как пустить в ход сложную формулу ранжирования, поисковые машины составляют список «предварительно подходящих» веб-страниц — таких, в которых есть слова из запроса. Нам, людям, понятно, что один и тот же смысл можно выразить разными словами.

Веб-страница может не содержать всех слов из запроса, но тем не менее очень хорошо на него отвечать.

Однако объяснить это машине довольно сложно.



Палех
Первый шаг Яндекс к поиску по смыслу был поисковый алгоритм «Палех» (2 ноября 2016 г.). В его основе лежит нейронная сеть.

Нейросеть — это компьютерная модель, которая работает по тому же принципу, что и человеческий мозг. Она принимает решения исходя из множества факторов, а главное — самостоятельно устанавливает закономерности и учится на своих ошибках.

Чтобы нейросеть научилась понимать, как смысл запроса соотносится с содержанием страницы, нужны миллиарды примеров. У Яндекса есть такие данные: каждый день поиском пользуются десятки миллионов человек.

Для улучшения поиска Яндексу нужно знать, что и как ищут люди. Разумеется, Яндекс собирает и обрабатывает эти данные в соответствии с политикой конфиденциальности.

Запуская «Палех», Яндекс научил нейронную сеть преобразовывать поисковые запросы и заголовки веб-страниц в группы чисел — семантические векторы.


Важное свойство таких векторов состоит в том, что их можно сравнивать друг с другом: чем сильнее будет сходство, тем ближе друг к другу по смыслу запрос и заголовок.


Как работает алгоритм «Королёв»

Поисковый алгоритм «Королёв» сравнивает семантические векторы поисковых запросов и веб-страниц целиком — а не только их заголовки. Это позволяет выйти на новый уровень понимания смысла.

Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Поэтому «Королёв» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования.

Когда человек задаёт запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц.



Эффект «Королёва»
Умение понимать смысл особенно полезно при обработке редких и необычных запросов — когда люди пытаются описать своими словами свойства того или иного объекта и ожидают, что поиск подскажет его название.

Такая схема позволяет начать подбор веб-страниц, соответствующих запросу по смыслу, на ранних стадиях ранжирования. В «Палехе» смысловой анализ — один из завершающих этапов: через него проходят всего 150 документов. В «Королёве» он производится для 200 000 документов.

Кроме того, новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу.

Так можно установить дополнительные смысловые связи.

Люди учат машины

Использование машинного обучения, а особенно нейросетей, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров: положительных и отрицательных. Такие примеры дают пользователи Яндекса.

Нейронная сеть, которую использует алгоритм «Королёв», обучается на обезличенной поисковой статистике. Системы сбора статистики учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.

Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашёл то, что искал, — то есть страница хорошо отвечает на его запрос. Это положительный пример.

Подобрать отрицательные примеры гораздо легче: достаточно взять запрос и любую случайную веб-страницу.Статистика, которая используется для обучения алгоритма, обезличена

В помощи людей нуждается и Матрикснет, который строит формулу ранжирования.



Толока
Чтобы поиск развивался, люди должны постоянно давать оценку его работе. Когда-то выставлением оценок занимались только сотрудники Яндекса — так называемые асессоры. Но чем больше оценок, тем лучше — поэтому Яндекс привлек к этому всех желающих и запустили сервис Яндекс.Толока. Сейчас там зарегистрировано более миллиона пользователей: они анализируют качество поиска и участвуют в улучшении других сервисов Яндекса. Задания на Толоке оплачиваются — сумма, которую можно заработать, указана рядом с заданием. За два с лишним года существования сервиса толокеры дали около двух миллиардов оценок.

В основе современного поиска лежат сложные алгоритмы. Алгоритмы придумывают разработчики, а учат — миллионы пользователей Яндекса. Любой запрос — это анонимный сигнал, который помогает машине всё лучше понимать людей. Новый поиск — это поиск, который мы делаем вместе.



Мнения экспертов

/Денис Шубенок, Михаил Волович, Елена Камская/

Как новый алгоритм может повлиять на SEO
«Королев» работает на основе нейронной сети, которая накапливает данные и корректирует работу с каждым запросом. Вероятнее всего, важных изменений не будет. Но можно ждать некоторого перераспределения трафика в сторону крупных сайтов. «Королев» рассчитан на сложные, в основном низкочастотные информационные запросы, и от его работы выиграют сайты, которые могут себе позволить создавать множество контента.

Острие нового алгоритма, как и «Палеха» до этого, направлено совсем в другую сторону — в некотором смысле противоположную SEO. Яндекс в основном делает упор на нетривиальные запросы, на которые нет очевидных релевантных ответов. А SEO занимается теми запросами, по которым идеально подходящих ответов тысячи. Потому что сотни оптимизаторов и веб-мастеров на своих сайтах создали под каждый отдельно взятый запрос специальную страницу, и потом усердно занимались тонкой настройкой ее релевантности. В этой — коммерческой — зоне перед поисковиком стоят совершенно другие задачи. Тут не нужно искать релевантные ответы, или даже выбирать самый релевантный. Тут среди сотен достаточно релевантных кандидатов нужно выбрать лучший по каким-то другим, например, коммерческим критериям.

Однако «Королев» — это не дополнительный модуль поиска, а изменение всего алгоритма, начиная с самых ранних этапов предварительного отбора кандидатов на ранжирование. Поэтому он так или иначе затронет все запросы, в том числе и в коммерческой зоне. Какие-то изменения весов коммерческих и текстовых факторов, мы, вероятно, увидим — хотя и вряд ли глобальные.


Какая выдача нас ждет
В последнее время «Королев» очень широко рекламировали, прогнозов и опасений на рынке было много. И главный вопрос: как изменения в алгоритме повлияют на позиции и трафик сайтов? Но ничего страшного, в общем-то, не случилось.


Важно ли теперь собирать семантическое ядро
В экосистеме, сформированной Яндексом и Google, все конкуренты создают на каждый запрос по идеально релевантной странице. Даже если представления о релевантности у Яндекса после «Королева» сильно изменятся, что вряд ли, конкуренты никуда не денутся и быстро подкрутят свои страницы под новый идеал релевантности.



Вырастет ли трафик за счет ассоциированных запросов?
Вряд ли. Но нужно будет обратить самое пристальное внимание на кластеризацию запросов. Одно из анонсированных Яндексом нововведений — учет «семантики» других запросов, по которым переходят на данную страницу.

Суммарно
Для коммерческих тематик мало что поменяется, так как алгоритм работает прежде всего с информационными НЧ, которые не входят в поисковый запрос, но подходят по смыслу.
Изменения коснутся в первую очередь многословных запросов (5+), потому что основная задача алгоритма — понимать смысл уточняющих запросов.
Пока неясно как оптимизировать статьи. Обогащайте семантику LSI-фразами — работайте на перспективу.
Если хотите проверить повлиял ли «Королев» на ваш сайт — посмотрите в Метрике, нет ли существенных изменений трафика по СЧ и НЧ запросам.
Выводы

В целом, «Королев» — это еще один шаг к тому, что работа над поисковым маркетингом должна быть сложной и комплексной, к тому, что тексты на сайтах должны быть для людей, а поисковые системы должны понимать написанное словами. Этот алгоритм скорее всего не изменит положение большинства сайтов, но можно надеяться, что он сделает поиск немного более точным и человечным. Мы этому только рады.

http://www.fortress-design.com/korolyov/

[Артурыч]

[den_fan]

Ему меня погодная тема стоит не видел никакой королевы