Компания «Яндекс» запустила новый алгоритм для своего поисковика, который основывается на нейросети. Об этом компания сообщила в своем блоге.
Алгоритм получил название «Королев». Его особенность в том, что он сопоставляет запрос и веб-страницу не по словам, а по смыслу. Таким образом, алгоритм учится «понимать» смысл поискового запроса пользователя и смысл страницы, которую он может искать.
В прошлом году компания запустила алгоритм «Палех», который, в отличие от «Королева», умел понимать смысл только заголовка веб-страницы.
«Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать ее всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королев» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задает запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц», — отмечают в «Яндексе».
В компании добавили, что новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу, что позволяет устанавливать дополнительные смысловые связи.
Также в «Яндексе» рассказали о роли пользователя в обучении нейросети. Системы сбора статистики «Королева» учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.
«Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашел то, что искал, то есть страница хорошо отвечает на его запрос», — объясняют в компании.
Алгоритм получил название «Королев». Его особенность в том, что он сопоставляет запрос и веб-страницу не по словам, а по смыслу. Таким образом, алгоритм учится «понимать» смысл поискового запроса пользователя и смысл страницы, которую он может искать.
В прошлом году компания запустила алгоритм «Палех», который, в отличие от «Королева», умел понимать смысл только заголовка веб-страницы.
«Как и в случае с «Палехом», тексты веб-страниц в семантические векторы преобразует нейросеть. Эта операция требует много вычислительных ресурсов. Сравните: на то, чтобы прочитать название книги, у вас уйдут считанные секунды, но на то, чтобы прочитать ее всю от корки до корки, потребуются часы, дни или даже недели. Поэтому «Королев» высчитывает векторы страниц не в режиме реального времени, а заранее, на этапе индексирования. Когда человек задает запрос, алгоритм сравнивает вектор запроса с уже известными ему векторами страниц», — отмечают в «Яндексе».
В компании добавили, что новый алгоритм не только сравнивает текст веб-страницы с поисковым запросом, но и обращает внимание на другие запросы, по которым люди приходят на эту страницу, что позволяет устанавливать дополнительные смысловые связи.
Также в «Яндексе» рассказали о роли пользователя в обучении нейросети. Системы сбора статистики «Королева» учитывают, на какие страницы пользователи переходят по тем или иным запросам и сколько времени они там проводят.
«Если человек открыл веб-страницу и «завис» там надолго, вероятно, он нашел то, что искал, то есть страница хорошо отвечает на его запрос», — объясняют в компании.
