22 августа «Яндекс» рассказал про новый алгоритм ранжирования в поиске. Алгоритм получил название «Королёв» - в честь знаменитого конструктора. В основу легли нейросети, сопоставляющие семантику запросов и контент веб-страниц.
Благодаря алгоритму «Королёв» новая версия «Яндекса» будет адекватнее отвечать на сложные запросы пользователей, как сообщил Александр Сафронов, представитель «Яндекса».
«Королёв» построен на основе менее мощного и эффективного алгоритма «Палех», который, стал отправной точкой. Сам «Палех» не слишком производителен, поэтому он задействован только на последней стадии, когда ранжируется порядка ста пятидесяти документов. При этом «Палех» учитывает только заголовок веб-страницы, который может не совпадать с ее содержанием.
«Королёв» работает уже на этапе индексирования, в нем заложено предвычисление векторов, он используется для двухсот тысяч документов и даже более, индекс поиска хранит выдачу по поиску. Самое главное – новый алгоритм учитывает заголовок и текст на странице, и дополнительно – запросы, которые ранее приводили пользователей на каждую определенную страницу. По словам представителя «Яндекса», устанавливается все больше смысловых связей между запросами и релевантными страницами.
Новая версия «Яндекса» сейчас «обучается» - для этого анализируются миллионы запросов. Вклад в развитие поисковика вносят не только разработчики, но и обычные пользователи. Анализируется, поведение пользователей, перейдя из поисковика на ту или иную веб-страницу, где работает система сбора статистики.
Еще один способ помочь «Яндексу» для пользователя - подать ему сигнал. Система теперь учитывает, какие оценки мы выставляем на Яндекс.Толока.
Сравним архитектуры двух алгоритмов: у «Палеха» была сеть со скрытыми уровнями по 150, 300 и 300 нейронов соответственно. Для «Королёва» было принято решение использовать клиновидную модель – 500, 500, 40. Это оптимизирует процесс использования доступных вычислительных ресурсов.
