«Яндекс» дошел до смысла

В поиске «Яндекса» появился новый алгоритм «Палех», который позволит системе лучше понимать смысл запросов пользователей. Для этих целей компания использовала технологию нейронных сетей, которую ранее уже внедрила в приложения сервиса «Авто.ру» и использовала для написания песен.

«Яндекс» запустил новый поисковый алгоритм «Палех», основанный на искусственных нейронных сетях, говорится в сообщении компании. «Благодаря “Палеху” поиск лучше находит веб-страницы, которые соответствуют запросам не только по ключевым словам, но и по смыслу»,— сообщили в «Яндексе». Согласно статистике компании, ежедневно поиск «Яндекса» обрабатывает примерно 280 млн запросов, из которых около 100 млн приходится на редкие и уникальные запросы. Так, с нетривиальными запросами к поисковой системе часто обращаются дети, которые пока не освоили язык общения с поиском и часто обращаются к нему как к живому собеседнику, или взрослые люди, которые хотят узнать название фильма или книги по запомнившемуся эпизоду. «Чем больше знаний о запросах, страницах и действиях пользователей накопил поиск, тем лучше он находит релевантные результаты. В случае с редкими запросами поведенческой статистики может не быть — а значит, “Яндексу” гораздо труднее понять, какие сайты хорошо подходят для ответа, а какие не очень»,— поясняют в компании.

Искусственные нейронные сети представляют собой метод машинного обучения и показывают хорошие результаты при анализе естественной информации, такой как изображения, звук и др. «В нашем случае мы имеем дело не с картинками, а с текстами — это тексты поисковых запросов и заголовков веб-страниц,— но обучение проходит по той же схеме: на положительных и отрицательных примерах. Каждый пример — это пара “запрос — заголовок”. Подобрать примеры можно с помощью накопленной поиском статистики. Обучаясь на поведении пользователей, нейросеть начинает “понимать” смысловое соответствие между запросом и заголовками страниц»,— говорят в «Яндексе».

По данным Liveinternet, в октябре «Яндекс» занимал 55,2% рынка поиска в России, в то время как Google — 39%. Кроме того, в октябре 2015 года руководитель группы компаний «Яндекс» Аркадий Волож сообщал, что доля поисковика «Яндекса» достигла 7% на рынке Турции.

Ранее «Яндекс» уже использовал нейросети в других продуктах. Так, в июне принадлежащий компании сервис объявлений о продаже автомобилей «Авто.ру» запустил в своих приложениях для iOS и Android функцию распознавания автомобилей с помощью нейросетевой технологии «компьютерного зрения» «Яндекса». Эта опция позволяет найти марку и модель машины по фотографии, а затем изучить объявления о ней, опубликованные на сайте, утверждали в компании. Однако технология оказалась неидеальной и «находила» автомобили на любых изображениях, даже на фотографиях человека. Позднее сотрудники «Яндекса» утверждали, что с помощью компьютерной нейросети записали музыкальный альбом, стилизованный под творчество группы «Гражданская оборона».