Николай Савушкин — о технологиях в рекомендательных системах
Иногда кажется, что не осталось в интернете места, где не используют рекомендательные системы. Какую страницу ни откроешь — возможно, вам также понравится х, людям рядом нравится y, собрали для вас z. Никакой навигации уже, чисто лента: сиди скролль, где-то там кликнешь, потом будешь скроллить дальше.
В прекрасном будущем наверняка будет такой сервис, к которому ты обращаешься, а он тебе сразу говорит, что делать, — и ты такой: «Ого, а ведь правда, это и надо делать». Открываешь приложение, а оно говорит: «%username%, ты же хочешь быть космонавтом! Рассказываю, как: делай раз, делай два, делай три, завтра приходи, будем четыре и пять делать».
Далеко ли до этого будущего? Ну, чуть дальше, чем хотелось бы. Люди, которые разрабатывает рекомендательные системы, в какой-то момент уперлись в проблему, которую поэтически называют «The curse of quality saturation». Проклятие это заключается в том, что данных для обучения рекомендательных систем глубокого обучения очень много, но это изобилие не дает такого же прироста эффективности, как в случае с языковыми моделями.
О природе этой проблемы, способах ее решения и том, что вообще отличает хороший совет от плохого, мы поговорили с человеком, который делает рекомендательные системы.
Подкаст доступен на YouTube и в VK Видео.