В докладе расскажем о реализованных в компании пилотах и боевых проектах, использующих различные популярные и «редкие» алгоритмы машинного обучения: от рекомендательных систем до глубоких нейронных сетей. Рассмотрим техническую реализацию на платформах Java (deeplearning4j), PHP, Python (keras/tf) с использованием открытых библиотек Apache Mahout (Taste), Apache Lucene, Jetty, Apache Spark (в т.ч. Streaming), спектра инструментов в Amazon Web Services. Соориентируем в важности тех или иных алгоритмов и библиотек, актуальности их применения и востребованности на рынке.
Рассмотрим следующие реализованные проекты:
- кластеризацию пользователей Битрикс24 с помощью Apache Spark
- расчет вероятности ухода (churn), возможной прибыли (CLV) и других бизнес-метрик в условиях big data и высоких нагрузок
- коллаборативную рекомендательную систему на более чем 20 000 интернет-магазинов
- кластеризацию товарного каталога методом LSH
- content-based рекоментадельный сервис для более чем 100 млн. пользователей рунета
- классификатор обращений в техническую поддержку Битрикс24 на базе нейронной сети (рассмотрим кроме n-gramm моделей также пилоты с одномерной сверткой)
- чат-бот ответов на вопросы на базе нейросети, осуществляющей соединение семантических пространств вопросов и ответов.
Скачать презентацию