Мы живём в век цифровых технологий и больших данных. Но к сожалению, в нашей стране не так много людей, способных работать с Big Data. Проблема дефицита специалистов заключается в том, что данная сфера появилась в Казахстане не так давно и получила свое развитие всего несколько лет назад. Сейчас же это стремительно развивающаяся профессиональная сфера.
В Алматы состоялся онлайн-митап (встреча специалистов по координации и решению вопросов) по Big Data Beeline Казахстан. Отметим, что Beeline Казахстан является одной из немногих компаний, которые сами прокладывали свой путь в этом перспективном направлении. Рассказывает Андрей Остафичук, руководитель службы Big Data аналитики.
На чем была основана Big Data в Beeline
Андрей уже несколько лет занимается развитием Big Data в Билайн. По его словам, изначально у них не было никакого релевантного опыта и экспертизы. А перед самой компанией стоял выбор: развивать компанию с помощью вендорских решений или растить собственную экспертизу. При первом варианте, риски заключались бы в поиске и кастомизации уже готовых решений под их локальные потребности.
“Нам нужно было четко понимать, что одним решением, мы бы точно не ограничились. А наши потребности растли как снежный ком. Это дополнительные затраты на сервера, на поддержку, на людей и т.д. Самый большой риск заключался в зависимости от внешнего поставщика. Если нет своей стстемы, всегда находишься на игле. А что касается развития собственной экспертизы, то для нас это было ещё большим вызовом. Потому что ранее в Казахстане на тот момент практически не было команд, которые организовывали что-то подобное.” – отметил Андрей Остафичук.
Команде необходимо было четко понимать эту сферу, чтобы описать области применения Big Data и в цифрах оценить какое преимущество получит компания. В итоге, в 2018 году образовалась команда Big Data Билайн Казахстан.
“Самые часто задаваемые вопросы на которые нам приходилось постоянно отвечать в первое время: Вы же Big Data? Можно ли создать искусственный интеллект? Построить ракету? Сделать робота? Но самое смешное заключается в том, что мы в принципе и сами не знали, можно ли это сделать или нет. Так как не было релевантного опыта и экспертизы в этом.” – вспоминает Андрей.
Команда Big Data Beeline
В начале было всего 10-12 человек – идейных первопроходцев. Но с повышением количества запросов и ростом их экспертизы, росло и количество сотрудников. Сейчас это довольно внушительная команда, состоящая из самых разных направлений и отделов.
- Проект менеджеры, которые отвечают в целом за весь проект: за разработку, постановку, продакшн и развитие
- Команда Data Science занимается построением моделей
- Майнеры и аналитики, которые осуществляют поиск новых источников и сбор данных
- Инженеры и разработчики, которые занимаются разработкой парсеров, пишут различные микросервисы для интеграции с внешними и внутренними системами
- Команда DMP инженеров, которые помогают с инфраструктурой и развитием кластеров
Как выбирали задачи
Изначально команда бралась абсолютно за любые задачи, чтобы найти свою линию для выстраивания работы. Но со временем специалистов начало не хватать, и набив шишки, команда стала строже подходить к выбору задач и их предварительной обработке. Сейчас основными критериями являются наличие данных, понятный экономический эффект и регулярность процесса, который необходимо оптимизировать и предсказать.
“В начале мы занимались только подготовительными работами. Первый год работали практически без моделей. Работа в основном заключалась в сборе данных, развитии кластеров, очистке данных, выстраивании процессов регламентирования, как что должно загружаться, как считаться и т.д. Так что не вся работа строится на моделях. Есть ещё важная часть по сбору и агрегации данных из разрозненных источников. Как собрать и связать данные таким образом, чтобы весь процесс был оцифрован и измерим. Это значит прежде чем строить модели, нужно дать бизнесу хотя бы первичную информацию и оценку того, как и что работает.” – рассказывает Андрей Остафичук.
AI – новая веха для Beeline Казахстан
В этом году команда Big Data Beeline начинает развивать AI направление (распознавания лиц, документов, аудиофайлов и строить NLP). По словам представителей Beeline, в этом заключается будущее, так как экспертиза в данной области будет являться конкурентным преимуществом их компании в дальнейшем.
“Только за прошлый год мы реализовали более 60 аналитических моделей, которые ушли в продакшн для абсолютно разных бизнесов типа цифрового маркетинга, развития сети и т.д.” – заявляет Андрей.
Методики которые использует команда
“По мере нашего развития и по мере сложности задач, которые к нам поступали, мы двигались сверху вниз. От классических моделей по кластеризации и классификации к ансамблевым методам. И сейчас мы уже доросли до того, что наши последние проекты в большинстве своем используют нейронные сети. При этом мы стараемся трезво подходить к выбору метода решения задач. Если можно решить простым способом, мы решаем именно простым. Чтобы не усложнять задачи там, где это в принципе не нужно. Потому что основная задача нашей команды – это нести ценность для бизнеса, а не реализовывать какие-то свои хотелки с использованием крутых нейросеток.” – добавил Андрей.
Последние два проекта, где использовалась Big Data
Последними двумя проектами, которые реализовывала команда Beeline Big Data являются рекомендательная система NBO Best Offer и оценка эффективности торговых точек. Первая позволяет в реальном времени подбирать наиболее релевантные предложения для пользователей в каждый момент времени. Будь то тарифный план или любая другая услуга от Билайн. Благодаря данной опции работники команды могут определять, что лучше показать и предложить, а пользователи могут легко выбирать тарифы, покупать девайсы или подписаться на услугу.
Это делается для того, чтобы повысить маркетинговые результаты компании и не заспамить абонента ненужными и неинтересными ему предложениями. На данный момент продукт всё ещё продолжает развиваться. В основе его лежит Data Science. Учитывается более 300 признаков как статистических, так и триггерных. Оценивается, как пользователь пользуется продуктами, как он откликается на рекламные предложения, какие типы рекламного предложения он получал за последнее время, последовательность покупок и т.д.
“Конечно хотелось бы рассказать об этом побольше и поделиться подробными результатами данного продукта, но увы я не могу раскрывать всю информацию в силу определенных причин, так как это является всё-таки нашим ноухау.” – заявил Андрей Остафичук.
Вторым проектом является оценка эффективности торговых точек розничного бизнеса компании Билайн. Перед разработчиками стояло несколько задач: оценка текущих торговых точек, выявление наиболее оптимальных локаций для открытия новых, анализ и оптимизация расходов компании.
Этот проект позволяет показать, что не всегда правильное решение является самым сложным. Его основная задача заключается в том, чтобы правильно выстроить логическую цепь.
Big Data School
21 октября 2019 г., г. Алматы. Beeline Казахстан дал старт обучению в Big Data School. Заявку в первый год обучения в школе подали около 1500 кандидатов.
Big Data School основали эксперты компании с большим практическим опытом. В ходе интенсивного курса преподаватели научат студентов разработке и реализации продуктов Big Data, дадут развернутые знания о форматах и инструментах сбора данных. Выпускники смогут самостоятельно разворачивать и использовать на практике программное обеспечение, а также применять полученные навыки в решении реальных бизнес-задач, и многое другое.
Из 1500 заявивших успешно прошли тестирование 200 кандидатов. Возраст – от 15 до 50 лет. В итоге возможность бесплатного обучения в школе получили 20 самых талантливых студентов.
«В нашей школе Big Data мы делимся передовыми знаниями в этой области, а также интересными реальными кейсами. Можно сказать, что мы обучаем, как для себя, то есть для эффективной работы в инновационной компании уровня Beeline Казахстан. Более того, лучшим студентам мы гарантируем трудоустройство в нашей команде, а также устроим стажировку в Билайн Россия. Желаем студентам успешного и интересного обучения», – комментирует Директор Big Data Beeline Казахстан Екатерина Линкевич.
Заключение
Компания в 2019 году запустила уже несколько продуктов на основе Big Data. Это сервисы для банковского сектора – скоринг и верификация, позволяющие клиентам получить займы при отсутствии кредитных историй, на анализе данных по использованию услуг сотовой связи, и Bank Notification, призванный снизить число мошеннических транзакций на картах клиентов банков. Также недавно был запущен продукт «Мобильная реклама», повышающий эффективность коммуникаций с клиентом благодаря таргетингу более чем в 7 раз.
