Какие мировые тренды по работе с данными актуальны сегодня в Казахстане? Участники VI-го цифрового Форума Digital Almaty 2024 уверены, что цифровое будущее бизнеса за облачными платформами, передает DKNews.kz.
На панельной сессии: “Цифровая трансформация: инструменты и подходы к работе с данными”, эксперты из разных областей экономики обсудили лучшие практики по работе с облаками и данными в Казахстане и в других странах, говорили о том, какие стратегии выбирают казахстанские компании по работе c данными, делились экспертизой и опытом по обработке, хранению и работе с данными. Кроме того, говорили о тех IT-инструментах, которые выбирают CIO, CTO и CEO для реализации стратегии цифровой трансформации в Казахстане.
Так, технический менеджер продукта Cloud ML Platform в VK Cloud Александр Волынский считает, что LMM-модели и сервисы на их основе — долгосрочный тренд. С развитием технологии и повышением ее доступности интеграция этого инструмента в бизнес-процессы будет только углубляться, а его значение — расти. Он уверен, что к появлению такого сервиса нужно готовиться заранее и основной акцент нужно сделать на сборе и подготовке качественного датасета, он важнее архитектуры модели, ресурсов и бюджета.
Опытом цифровой трансформации и работе с большими поделился CEO Технолом Роман Богдашкин.
Я адепт облаков, приземленные инфраструктуры постепенно отпадают, я бы не стал инвестировать в Data центры, с 2014 года занимался переносом архитектуры в облако. На наш взгляд, это будущее. Ты ничем не ограничен, у тебя есть динамическое масштабирование, полет фантазии, при этом облачные компании дают тебе гарантию стабильности. А потому мой совет для компаний, которые хотят мигрировать в новую архитектуру — надо обратить внимание на подготовку своих специалистов, тех кто умеет работать с облачными инструментами. Плюс обратить внимание ИТ-безопасность. Кроме того, я бы инвестировал во внешние аудиты, потому что внутри у команды глаз замыливается, внешние экспертизы больше направлены на ИТ-безопасность. Роман Богдашкин
Сеть магазинов компьютерной техники два года назад начала строить платформу данных, потому что было понятно, что меняется бизнес, и нужны показатели, которые можно видеть в реальном времени. Появилась необходимость в более расширенной аналитике данных, потому что было невозможно собирать отчеты по несколько дней, а затем принимать решения на основе устаревших данных. Поэтому компания начала вкладываться в платформу данных.
У нас небольшая команда, порядка 25 человек, которая занимается данными — это дата-инженеры, команда ML-специалистов. До внедрения новой платформы у нас был монолит, мы покупали сервера, но это работало медленно. Ночью грузили данные, на утро или через день наши бизнес-подразделения получали результат. Мы оцифровали все коммерческие данные, доставку, склады, даже знаем на сколько процентов загружены полки на складах. Роман Богдашкин
Основные недостатки устаревшей архитектуры данных:
- ограничения в вычислительных ресурсах,
- отсутствие CDC, использовали классические Batch загрузки, основа была View. Дельта данных ограничивалась неделями,
- отсутствие специалистов в AVAP и AMDP,
- монолитная архитектура, любое изменение в логике было затратным по ресурсами и затрагивала слишком много элементов, что сильно тормозило процесс разработки,
- потеря данных из-за короткого периода дельты.
Еще один подход — ML Pipeline также обладал рядом недостатков:
- дороговизна перехода к сложным моделям и их использованию в промышленной среде,
- модели остаются в разработке и не доходят до фактического использования их в промышленной среде.
В результате, крупный бизнес в Казахстане постепенно в качестве платформы выбирают Облако, а также внедряют CDC (change data capture), чтобы любая транзакция в режиме реального времени попадала в хранилище.
Новая архитектура позволяет всем системам работать с большей скоростью и повышать качество Data продуктов.
Участники панельной сессии подчеркнули, что вся эта большая техническая подготовка в конечном итоге работает для целей бизнеса. И сегодня благодаря платформе, бизнес получает результаты продаж в режиме реального времени, может оценивать эффекты от различных акций для клиентов, можно видеть, чего не хватает, как идут продажи.
