В Сиэтле, где находятся штаб-квартиры таких компаний, как Майкрософт, Амазон и Боинг, 25 августа состоялась международная конференция Seattle Tech Days, организованная Европейской Бизнес Ассоциацией.
На мероприятии украинские IT-компании получили шанс представить свои проекты и идеи коллегам из США. Одна из трех дискуссионных панелей была посвящена проблемам работы с т.н. Большими Данными, Big Data.
Впервые термин Big Data ввел аналитик Даг Ланей из Gartner еще в 2001 году. Даг писал: “Большие данные — это информация большого объема, увеличивающаяся с большой скоростью и имеющая большую разнообразность форматов. Это ценность, которая требует новых подходов для улучшения принятия решений, понимания сути и оптимизации процессов”. В нынешних условиях корректно говорить о проблемах просто Данных, о методах быстрой обработки этих данных и о той пользе, которую можно получить из имеющейся информации.
Майкл Хайман, старший вице-президент AOL, поделился информацией, что в AOL уже обрабатывают десятки петабайт информации (1 петабайт, ПБ = 1024 терабайт, ТБ) в реальном времени. При этом приходится обрабатывать от 1,5 до 2 миллионов запросов в секунду. Команды программистов, которые работают с такими данными, находятся в США, Израиле, Ирландии и, что приятно, в Украине.
До последнего времени основными заказчиками услуг по обработке и анализу данных являлись большие корпорации, способные накопить достаточный объем информации. Арья Барирани, глобальный директор по маркетингу компании GlobalLogic, заявил, что большие данные уже вошли в сферу интересов малого и среднего бизнеса во всем мире. Уже сегодня компании начинают проводить анализ своих данных — как исторических, так и в режиме реального времени — для построения более эффективных моделей управления. Привычной практикой становится то, что многие корпорации собирают данные в надежде извлечь из них пользу в будущем.
Традиционно анализ данных активно используется в индустриях финансов, страхования, медицины, медиа, телекоммуникаций и розничной торговли. Компании, работающие в мировой сети, накапливали информацию о поведении пользователей, кликах, перемещениях, и т. д. Сейчас к ним добавляются индустрии производства, нефтегазовая и автомобильная промышленности, где проводится анализ данных с датчиков машин, устройств и механизмов.
Арья Барирани, говоря об этом, привел пример: современный автомобиль оснащен более 500 датчиками, которые могут передавать показатели на сервер. Объемы данных измеряются гигабайтами в час, но важно понимать, какую пользу может принести данная информация: можно ли предсказать поломку или оптимизировать работу машины.
Другой пример: по оценкам, если повысить эффективность работы электрических насосов, которые используются при нефтедобыче, на 1%, это может увеличить глобальную добычу нефти на 0,5 миллиона баррелей в день.
Крис Гарви, директор по развитию направления Big Data в Luxoft, отметил, что не так важен объем информации, как понимание того, какую информацию необходимо получить из данных. Огромное значение имеет взаимодействие “инженеров данных” со специалистами из предметной области. Будущее отрасли — за “программистами данных”, которые имеют достаточно гибкое мышление для понимания данных индустрии, для которой они работают.
Существует иллюзия, что анализ данных — это просто. Проблема с квалифицированными специалистами для науки данных (Data Science) есть у компаний во всем мире. Но сегодня в Украине проходит достаточно конференций по тематике обработки и анализа данных, а также искусственного интеллекта, чтобы самостоятельно начать обучение. Науку анализа данных желающие также могут изучать на онлайн курсах — к примеру, на курсе “Data Science”. Для начала практической работы можно брать открытые массивы данных — Open Datasets. Самые большие массивы различных открытых данных находятся на data.gov, а украинские данные на нашем аналоге — data.gov.ua.
Работа в области анализа данных — это шанс для Украины стать широко известной не только как экспортер услуг по разработке программного обеспечения, но и одной из первых стран в мире, которая сможет сформировать культуру и рынок Data Science — анализ информации и извлечение из неё пользы.
Такие компании, как Ciklum, GlobalLogic, Sigma Software уже активно развивают данное направление в нашей стране. Все компании имеют офисы в Украине, в которых сотни украинских специалистов работают над реальными проблемами обработки и анализа данных.
Андрей СТАРЖИНСКИЙ, вице-президент SoftEleganceData