Если постараться дать определение простыми словами, что такое big data (биг дата или в переводе большой объем данных), то это обобщающее название для информационного потока, технологии, методов его обработки и системы анализа. Он обрабатывается путем применения программных инструментов, ставших аналогом традиционным базам и решениям Business Intelligence. Все действия направлены на структурирование и получение новых выводов.

Что это такое

IT-сфера уверенно заполняет пространство вокруг людей. Однако получаемые знания не могут уходить «вникуда», а учитывая колоссальный размер, хранилище должно быть объемным. Человечество уже давно перешло на цифровые носители, при этом все они отличаются по размеру.

Для работы с большими массивами информации нужен специальный набор инструментов и методик, чтобы с их помощью решать конкретные поставленные задачи. По сути, совокупность различных данных и инструментарий работы с ними и определяет термин Big Data.

Этот социально-экономический феномен напрямую связан с появлением масштабируемых технологий, которые позволяют работать с огромным количеством информации.

Разница используемых методик

Всего выделяют 2 основных подхода к аналитике, которые имеют кардинально разные стратегии.

Традиционная	Современная
Анализирование небольших инфо-блоков	Обработка всего массива информации сразу
Редактирование, структурирование	Использование исходников
Разработка и проверка гипотез	Поиск соотношений по всему потоку до достижения результата
Поэтапность: сбор, хранение, анализ	Аналитика в реальном времени

История возникновения

Первое упоминание о феномене произошло в 2008 от Клаффорда Линча в статье журнала Nature. С его слов сюда можно отнести любые неоднородные знания, поступающие в размере более 150 Гб за один день.

Согласно выкладкам аналитических агентств в 2005 по всему миру оперировало более 4-5 эксабайт (4-5 млрд гигабайт). В 2010 значение выросло до 0,20 зетта-байт (1 Зб равен 1024 Эб). В это время подход «big data » рассматривался только с научно-аналитической точки зрения, но на практике не применялся. В то же время неструктурированный массив неумолимо рос. За 2 года, то есть в 2012, показатели выросли до отметки 1,8 Зб, и проблема хранения стала актуальной и произошел всплеск интереса. К началу 2015 — до 7 Зб. К развитию направления активно подключались «цифровые гиганты» — Microsoft, IBM, Oracle, EMC, а также университеты, внедряя на практике прикладные науки (инженерию, физику, социологию).

Главные цели

Функция	Задача
BigData — это поток необработанных знаний	Сохранение и оперирование
DataMaining — структурирование данных как метод определения закономерностей	Создание единой структуры на основе обнаруженных связей для достижения единого смысла
Machine learning — машинное изучение, основанное на появившихся в процессе сведениях. Позднее появилось понятие Deep learning, работающее от искусственного интеллекта.	Анализирование и прогнозирование

Используемая технология

Обрабатывание информационного поля необходимо для предоставления пользователям конкретного результата с целью эффективного применения в будущем. То есть по итогу человек должен получить максимально полезную информацию о различных предметах или явлениях, а также взвесить положительные и отрицательные моменты для выбора дальнейшего решения. Искусственный интеллект строит приблизительную модель будущего, предлагая несколько вариантов, а затем отслеживает достигнутый результат.

Существующие аналитические агентства запускают программу-симулятор для тестирования различных идей. Она предполагает и выдает готовое решение проблемы. То есть все шаги полностью автоматизированы. Таким образом, Биг Дату можно смело назвать современной альтернативой, которая пришла на смену традиционным аналитическим методам.

Источниками являются:

• интернет (социальные сети, онлайн-магазины, статьи, форумы);
• корпоративные ресурсы — деловые архивы и активные базы;
• показатели с приборов — датчики, электронные устройства, метеоданные.

При этом, несмотря на различия, происходит объединение, интеграция, направленные в дальнейшем на извлечение, получение новых знаний.

Следует помнить о главном правиле — VVV, которое служит характеристикой больших данных:

• Volume — измерение объема в физической величине, которая занимает определенное пространство на носителе. Приставка «Биг» означает получение информационного массива в размере более 150 Гб за день.
• Velocity — регулярное обновление в режиме реального времени за счет применения интеллектуальных технологий.
• Variety — абсолютная или частичная бессистемность, разнообразие.

С течением времени упомянутые выше признаки дополнили еще двумя факторами:

• Variability — способность изменяться в зависимости от внешних обстоятельств, неуправляемые всплески и спады поступающих потоков зачастую связаны с периодичностью;
• Value — изменчивость в зависимости от сложности может затруднить функционирование искусственного интеллекта. То есть сначала требуется определение степени значимости, а после этого идет этап структуризации.

Чтобы обеспечить бесперебойность функционирования системы, необходимо одновременное включение трех основополагающих факторов:

• возможность горизонтального расширения пространства, то есть увеличение количества серверов без деградации производительности;
• устойчивость к отказу, а именно — число цифровых носителей и интеллектуальных машин для предотвращения вероятности сбоя при выходе из строя одного узла должно быть увеличено;
• локальность — выделенное место для хранения и обработки информации, способствующее экономии времени, ресурсов.

Где можно найти применение

Чем больший объем известен человеку о тех или иных предметах и явлениях, тем выше вероятность проведения точного прогноза на будущее. Даже не стоит лишний раз говорить, что наибольший спрос БигДата получила в бизнесе и маркетинге. Однако это не единственное возможное применение ее на практике. BigData активно внедряется в следующих областях:

• Медицина и охрана здоровья. Увеличение размера доступных сведений о болезнях, методах лечения и применяемых препаратах позволяет побороть такие заболевания, которые в прошлом часто становились причиной летального исхода.
• Предотвращение тяжелых последствий катастроф техногенного и природного характера. Сбор идет от множества доступных датчиков с определителем точного местоположения. Такое прогнозирование способно спасти тысячи людей.
• Правоохранительные органы используют данные для определения возможного возрастания криминальной ситуации в мире с последующим принятием профилактических мер в зависимости от ситуации.

Для автоматизации бизнеса наша компания «Клеверенс» предлагает ПО и оборудование, которые способны намного облегчить большинство рутинных задач, упростить рабочий процесс.

Методы анализа и обработки

Основы системы big data database заключаются в работе с огромным информационным полем, который постоянно дополняется сведениями с использованием следующих способов:

• глубокое анализирование с разделением на отдельные небольшие группы. Для этого применяются специализированные математические цифровые алгоритмы;
• крауд-сорсинг основан на способности принимать и направлять в переработку инфо-потоки из различных источников, число которых ограничено мощностью, но не количеством;
• сплит-тесты базируются на сравнении элементов от исходной точки до момента изменения. Это необходимо для выявления факторов, оказывающих наибольшее влияние. То есть по итогу проведения тестирования будет получен максимально точный результат;
• прогнозирование строится на внедрении новых параметров с дальнейшей проверкой поведения после поступления большого массива;
• машинное обучение с перспективой поглощения и обработки искусственным интеллектом знаний, использования их для самостоятельного обучения;
• анализирование активности в сети для разделения аудитории по интересу, месту, половозрастным признакам и другим параметрам.

Разрабатываемые решения

Биг дейта — это возможность эффективного использования полученных сведений в удобной и наглядной форме для выполнения прикладных задач. Основным источником является человек, при этом могут быть использованы самые различные средства (соцсети, СМИ и др.). Данные используются в первую очередь для проведения анализа с последующим созданием продуктов. Это могут быть консультации, товары или услуги, возможно внедрение программ оптимизации потребления ресурсов, прогнозирование. При этом важно защитить серверы от мошеннических манипуляций и угрозы вируса. Учитывая характер полученных сведений, программист сможет создать уникальные платформы и барьеры, защищающие от утечки.

Как происходило развитие в мире

Рост объема получаемой информации ежегодно растет в геометрической прогрессии. Если в 2003 году он составлял всего 5 Эб, то в 2015 этот показатель возрос до 6,5 Зб и до сих пор продолжает увеличиваться. При этом новые полученные знания можно смело назвать жизненно важным активом, а основы безопасности должны стать фундаментом. Повсеместное возрастание значимости феномена способно кардинально изменить экономическую ситуацию в мире, а незаинтересованный пользователь будет находиться в постоянном контакте с различными электроустройствами.

Ситуация в России

На территории РФ услуги и технологии системы BigData находятся на начальном этапе развития, если сравнивать текущую мировую ситуацию. Наибольшее распространение она получила в банковской, энергетической, логистической сфере, промышленности, электросвязи, на уровне защиты государства. Рынок также находятся на стадии зарождения. На сегодняшний день внутри страны в качестве поставщика могут выступать разработчики платформ управления (DMP) и владельцы банков данных (data exchange). Представители телефонии запустили обмен знаниями лишь в пилотном режиме.

Использование в банках

Учитывая, что банковская сфера относится к группе повышенной опасности, то внедрение анализа супермассива просто необходимо. Он защитит от мошенничества, поможет управлять рисками, оптимизирует расходы и позволит улучшить качество обслуживания. Все эти факторы в значительной степени влияют на лояльность потенциального клиента, а значит прибыль будет только возрастать. Эффективность работы системы уже успели оценить современные гиганты банковского дела: Сбербанк, ВТБ24, Альфа-Банк, Тинькофф.

Интеграция в бизнесе

Пользователей можно условно отнести к 5 группам, осуществляющим различную деятельность:

• поставщики, в задачи которых входит решение вопроса хранения и проведения предварительной обработки инфо-продукта;
• датамайнеры, занимающиеся созданием уникальных алгоритмов, нацеленных на извлечение узкоспециализированных знаний;
• системная интеграция, осуществляющая сбор и передачу данных от клиента;
• потребители, приобретающие новые программы;
• создатели сервисов, предлагающие доступ к БигДата расширенному числу пользователей.

Google

В 2012 году на рынок запущен Big Query — облако для анализирования Большой информации в режиме настоящего времени. В следующем году в него внедрили PremiumAnalytics — анализатор-счетчик для корпоративных клиентов на платной основе. Недавно в свет вышла Cloud Bigtable — горизонтально увеличивающийся облачный сервис для хранения.

«Яндекс»

Компания выстроила на основе системы практически всю работу: алгоритм поиска, автоматический переводчик, защиту от спама, таргет-рекламу, анализ и прогноз пробок, определение речи и лица.

До недавнего времени, для консультации крупным компаниям необходимо было обращаться в Yandex Data Factory, однако на сегодняшний день она полностью перенесена в поисковый отдел.

Mail.Ru Group

Группа одна из первых начала применение уникальной технологии на практике. При этом они внедрены во все сервисы. Благодаря внедрению новой методики, MailRu готов предложить таргетирование рекламы, оптимизацию поисковых запросов, быструю работу группы техподдержки, фильтрацию и защиту от нежелательных писем.

«Рамблер»

Первое время феномен нашел применение только в поисковых запросах, но немного позднее начало развиваться направление дата-майнинга. В работе применяется методика разделения контента, блокирование нежелательных ресурсов, обработка.

Какие выгоды достигнуты

Каждое новое изобретение должно нести в себе существенную пользу, чтобы его оценили по достоинству. Такой критерий применим и для БигДаты:

• более простое планирование;
• быстрый запуск инфо-продуктов;
• востребованность продукта;
• возможность оценки удовлетворенности от использования;
• облегченный поиск ключевой аудитории;
• оптимизация поставок;
• улучшение качества и увеличение скорости взаимодействия;
• повышение лояльности заказчика.

Применение в маркетинге

Система стала одним из наиболее востребованных инструментов маркетологов, который способен спрогнозировать результат. При этом появляется возможность привлечения клиентов, повышения лояльности и оценки их удовлетворенности.

Извлечение выгоды

Повсеместное внедрение БигДаты в маркетинг объясняется следующими факторами:

• возможность нарисовать портрет потребителя;
• предугадывание реакции;
• написание персональной рекламы;
• повышение продаж;
• доработка продукта или услуги с целью увеличить лояльность потенциального клиента;
• защита от мошенников.

Перспективы развития

Понимание важности внедрения феномена big data technologies возрастает с каждым днем. Именно поэтому происходит повсеместная его интеграция в самые разные сферы деятельности человека:

• облако-хранилище гораздо проще и дешевле, а IT-персоналу доступна удаленная работа;
• возможность сбора и хранения второстепенной информации о компаниях, которая не играет существенной роли, но при этом обязательна со стороны законодательства;
• разработка Blockchain для более простого проведения транзакций с последующим снижением затрат;
• создание искусственного интеллекта и внедрение глубокого обучения позволяют перенести всю ответственность на машины, при это все происходит четче и быстрее;
• системы самостоятельного обслуживания и систематизации.

Сервисы

На сегодняшний день выделяют 4 основополагающих направления.

«1С-Битрикс BigData: что это»

Облако для персонализации коммерческих услуг, который интегрируется в алгоритм управления сайтом. При этом достигается лучший результат от рекламы. Как следствие, увеличивается средняя стоимость, растет спрос, формируются персональные предложения.

RTB-Media

Портал управления продаж рекламы в цифровом формате с функцией участия в аукционах. Подходит для настройки кросс-канала, поискового и товарного таргетирования.

Alytics

Анализ-система с функцией автоматической разработки рекламы и подготовки отчета. С ней получится правильно оперировать рекламным бюджетом, используя различные показатели.

Crossss

Платформа для многоканальной персонализации онлайн-магазина. Производит сбор запросов пользователей с последующим анализом для разработки персональной рекламной акции. Продукция в каталоге выстраивается по специальному алгоритму, подходящему только для одного человека.

Достигнутые на сегодняшний день результаты в области цифровых технологий не конечные. Развиваясь и дальше, человек пополняет свои знания, которые обязательно должны сохраниться и использоваться. Система работы с большими объемами данных (big data) постоянно совершенствуется, раскрывая новые возможности.