Что такое Big Data
 Фото: Анна Коваленко, 66.RU |
|---|
В классическом определении Big Data — огромные массивы структурированной и неструктурированной информации, собранной из разных источников. Сейчас под большими данными понимают не только информацию, но и различные инструменты, подходы и методы их обработки.
Основные источники Big Data:
- корпоративные базы данных;
- интернет (соцсети, блоги, форумы и др.);
- информация с датчиков, измерительных устройств и сенсорных сетей.
Три главные характеристики Big Data:
- Volume. Большой объем информации — потоки данных свыше 100 Гб в день. Big Data считается та информация, которая выходит за пределы возможностей обработки вручную.
- Velocity. Большая скорость накопления и необходимость в быстрой обработке.
- Variety. Большое разнообразие данных.
Кто и как собирает информацию
 Фото: Анна Коваленко, 66.RU |
|---|
Под сбором информации подразумевается любое действие потребителя, которое можно отследить. Например, передвижение абонентов мобильных операторов, подключение к wi-fi в общественном месте или оплата покупки банковской картой.
Первыми с большими данными начали работать сотовые операторы и поисковые системы. Сегодня к анализу Big Data в России присоединились банки, ретейлеры, интернет-компании и др. Несмотря на то, что рынок больших данных в РФ уступает масштабами западному, 54% российских компаний начали инвестировать в аналитику Big Data. По разным оценкам он составляет от 10 до 30 млрд рублей. В Ассоциации участников рынка больших данных прогнозируют, что к 2024 году его объем достигнет 300 млрд рублей.
Сотовые операторы
К июлю 2019 года в России было зарегистрировано 260,6 млн мобильных абонентов. По подсчетам компании Mediascope, 78% населения пользуется мобильным интернетом.
Мобильный оператор определяет, где находится каждый из его абонентов, их ежедневные маршруты. Но речь идет не только о геолокации. Компания знает, как часто абоненты ездят за границу, где любят гулять, какие сайты просматривают, в каких интернет-магазинах совершают покупки.
Банки
По карточным транзакциям банки видят, сколько, на что и где вы тратите деньги, сколько вам перевел работодатель. Эта информация также позволяет анализировать кредитоспособность клиента, что в конечном итоге сокращает время рассмотрения кредитных заявок.
Магазины
Ретейл также собирает сведения о покупателях: персональные данные (оформляя бонусную карту, вы оставите дату рождения, телефон и ФИО), историю покупок, информацию из чеков.
Поисковики, соцсети, сайты, приложения
Информацию собирают «Яндекс», Google, Facebook и еще бесконечное множество компаний. Например, «Яндекс» с помощью технологии «Крипта» анализирует 300 факторов и создает условный портрет пользователя — обезличенный человек без имени и конкретной даты рождения, со своими интересами и пристрастиями. Google собирает личные данные, информацию о действиях, созданный контент. Подробную инструкцию о том, как избавиться от слежки Google хотя бы частично, читайте здесь.
Даже лайки и комментарии, которые вы оставляете в социальных сетях, — часть Big Data. Например, Facebook признался в прослушке и расшифровке голосовых сообщений пользователей. Правда, в компании заявили, что предупреждали пользователей о прослушивании и расшифровке голосовых сообщений.
Какие ваши данные могут продать по закону
 Фото: Анна Коваленко, 66.RU |
|---|
В России нет отдельного законодательства, которое регулировало бы обработку больших данных. Занимаясь этим, компании должны руководствоваться Законом о персональных данных. Однако участники рынка и эксперты признают его размытость.
Попытки регулирования Big Data в России выглядят так:
- В октябре 2018 года депутаты «Единой России» Михаил Романов и Алексей Кобилев внесли в Госдуму законопроект, который обязывал интернет-компании уведомлять пользователей, что их данные будут обрабатываться в обезличенном виде. Документ не приняли и отправили на доработку.
- В августе 2019 года Ассоциация больших данных и Институт развития интернета объявили о создании кодекса этики использования Big Data. Кодекс, который приняли в декабре 2019-го, включает в себя принципы профессиональной этики, а также предполагает ведение реестра добросовестных участников. В комитете Госдумы по информполитике посчитали саморегулирование недостаточной мерой для рынка.
- В сентябре 2019 года Минкомсвязь разместила законопроект, предлагающий ввести понятие «обезличенные данные». Однако законопроект так и не внесли в Госудуму.
- В феврале 2020 года Минкомсвязь подготовила законопроект, который должен был закрепить подходы к обработке больших данных. Предложенные поправки предусматривают введение понятий «большие данные», «оператор больших данных» и «обработка больших данных». Однако в июне ведомство отозвало законопроект о регулировании рынка Big Data.
Компании, сайты и сервисы могут собирать персональную информацию (например, чтобы выдавать потом таргетированную рекламу), но не имеют права продавать ее третьим лицам.
Операторы Big Data обезличивают персональную информацию, обрабатывая ее в агрегированном виде, и получают статистические или демографические данные. Собственно, для тех, кто использует Big Data, не нужны конкретные имена, адреса и номера телефонов. Смысл больших данных завязан на объеме — чем он больше, тем эффективнее и точнее будет анализ поведения.
Для тех, кто собирает и покупает большие данные, вы будете не инженером с завода Ивановым Иваном Ивановичем 1987 года рождения, а мужчиной от 30 до 40 лет со средним достатком.
Правда, существует риск утечки персональных данных, что происходит регулярно. Тогда хакеры получают доступ к ФИО, телефонным номерам, паспортным данным и другой личной информации.
В чем польза Big Data для каждого
Польза для компаний от собранного массива информации понятна — они оптимизируют продажи, логистику, составляют портреты клиентов. Соответственно, доходы растут. Но Big Data приносит пользу и конечному потребителю.
Big Data и транспортная система города
 Фото: Анна Коваленко, 66.RU |
|---|
Big Data применяют в развитии транспортных систем городов. С помощью информации, полученной от сотовых операторов, интернет-провайдеров, камер наблюдения, можно оптимизировать потоки транспорта. Мегаполисы используют Big Data для объединения транспортной инфраструктуры с другими видами коммунальных услуг в единое целое. Зная данные о передвижениях, можно корректировать маршруты общественного транспорта, управлять светофорами, анализировать очаги аварийности, места скопления машин и своевременно устранять их.
В октябре 2019 года МБУ «Центр организации движения» заключило контракт с МТС на проведение анализа данных по изменению плотности и динамике перемещения людей в Екатеринбурге. Эта информация ляжет в основу научно-исследовательской работы, посвященной разработке транспортно-экономической модели города на перспективу до 2035 года. Обезличенная информация о количестве людей, направлении их перемещения и скорости даст «истинную картину плотности заселения» и позволит рассчитать реальную потребность в транспорте. Аналогичные проекты реализуют в Москве, Санкт-Петербурге и Тюмени Tele2 и «Мегафон».
В Москве Big Data используют для решения транспортных проблем давно и активно. В 2018 году в столице внедрили систему, которая определяет участки дороги с высоким риском ДТП. Она учитывает внешние факторы (осадки, освещение, температуру) и анализирует саму дорогу (ширину, пропускную способность, скорость потока). В итоге Ситуационный центр ЦОДД принимает решение о приоритетном вызове ГИБДД на место аварии с учетом расположения этих участков.
Большие данные используют для прокладывания маршрутов общественного транспорта: за перемещением пассажиров следят с помощью чипов в билетах, которые считываются при валидации.
С 2015 по 2018 год департамент информационных технологий Москвы потратил на покупку геоаналитики и мобильных операторов 516 млн рублей.
Big Data и магазины
 Фото: Анна Коваленко, 66.RU |
|---|
В Екатеринбурге 60% торговых точек на рынке продуктового ретейла поделили между собой четыре компании. Активнее всего город захватывает «Пятерочка» — магазины сети открывают в домах друг напротив друга. Причем, как правило, покупатели из одного магазина не ходят в другой, хотя ассортимент и стоимость товаров одинаковые.
Это значит, что в районе есть несколько независимых основных пешеходных маршрутов. И покупатель выберет «магазин у дома», а не пойдет через дорогу. Информацию о потоках покупателей как раз и собирают с помощью больших данных. Например, у сотовых операторов можно получить информацию о геопозиции устройств и их перемещении. Поставьте wi-fi и Bluetooth-точки в разных местах района — они соберут информацию о проходящих потенциальных покупателях через телефоны.
Один из известных примеров использования Big Data в продуктовом ретейле — опыт «Ленты». Основной источник данных о клиентах — карта лояльности. От 93 до 95% продаж в супермаркетах составляют транзакции с участием карт лояльности. Такой покупатель — часть клиентской базы, и магазин фиксирует и запоминает историю покупок, что позволяет спрогнозировать динамику спроса, создать адресные рекламные предложения и рассчитать оптимальный размер скидки.
Big Data помогает сузить поток информации для конечного потребителя — он получает уже целевую рекламу, которая заточена под него и, скорее всего, будет интересна.
Big Data и рестораны
 Фото: Анна Коваленко, 66.RU |
|---|
Как и в случае с магазинами, в пищевой индустрии большие данные используют для оптимизации меню и цен, для контроля качества и поставок продуктов. Однако рестораны также накапливают информацию из чеков, сумм чаевых, времени визитов, чтобы в итоге предугадывать предпочтения гостей.
Big Data и туризм
 Фото: Анна Коваленко, 66.RU |
|---|
Чтобы его развивать, в Свердловской области властям нужен срез — какие потоки туристов куда едут, где останавливаются, сколько платят и т. д. Его можно получить именно с помощью Big Data.
Коме того, анализируя данные мобильных операторов, можно контролировать спросы на авиа- и железнодорожные билеты, менять и добавлять направления. Например, понимая, что люди летают в определенную точку через их аэропорт, но с пересадками, воздушная гавань может привлечь авиакомпании, чтобы те открыли прямые рейсы.
Big Data и развитие бизнеса в городах
Министерство инвестиций и развития и Фонд поддержки предпринимательства Свердловской области с помощью Big Data анализируют потребность жителей небольших городов в предприятиях сфер услуг — кафе, парикмахерских, салонах красоты и т. д. В итоге бизнес получает развитие, а людям не приходится ездить за услугами в другой район или город.
Чтобы получить представление, какие ниши пустуют, специалисты анализируют платежные данные по банковским картам. Это позволяет выявить спрос и предложения. По словам директора СОФПП Валерия Пиличева, проект стал возможен после того, как массив людей, которые пользуются банковскими картами и цифровыми устройствами, вырос, а количество перешло в качество.
Сфер применения Big Data — бесконечное множество — от медицины до горного дела, от экологии до рекламы, и описать их все невозможно. С каждым годом рынок Big Data будет расти и развиваться. По прогнозам агентства ResearchAndMarket, рынок аналитики больших данных будет повышаться в среднем на 11,9% с 2020 по 2028 год. По прогнозам экспертов, он вырастет до 115,13 млрд долларов.
