Ежедневно интернет-пользователи оставляют после себя десятки мегабайт различных сведений: историю посещений веб-ресурсов, комментарии, фотографии, лайки и многое другое. Может показаться, что это разрозненная информация, которая в общем смысле ничего не значит. Однако при анализе из таких, казалось бы, не связанных между собой данных можно получить очень ценный результат, вплоть до уровня инфляции в государстве. И уже есть люди, которые на Больших данных зарабатывают немалые деньги.
Это на практике доказала компания Premise, которая благодаря таким исследованиям позволяет узнать реальный рост цен в той или иной стране в реальном времени. В то время как традиционные подходы к сбору сведений об экономической ситуации в стране не могут предоставить первые результаты раньше, чем через несколько месяцев.
Большие данные (Big Data) — это способы обработки огромных массивов разрозненных данных, чтобы на выходе получить понятные человеку графики, выводы и прогнозы. Впервые этот термин появился в журнале Nature в 2008 году, где читатели обсуждали взрывной рост объемов обрабатываемых данных и вероятный переход «от количества к качеству». Источниками Больших данных является поступающая непрерывно информация от измерительных устройств, радиочастотных идентификаторов, потоки из социальных сетей, метеорологические данные, данные дистанционного зондирования Земли, потоки данных о местонахождении абонентов сетей сотовой связи, устройств аудио- и видеорегистрации.
Помидоры и овощи как индикатор экономики
Чтобы получать непрерывный поток информации о ценах на товары, Premise разработала мобильное приложение для смартфонов. Его уже загрузили 700 человек из 25 развивающихся стран. Это преимущественно студенты и домохозяйки, которые фотографируют еду и товары на рынках и в магазинах и пересылают снимки на серверы Premise. Аналитики компании обрабатывают полученную информацию и сопоставляют ее с другими имеющимися в их распоряжении данными. Это позволяет им в реальном времени отображать изменения уровня инфляции в стране. Именно такую информацию жаждут узнать трейдеры на Уолл Стрит, которые готовы платить за нее большие деньги.
«Через пять лет я бы хотел, чтобы этим занимались от 3 до 4 тыс. человек, – говорит сооснователь Premise Девид Солофф. – Наша разработка – это полезный мониторинг глобальной инфляции, способ смотреть на пищевую обеспеченность или возможность производителю узнать, какие полки в магазине ему достаются».
Само по себе изображение продающихся на полке помидоров в Азии вряд ли натолкнет кого-то на какие-то важные выводы, кроме того, как эти овощи выглядят или ощущаются на вкус. Но если соединить массив таких фотографий продуктов, добавить к ним прогноз погоды в мире и общий график уровня осадков, тогда можно получить значимые данные для биржевых брокеров или перекупщиков в цепочке доставки товара от производителя к магазину. И чем быстрее можно получить подобные сведения, тем лучшие решения можно принять. Такие локальные Большие данные получили название Гиперданных.
«Гиперданные получают в определенном регионе, и их анализ можно использовать для принятия решений относительно этой области, – говорит научный сотрудник Центра предпринимательства и технологий в Университете Калифорнии. – Это скоро будет обычным делом, когда каждый предсказывает и действует практически мгновенно, наподобие того, как Amazon в один момент изменяет свои цены».
Аналитики сходятся во мнении, что Большие данные – это следующий шаг в статистической обработке информации. Например, полученный стандартными средствами прогноз о продажах мороженого сулит большие объемы следующим летом. Однако Большие данные позволяют видеть больше и прогнозировать точнее. Ведь этот подход учитывает другие факторы, на первый взгляд даже малозначащие. Это может быть температура воздуха и уровень облачного покрова сегодня, победа городской футбольной команды в важном матче и другие подобные сведения. Если их учитывать, тогда можно точнее сказать, сколько мороженого купят люди в разные дни.
Большие данные – большой потенциал
Подобный подход уже позволяет получать реальные результаты для целых государств. Специалисты Premise говорят, что им удалось засечь широкомасштабную инфляцию денег в Индии за несколько месяцев до того, как это удалось правительству. Для этого компания анализировала цены на лук на нескольких рынках страны при помощи фотографий от пользователей. Причем последним тоже выгодно делать снимки: за каждый они получали от 8 до 10 центов.
Кроме самих фотографий товаров и цен на них, Premise также собирала координаты места съемки и данные о том, насколько много людей в торговой точке. Полученные данные потом смешиваются с информацией от 30 тыс. веб-сайтов и позволяют компании построить национальный индекс инфляции, а также карту цен на таких крупных рынках, как Калькутта, Шанхай и Рио де Жанейро.
Эти сведения уже покупают много компаний, среди которых – хедж-фонды Уолл Стрит и Procter&Gamble. За такие данные подписчики готовы платить от $1500 до $15000 в месяц. Хотя школы и неприбыльные организации могут получать подобные сведения бесплатно.
Возможности Больших данных развивают и правительства многих стран. По сведениям аналитиков института McKinsey Global Institute, свыше 40 национальных правительств сделали публичной информацию по вопросам населения и использования земли. Власти одних лишь США предоставляют в открытом доступе свыше 90 тыс. различных наборов данных.
«Из анализа открытых правительственных данных можно получить около $3 триллионов прибыли, – говорит один из авторов отчета McKinsey Майкл Чу. – Иногда нужно помнить о качестве исходных данных, но оно того стоит».
Информацию от правительственных органов можно дополнить сведениями от сенсоров на смартфонах, реактивных двигателях и даже велосипедов – от всего, что сможет загрузить поток данных из реального мира в облачные вычислители. В этом помогают технологии, которые ускоряют доставку сведений от гаджетов и снижают общие затраты на увеличение количества различных сенсоров-поставщиков информации.
Например, лишь в одном авиадвигателе компании General Electric имеется свыше 200 сенсоров. Корпорация уже использует их показания для анализа технического состояния воздушного судна, как только оно приземлится. Еще 100 датчиков в турбине передают данные в реальном времени. Облачные серверы дополняют эти сведения информацией о потреблении топлива, прогнозе погоды и стоимости обслуживания для достижения максимальной эффективности при минимальной цене.
Потенциал Больших данных заметила также и IBM. Эта корпорация анонсировала коммерческую доступность своего программного обеспечения, которое умеет учиться и предсказывать поведение сложных систем. Это позволит улучшать их производительность во время их работы.
Большие данные в повседневной жизни
Скорость анализа и глубина выводов – вот главные преимущества Больших данных над традиционными способами анализа. Это позволяет пользоваться подобной информацией не только большим корпорациям, но и мелкому бизнесу.
Специалисты стартапа ClearStory Data понимают это и позволяют пользователям в реальном времени обрабатывать сведения из разных источников. Например, можно соединить уровень продаж билетов в кинотеатры с данными о погоде или даже сообщениями Twitter. Выводы можно увидеть в виде графика или карты – в зависимости от того, что хочет понять пользователь.
«Таким способом, – говорит сооснователь ClearStory Data Шармила Шанани-Муллиган, – кофейня может предсказать, что будут пить ее посетители: Red Bull или горячий шоколад».
По материалам: New York Times
