small data что это
Smalldata vs. Bigdata
Клиентские потребности находятся в одной плоскости с Big data. Но без малых данных невозможно использовать силу Big data на полную мощь. С другой стороны, опираться только на малые данные при изучении ЦА было бы слишком легкомысленно. Сила малых данных в грамотном сочетании двух подходов: small data и big data. Они, как игроки одной команды, лучший результат приносят вместе, а не по отдельности. Давайте разбираться, как грамотно использовать преимущества двух подходов.
Пример: страховая компания Blue Cross
Чтобы понять, что заставляет пациентов прибегнуть к повторной госпитализации, сотрудники изучили большие объемы данных. Blue Cross запустила алгоритмы изучения выставленных за услуги счетов, лабораторных показаний, выписанных лекарств, роста, веса пациентов и истории болезней семьи (данные play-by-play). Компания также изучила уровень бедности в районе проживания каждого конкретного пациента. Все данные по объему составили около 5 объемов Wikipedia.
Благодаря small data 18 тыс. клиентов Blue Cross были рекомендованы личные тренера по здоровью, что сократило реадмиссию на 40-50%. Это хороший пример того, как Big и Small Data работают в связке.
Потребности клиентов не статичны, и маркетолог всегда должен отмечать даже незначительные их колебание. В этом как раз и помогает более детальное и дотошное изучение с помощью Small data.
Пример: Lego
Все мы любим Lego, но компания не всегда была такой мощной, как сейчас. В начале 80-х Lego начала сдавать позиции. Новые более современные игрушки, включая Nintendo и видеоигры по ним, отхватили серьезный кусок рынка. Время шло, и конкуренты предлагали более успешные и сложные игры, Lego же продолжала отставать.
Какой была первая тактика бренда? Диверсификация. Lego запустила тематические парки, линию одежды, фильмы и даже собственные видеоигры. Особого ускорения такая тактика не принесла, но Lego оставалась на плаву.
Lego
От традиционных конструкторов Lego перешел к фильмам, играм и другим продуктам.
После 1980-х с бурным развитием интернета диджитал-туземцы, так Линдстром называет родившихся после 80-х, находились в постоянном поиске развлечений, и тогда бренды развернули кампании по захвату их внимания. Lego провела ряд исследований, и оказалось, что миллениалов ждет творческий кризис. Каждое исследование говорило, что новые поколения не готовы к вызовам. Они не будут заморачиваться над тем, что не приносит мгновенного результата и мгновенного удовлетворения. Что оставалось Lego? Меньше деталей в конструкторах, сами детали больших размеров. Они увеличили детали конструкторов, их продажи продолжали падать. Тогда в компанию пригласили Мартина Линдстрома с его философией малых данных.
Старые кроссовки и озарение
Старые кроссовки
Во время одного из своих маркетинговых исследований Мартин Линдстром с командой посетили дом немецкого школьника. Оказалось, что помимо любви к Lego, он был почти профессиональным скейтбордистом. Его попросили назвать самую ценную вещь в комнате, парень указал на пару изношенных кроссовок. Оказалось, что многочасовые тернировки на скейте сделали обувь идеально подходящей для катания. Они были старыми и потертыми, ничего особенного. Но благодаря кроссовкам, в которых он долгими часами отрабатывал упражнения на скейте, мальчик стал одним из лучших скейтеров.
Пример: робот-пылесос Roomba
Использование small data сработало не только с игрушками. Линдстром использовал эту идею при работе с другими продуктами: от робота-пылесоса Roomba до магнитов на холодильник. Это стало возможным благодаря тому, что small data помогают находить небольшие, на вид незначительные особенности продукта и превращать их в основное преимущества бренда.
Small data – данные, которые всегда под рукой
Сегодня мы начинаем серию небольших статей под общим заголовком «Small data, Big data – анализ и управление данными». Мы постараемся разобраться в том, что нам считать «Малыми данными», а что отнести к «Большим данным» применительно к гостиничному бизнесу. Приведем конкретные примеры и рассмотрим, каким образом мы можем использовать это для отельеров.
Как ни странно, в русском интернет-сообществе до сих пор нет четкого определения, что такое Small data, хотя, казалось бы, о больших данных – Big data слышали все и все примерно понимают, что означает эта терминология, хотя, и здесь существует значительная путаница. Однако более подробны мы поговорим об этом чуть позже. Две этих формы данных одновременно похожи и непохожи друг на друга. Давайте поговорим об этом чуть подробнее.
Small Data. Определение.
Small data – это анализ данных о конкретном пользователе, о конкретном человеке, о конкретном клиенте вашего отеля. Для сбора таких аналитических данных не требуется множества ресурсов, что немаловажно для объектов с небольшим бюджетом на маркетинг. Все это может сделать и один менеджер. Такие данные помогают в составлении более четкого портрета вашего гостя, узнавая детальные данные, вы имеете возможность сегментировать ваших клиентов и более эффективно и точечно проводить рекламные компании и планировать свой бюджет, исходя из имеющейся аналитики. На помощь отельеру тут приходит наша PMS, ведь, по большому счету, все наши статистические данные, которые накапливаются внутри вашей системы управления объектом, и есть Small data. Эти данные могут накапливаться у вас годами, вы можете вести их в привычных вам таблицах или использовать для этого специализированные отчеты. Но в итоге весь этот объем информации все равно будет являться Small data, каким бы большим он вам не казался. И именно этот объем данных в итоге поможет вам выделить ключевые точки для понимания и анализа как прошедших периодов, так и для планирования деятельности отеля в будущем.
Главное правило Small data – это быть здесь и сейчас. То, что многие называют у себя в отелях клиентоориентированностью, на самом деле и является частью Small data. Подход «Малых данных» в теории относительно прост: маркетолог или ваш менеджер должен как можно больше времени проводить среди ваших клиентов, быть больше пользователем, чем сотрудником и находиться в привычной для вашего гостя среде. В отличие от подхода Big data, эта идея ставит во главу угла человека.
Коллеги, а что для вас является Small data? Как вы используете то, что у вас всегда под рукой?
Stay tuned!
Виталий Дударенко
Small Data: новая революция в интернет-маркетинге
Какой тренд в наши дни можно считать поистине глобальным? Директора по маркетингу многих компаний, вероятно, ответят «мобильные устройства» или «социальные медиа», но чаще всего первым вариантом ответа являются «большие данные» (big data). У Мартина Линдстрома (Martin Lindstrom), эксперта по брендингу и автора бестселлера «Small Data: мелочи, скрывающие тренды-гиганты» (Small Data: the Tiny Clues That Uncover Huge Trends), на этот счет другое мнение.
Подход «малых данных», который рассматривает Линдстром, достаточно прост, по крайней мере, в теории. Маркетолог, по его словам, должен проводить как можно больше времени среди реальных людей и в привычных им условиях. Именно это, в сочетании с умением внимательно наблюдать, помогает развить сильную маркетинговую смекалку.
В отличие от подхода «больших данных», эта идея ставит во главу угла человека. Да, в обоих случаях маркетолог занимается сбором информации, чтобы получить наиболее полную картину поведения, интересов и так далее. Однако подход Линдстрома в первую очередь основан на сочетании внимательного наблюдения за деталями и широкого применения интуиции.
С чего все началось?
В возрасте 12 лет Линдстром решил испытать свои силы в бизнесе и использовал для этого… конструктор LEGO. Прямо на своем заднем дворе начинающий предприниматель собрал из пластиковых кирпичиков целый тематический мини-парк, продуманный до мельчайших деталей. Поначалу представители LEGO пригрозили ему судебным разбирательством за незаконное использование торговой марки, но, к счастью, им удалось найти компромисс, и Линдстром стал консультантом компании. Эту должность он сохранил за собой до сих пор.
Одна из его историй о «малых данных» как раз о них — знаменитых датских производителях игрушек. В 2002 году продажи LEGO сильно упали, и положение компании стало очень шатким. Маркетинговое исследование в конце концов показало, что потребители все чаще теряли концентрацию при игре с конструктором.
LEGO решили эту проблему следующим образом: раз сбор фигурок из мелких деталей — дело трудоемкое, они выпустили на рынок конструктор из более крупных кирпичиков, чтобы ускорить процесс. Таким образом клиенты, столкнувшиеся с недостатком усидчивости, могли строить замки и здания гораздо быстрее. Но стратегия провалилась, а продажи еще сильнее пошли на спад.
В тот сложный час и родилась концепция «малых данных». Пытаясь лучше понять своего потребителя, группа исследователей LEGO отправилась в гости к 11-летнему мальчику из Германии, и, помимо всего прочего, они спросили его, чем в своей комнате он гордится больше всего. Мальчик на секунду задумался, а затем указал на изношенные кеды, стоящие на полке:
«Вот ими я больше всего горжусь. По ним видно, что я лучше всех в городе катаюсь на скейте. Когда я катаюсь, то ставлю ноги под углом в двенадцать градусов, и поэтому подошва так сильно стирается. Все это значит, что я катаюсь лучше всех».
И команда вдруг поняла, что даже современные дети — поколение, требующее быстрых результатов — готовы тратить огромное количество времени на свои занятия, но только если чувствуют, что управляют ситуацией.
Основываясь на этих выводах, LEGO пересмотрели свою стратегию. Во-первых, компания вернула в производство мелкие блоки, а во-вторых, передала детям инициативу в игре. На службу компании пришли истории и сюжеты, а также целые миры, вплоть до полнометражного «Лего. Фильма».
С тех пор LEGO успели значительно расширить свою продукцию, а постоянное присутствие в медиасреде превратило их в одного из ведущих мировых производителей игрушек.
История с магнитами
Среди примеров, которые приводит Линдстром, есть и более странные. Например, он однажды обратил внимание на то, как люди разных культур размещают магниты на холодильниках.
Линдстром проводит много времени в гостях у клиентов и замечает множество мелких деталей. К ним можно отнести и магниты: памятные вещицы, которые помогают сохранить воспоминания о путешествии. Линдстром заметил, что жители Саудовской Аравии вешают магниты высоко — там, где дети их не достанут; в одной же из продолжительных поездок по Сибири он обратил внимание, что в этих семьях магниты висят обычно гораздо ниже.
Так как по сравнению с арабами, сибиряки покупают заметно меньше игрушек, Линдстром сделал вывод, что во втором случае магниты выступали как замена игрушкам. За простым исследованием шли гораздо более серьезные действия: на российском рынке появилась еще одна компания по производству игрушек.
Почему важно быть «здесь и сейчас»?
300 дней в году Линдстром проводит в путешествиях по всему земному шару, заглядывая в дома огромного числа людей. Немногие из нас имеют возможность (или желание) так жить. Отвечая на вопрос, могут ли «малыми данными» пользоваться те маркетологи, которые не разъезжают по всему миру, как он, Линдстром отвечает:
«Безусловно. Проблема лишь в том, что обычно мы не здесь и не сейчас. То есть, вот стоите вы в баре и ждете кого-то, кто опаздывает, что вы делаете? Берете смартфон, ковыряетесь в нем, делаете вид, что вы весь такой занятой, верно? Мы начинаем скучать в течение нескольких секунд, а не часов, и именно поэтому мы больше никогда не скучаем.
Но есть одна деталь. Когда не скучаешь, ты перестаешь фантазировать. Все творчество проистекает из скуки, из потребности сочинить историю, чтобы развлечься. Это позволяет нам быть здесь и сейчас, наблюдать, а не выпадать из жизни. Без этого мы просто перестаем смотреть вокруг».
Линдстром решил эту проблему радикально — перестал пользоваться смартфоном. По его словам, «похмелье было очень-очень сильным».
Вы наверняка не готовы сходу поступить точно так же. Но зато вы можете прочесть книгу Линдстрома и с уверенностью сказать, что она возвращает человечность в маркетинг. Автор научит вас наблюдать за людьми, вовремя подмечать тенденции и развивать смекалку, чего вы никогда не добьетесь простым анализом данных.
Пользовательские данные ≠ понимание пользователей
«Без данных — вы лишь очередной человек со своим мнением»
— Вильям Эдвардс Деминг
«Вы не можете улучшить то, что не можете измерить»
— Питер Друкер
Компании собирают данные, чтобы иметь представление о том, что происходит с их бизнесом. Анализируя данные, они создают модели, которые объясняют прошлое, помогают предсказывать будущие события, или оптимизировать существующие процессы.
У моделей, графиков и таблиц одна функция: они избавляют нас от сложностей мира и защищают от его хаотичности. Сложно принимать решения, опираясь на неструктурированную информацию. Поэтому модели приводят в порядок беспорядочное и дают возможность бизнесу принимать осознанные решения на пути к достижению своих целей.
Культ сбора данных
Сегодня крупные компании одержимы Big Data — большими массивами информации о бизнесе, пользователях и их взаимодействии. Аналитики собирают максимум данных о пользователях в надежде, что количество перерастет в качество. Но зачастую компании не понимают, какая информация им нужна и что они планируют с ней делать.
Благодаря простому доступу к статистике, детальным отчетам и инструментам визуализации, компаниям сейчас удобнее получать информацию о типах клиентов и моделях их поведения. Используя статистику, маркетологи планируют рекламные кампании, коммерсанты прогнозируют спрос, а руководители определяют цели на следующий квартал.
Проблема количественных данных в том, что информация о пользователях полезна только после их проверки в реальном мире с реальными людьми. Тем не менее, многие бизнесы остановились на добыче данных и не обращаются к клиентам за дополнительной информацией.
Статистика показывает, что авторизованные на сайте пользователи покупают чаще и больше, чем неавторизованные. Аналитик делает вывод, что увеличение доли авторизованных пользователей увеличит доход. Для этого в разных разделах сайта делаются назойливые напоминания с просьбой авторизоваться.
Такое решение не даст значительного результата, потому что аналитик, опираясь на количественные данные, ошибся в причинно-следственных связях. Пользователи покупают не потому, что они авторизованы. Авторизованные пользователи — это лояльные и повторные покупатели. Если нелояльный или нецелевой пользователь авторизуется на сайте, это не повлияет на его мотивацию сделать покупку. Иногда, чтобы увеличить конверсию на сайте, необходимо не искать способы увеличения конверсии, а уменьшить привлечение нецелевой аудитории.
Бессмысленно смотреть в цифры, графики и пытаться догадаться, почему клиенты покупают один товар, а не другой — нужно пойти и спросить. Но это кажется слишком простым в эпоху Big Data и машинного обучения. Стоит признаться, что ни Big Data, ни машинное обучение всё ещё не могут объяснить поведение людей. Статистика не заменяет живое общение с клиентами. Компаниям нужно воспринимать клиентов как людей, а не только как наборы данных.
Big Data vs Small Data
Последние десять лет крупные компании пытаются свести человеческое поведение к набору моделей. Вместо того, чтобы разобраться в природе человека, они инвестируют в способы её упрощения. Анализ больших данных нацелен на понимание паттернов потребительского поведения и перевод их в успешные модели продаж. Но компании часто терпят неудачи из-за неправильного понимания сигналов. Иррациональность поведения потребителей препятствует созданию идеальной модели, даже при использовании большого количества данных.
Изучая сведения об облачности, они выявили связь между солнечными днями и подъёмом рынков от Нью Йорка до Токио. «Оказывается, когда в Париже облачно, вероятность того, что рынок пойдет вверх, понижается. Однако это не то, на чём можно заработать много денег, поскольку эта тенденция прослеживается в пятидесяти с небольшим случаев из ста.» — рассказывает Питер Браун, сооснователь компании. «Мы не начинаем с моделей, мы начинаем с данных. Мы ищем сигналы, которые могут повторяться тысячи раз.» — добавляет Джеймс Саймонз, руководитель фонда.
«Мы просматриваем исторические данные в поисках аномальных паттернов, которые не кажутся случайными. Мы анализируем данные и рынки, чтобы проверить статистическую значимость события и его постоянство. Когда мы находим обоснованность паттерна, мы спрашиваем себя: соответствует ли это событие поведению, которое кажется разумным?»
Чтобы отделить ценный сигнал от шума, нужны большие вычислительные мощности и сложные математические модели. Большинство компаний не владеет этим, поэтому сегодня использование больших данных — это зачастую попытки объяснить какие-то события задним числом за большие деньги.
Существует 3 проблемы использования Big Data для принятия решений касательно пользовательских сервисов:
Big Data подходит для поиска корреляций, но не для выявления причинно-следственных связей. Для выявления причин нужны так называемые «малые данные» — данные, которые достаточно малы для их понимания человеком. Источником Small Data являются качественные исследования: наблюдения, интервью, симуляции, эксперименты.
Small Data можно назвать человекоцентричной альтернативой Big Data. Оба подхода собирают информацию, чтобы получить представление о поведении, интересах людей и т. д. Но подход малых данных строится на сочетании наблюдательности и прикладной интуиции.
В пользовательских исследованиях Small Data представляют собой с виду незначительные поведенческие наблюдения, которые содержат ценные детали, указывающие на неудовлетворенную потребность клиентов. Такие данные являются основой для прорывных идей и трансформации брендов.
С середины 1990-х годов LEGO начала отходить от своего основного продукта — конструкторов — и ориентировалась на тематические парки, одежду, видеоигры и розничные магазины. Они были убеждены, что из-за компьютеров и видеоигр дети нового поколения требовали мгновенного удовлетворения, и им не хватало терпения или внимания, чтобы собирать сложные конструкторы. Большие данные показали, что будущие поколения потеряют интерес к LEGO.
Но с помощью Small Data LEGO посмотрели на свой бизнес с другой стороны. Компания узнала от своего 14-летнего поклонника, что его подвиги на скейтборде измерялись износом обуви. Он скользил под углом 12,5˚ и это оставляло характерный след на его кроссовках. Такой износ был знаком крутости в его окружении.
Именно тогда LEGO осознала, что дети получают социальное одобрение у своих сверстников, основываясь на мастерстве, которое они проявили в своем избранном хобби. В результате компания переориентировалась на свой основной продукт и создала более сложные и трудоемкие конструкторы. Оказалось, что клиенты оценили этот усложненный опыт.
По наблюдениям Мартина Линдстрема, о которых он пишет в книге «Small Data», из 100 величайших инноваций нашего времени, 60–65% основаны на small data. В отличие от Big Data, Small Data способны объяснять эмоции и давать представление о мотивах поведения людей. Вы можете анализировать настроения и свести эмоции к числам, но вы не можете понять их, глядя только на числа.
Для принятия решений нужны как малые, так и большие данные
Подумайте о сети ресторанов, которая пытается улучшить доставку. Они слышат, что клиенты разочарованы текущей ситуацией, но независимо от того, сколько данных они анализируют, они не могут найти решение. Все потому, что больших данных недостаточно. Компании необходимо исследовать, как клиенты взаимодействуют с доставкой — в каких ситуациях они заказывают её, как ожидают и получают заказ, что происходит после доставки. Затем компании необходимо применить эмпатию, чтобы интерпретировать опыт клиентов и отследить их эмоции. Большие данные не могут этого сделать.
Netflix — это тонко настроенный набор алгоритмов, основанных на огромном количестве информации, которую собирает компания. Эти алгоритмы позволяют Netflix предвидеть всё: от фильма, который вы захотите смотреть в определенное время суток, до списка актеров и режиссеров, которых нужно пригласить для нового сериала. Это большие данные в действии.
При этом есть вещи, которые алгоритмы Netflix не могут предсказать. Хотя он хорош в рекомендациях контента, который мы хотели бы смотреть, он имеет меньше информации о наших реальных впечатлениях от просмотра. Netflix знает, что вы просмотрели три эпизода «Черного зеркала» в воскресенье, но он не знает, что вы в это время делали уборку и общались с мамой по телефону.
Стриминговые сервисы начали изменять способы потребления медиа. Статистика четко уловила эти изменения, но не может объяснить, почему. Поэтому Netflix, имея собственную команду исследователей, также работает с известным антропологом Грантом МакКракеном. Он провел много дней в домах обычных семей в США и Канаде, чтобы узнать, что меняется в жизни людей из того, что может повлиять на потребление медиа. Так в одном из исследований он обнаружил, что зрители более терпимы к спойлерам, чем склонны это признавать. Это означает, что новый способ потребления сериалов — «binge watching», когда зрители устраивают марафон и просматривают сериалы эпизод за эпизодом — не угрожает модели их распространения. Качественные исследования отвечают на десятки вопросов, которые касаются развития бизнеса Netflix, на которые не могут дать ответа большие данные.
Нассим Талеб в своей книге «Черный лебедь» заметил, что люди склонны строить модель, а потом начинают раскладывать реальность по её ячейкам, вместо того чтобы, отталкиваясь от реальности, искать то, что ей соответсвует. В конечном итоге компаниям необходимо использовать как малые, так и большие данные. Важно использовать результаты качественных исследований для построения гипотез и затем искать подтверждение им в моделях, выявленных в больших данных. При тесном контакте с клиентами компаниям легче понять контекст принятия решений и тестировать с ними новые идеи.
Что такое Small Data
В рунете до сих пор нет внятного определения, что такое small data, хотя, казалось бы, о больших данных (big data) говорят уже давно. Эти две формы данных похожи и не похожи друг на друга одновременно. Разбираемся, что к чему.
Small Data. Определение
Малые данные (small data) — это когда анализируется информация об одном человеке и делаются выводы (соответственно, большие данные — это когда анализируется множество людей и находятся закономерности в их поведении).
Для сбора, обработки и интерпретации малых данных не нужно много ресурсов: это может сделать и один человек. Такие данные предназначены для решения повседневных задач, в случае с e-commerce: узнавая пол, возраст, физиологические параметры, социальный статус пользователя и другие данные, вы сегментируете пользователей по узнанным критериям и более эффективно проводите рекламные кампании, рекомендуете товары.
Малые данные — это о повседневных задачах: например, собирая электронные адреса покупателей в базу и делая рассылку, вы тоже работаете с малыми данными.
Нужны ли малые данные ритейлерам
У малых данных есть более известный собрат — Big Data, технологический тренд последних нескольких лет. Ритейлерам нужны большие данные: они помогают получить общую картину рынка, увидеть тренды, спрогнозировать спрос или конкуренцию, увеличить продажи за счет понимания поведения покупателей и т.д. Способов применения Big Data действительно много — актуальный пример с рекомендательными системами: они используют большие данные и сложные программные алгоритмы, чтобы спрогнозировать потребности и интересы пользователя по его действиям, сравнивая его модель поведения с тысячами других похожих пользователей. После анализа биг дата такие системы предлагают ему наиболее релевантные товары.
Но пример выше с рекомендательными системами — скорее, единичный случай в онлайн-ритейле, когда бы большие данные применялись так просто и с таким уровнем автоматизации. На деле получается, что если просто взять все эти данные о пользователях и отдать их ритейлу, то единицы будут заниматься анализом и учитывать их при разработке рекламных кампаний или планировании ассортиментна. Причины банальны: сложно, долго, а если писать программные алгоритмы для анализа — дорого.
С малыми данными попроще. На то есть как минимум три причины:
В книге « Принципы Больших Данных » содержатся ключевые отличия малых и больших данных. Приведем их здесь, чтобы окончательно понять суть вопроса.
| Small Data | Big Data | |
| Цели | Ответ на конкретный вопрос или решение определенной задачи. | Есть нечеткая цель и представление о том, что источник больших данных будет содержать и как будут структурированы данные внутри него, как они будут связаны с другими ресурсами и проанализированы. |
| Местонахождение | Как правило, содержатся в одной компании, часто на одном компьютере и иногда в одном файле. | Распространены по всей Сети, обычно хранятся на нескольких серверах, расположенных в самых разных местах Земли. |
| Структура и содержание | Обычно хорошо структурированные данные. Область данных: одна дисциплина или субдисциплина. Часто хранятся в виде однородных данных в упорядоченных таблицах. | Большой объем неструктурированных данных (например, текстовые документы, изображения, фильмы, звукозаписи, физические объекты). Предметом больших данных могут быть сразу несколько дисциплин, у каждого объекта могут быть связи с другими, казалось бы, никак не связанными, информационными ресурсами. |
| Подготовка данных | Обычно люди, которые занимались подготовкой данных, их и используют. | Данные поступают из многих источников, подготовкой занимается множество людей. При этом используют данные другие люди, не принимавшие участия в подготовке. |
| Долговечность | Хранятся в течение ограниченного периода времени (обычно не более 7 лет), а затем архивируются. | Данные хранятся неограниченное количество времени. В идеале, когда текущий источник данных прекращает существование, данные из него «всасываются» в другой источник. |
| Измерение | Как правило, данные измерены одним экспериментальным протоколом. | Так как данные поступают в разных электронных форматах, они могут быть измерены разными протоколами. Проверка качества больших данных — одна из самых сложных задач. |
| Воспроизводимость | Проекты повторяются: если есть сомнения в качестве данных или обоснованности выводов, весь проект может быть повторен для получения нового набора данных. | Тиражирование данных большого проекта неосуществимо. Если было замечено, что присутствуют некачественные данные, остается только надеяться, что кто-то найдет их и отметит. |
| Стоимость | Стоимость проекта ограничена. Лаборатории и учреждения, как правило, могут оправиться от случайного провала. | Проекты стоят неприлично дорого. Некачественные данные могут привести компанию к банкротству, массовым увольнениям и прекращению существования источника данных. |
| Самоанализ | Каждая единица данных идентифицируется по строке и столбцу, зная их названия, вы можете найти и указать все ячейки данных в таблице. | Если источник данных не исключительно хорошо структурирован, он может быть непонятен. Для анализа применяются машинные алгоритмы. |
| Анализ | В большинстве случаев все данные проекта могут быть проанализированы сразу и в полном объеме. | Обычно анализируются поэтапно (за исключением машинного анализа на суперкомпьютере или нескольких компьютерах сразу). Данные проходят этапы: извлечение, обзор, ограничение, нормализация, трансформация, визуализация, интерпретация и повторный анализ различными методами. |
Надеемся, различия стали более очевидными. Так как наш продукт напрямую связан как с Big Data, так и со Small Data, поясним роль последних в работе REES46.
Малые данные в рекомендательной системе
Когда в магазин приходит новый пользователь, для сервиса рекомендаций он — чистый лист. О нем ничего не известно, коллаборативная фильтрация и другие методы обработки больших данных не работают: ведь мы не знаем, что пользователь покупал, что смотрел и т.д.
Поэтому REES46 наравне с большими использует малые данные, делая на их основе выводы и превращая их в качественные товарные рекомендации.
Пример 1. Покупатель просмотрел несколько товаров в категории «детская одежда». Система делает вывод, что у пользователя есть дети, а глядя на параметры просмотренной одежды, делает запись о том, какого пола ребенок и сколько ему лет. Далее этому пользователю рекомендуются подходящие ему детские товары, при этом используется Small Data: таким образом компенсируются недостатки Big Data.
Пример 2. Покупатель положил в корзину корм Pro Plan для собак. По объему сервис рекомендация делает предположение о том, насколько это крупная порода собаки, а по марке предполагает, что покупателю подойдут товары из высокого ценового сегмента (корм качественный и дорогой). Поэтому в рекомендуемых товарах будут выводиться только качественные аксессуары или игрушки для крупных собак — и это повысит вероятность покупки.
В целом, малые данные — это то, чем нужно пользоваться, когда на обработку Big Data нет времени, вычислительных мощностей или когда о пользователе ничего не известно.
Самое то для принятия решений здесь и сейчас.