row data что это
Raw Data: 7 причин иметь под рукой «сырые» данные
Шани Розенфельдер, ведущий менеджер по маркетингу AppsFlyer, делится советами по использованию «сырых» данных для оптимизации рекламных кампаний, выявлению махинаций с трафиком и выбору партнеров.
Когда мы говорим о данных, то обычно ссылаемся на две категории: агрегированные и «сырые». Агрегированные отчеты представляют неоспоримую ценность – все данные уже собраны в дэшборде, а измеренные показатели представляют результаты основных KPI.
Для чего же эти, на первый взгляд, бесконечные строки и колонки с цифрами «сырых» данных, если агрегированные отчеты уже связали все метрики и показатели? В конце концов, инсайты формируются на закономерностях, а не на данных отдельных пользователей. И в этом случае агрегированные отчеты действительно представляют большую ценность – они понятны, их легко использовать в работе и, опираясь на выведенные закономерности, совершать почти мгновенные действия, оптимизируя или изменяя рекламных кампаний.
Но какую бы неоспоримую ценность не представляли отчеты в дэшбордах, их явно недостаточно. Почти каждому маркетологу и аналитику нужны данные в своем первоначальном, т.е. «сыром» виде. Более того, у вас должен быть постоянный доступ к собственным «сырым» данным, даже если пока вы не можете самостоятельно управлять их передачей через Push или Pull API в реальном времени.
Всё, что нужно знать о рекламе в мобильных играх
Аналитический обзор Gameloft: рекламные форматы, портрет аудитории, надёжные бенчмарки.
Итак, зачем нам «сырые» данные?
1) Кампании с прицельным таргетингом
Возможность проводить прицельные, узкотаргетированные кампании – это, пожалуй, самая важная причина получить доступ к «сырым» данным. Тщательный анализ таких данных поможет вам составить максимально точные пользовательские списки и когорты, формирующие ядро целевой аудитории для ретаргетинговых или даже шаблонных кампаний.
Например, мы говорим о ритейл-приложении: на основе IDFA вы можете выделить аудиторию и составить список пользователей, которые просмотрели определенный товар, но не совершили покупку. А если у вас игра, и вы работаете с ретаргетинговой сетью, которая способна собирать данные о комплексных событиях внутри приложения с многочисленными параметрами (rich-in app events), вы с легкостью составите список игроков, которые дошли до 25 уровня, совершили хотя бы одну покупку, но за последние четыре недели не провели ни одной игровой сессии.
2) Собственная кастомная аналитика
В большинстве своем агрегированные отчеты достаточно подробны, но вам может потребоваться собственный анализ, сформированный под конкретные нужды. С полноценным доступом к «сырым» данным вы или ваша команда аналитиков сможет использовать их как угодно: копайте так глубоко, как нужно вам! И, вполне возможно, вы сможете открыть для себя новые инсайты по разным срезам пользователей, их поведению и жизненному циклу.
3) Регулировать расхождения
В сложной и пока еще разрозненной мобильной экосистеме расхождения в показателях установочных кампаний – данность, с которой приходиться мириться. Причин для появления таких расхождений тысячи, будь то несостыковки с цифрами апсторов или рекламных сетей.
Вот несколько примеров спорных ситуаций по установочным кампаниям в рекламных сетях. Эти «разночтения» возникают по очень распространенным причинам, таким как:
Разные методы подсчета : сеть А выставляет рекламодателю счет за 10 000 установок, а трэкинг-провайдер приписывает этому источнику только 8 000. Если у рекламодателя есть доступ к «сырым» данным, он просто выгружает отчет из дэшборда и видит, что трэкинг-провайдер распределилспорные 2 000 инсталлов между другими сетями, которые обеспечили последний клик.
Основная причина таких расхождений – разные методы подсчета. Сеть А приписывает себе установки, фиксируя совпадение «клик-инсталл». Но! Рекламная сеть не может знать, что происходило после атрибутированного клика, у нее нет доступа к данным других сетей, она попросту не может отследить всю воронку конверсии.
Технические неполадки: рекламодатель видит установки в дэшборде, но их не видит рекламная сеть, так как не получает постбэков, а это чревато заморозкой кампании. В таких ситуациях рекламодатель может отфильтровать «сырые» данные по логам и выявить проблему (будь то ошибки в настройках или конфигурации), исправить ее или оперативно поделиться информацией о сбое с партнёрами и расследовать причины позже.
Расхождения в данных случаются и с апсторами, и вот почему:
Данные магазинов нельзя оспорить. Единственное, что можно сделать в такой ситуации – понять, что привело к расхождениям и решить, какой метод подсчета будете использовать вы.
Вот несколько способов выявить мошеннические действия при помощи «сырых» данных. Предположим, что речь идет о продвинутых мошенниках, способных создать новый идентификатор устройства. Наличие «сырых» данных поможет вам отследить подозрительную активность. В таких случаях надо искать определенные закономерности: множество установок или уникальных идентификаторов, которые приходят с одного IP, нелогичные временные промежутки инсталлов (каждую секунду, каждые пять секунд и т.д.) или обратить внимание на то, что большое число IDFA привязано к одному IDFV (идентификатор производителя).
5) Повторное вовлечение пользователя через сети, которые их привели
Вы можете связать «сырые» атрибуционные данные трэкинг-провайдера с собственными шаблонами и бизнес-моделями. Такие связки помогут вам проводить кампании по повторному вовлечению (re-engagement) через рекламные сети или каналы, которые привели этих пользователей. Например, мотивировать пользователей, приобретенных через кампанию в Tвиттере, писать твиты про ваш продукт.
Настройка передачи данных в режиме реального времени через push API имеет кучу преимуществ, так что вас не должно удивлять, что этой функцией пользуются даже самые продвинутые маркетологи. Но что произойдет, если вы получаете данные от трэкинг-провайдера только в режиме реального времени, а у вас сбои со связью? Ответ прост – вы потеряет все данные за период сбоя. Опция выгрузки «сырых» данных за определенный период из дэшборда застрахует от любых потерь.
7) Меняйте вендоров когда угодно
Наличие всего массива многоуровневых данных дает вам полную свободу. Имея под рукой «сырые» данные, вы всегда можете забрать их с собой и начать работать с другим поставщиком, тогда как без них вы фактически привязаны к одному вендору, который распоряжается вашими данными. Очевидная вещь, но многие даже не задумываются об этом. Все данные по вашим кампаниям и приложениям принадлежат вам и только вам и это ваш самый ценный актив.
БЕЗ «СЫРЫХ» ДАННЫХ ВЫ ПРАКТИЧЕСКИ ПРИВЯЗАНЫ К ЕДИНСТВЕННОМУ ПОСТАВЩИКУ
Для того, чтобы выжать максимум пользы из своих данных, нужно получить все логи, в идеале через API-трансфер (если вы поддерживаете эту функцию), либо через прямой доступ из дэшборда. Ведь для того, чтобы двигаться вперед, ваши тылы должны быть надежно прикрыты в любой ситуации.
AppsFlyer– аналитическая маркетинговая платформа для продвижения мобильных приложений и атрибуции мобильного трафика. Встроенный в мобильное приложение SDK AppsFlyer предоставляет рекламодателям комплексные данные об установках, конверсии и других показателях эффективности рекламных кампаний. Официальный партнер Facebook и Twitter по мобильному маркетингу. Список интегрированных партнеров AppsFlyer насчитывает более 1000 рекламных сетей, включая Yahoo!, Google, Bing, iAd и Criteo.
Авторы: Шани Розенфельдер, Александра Шпакова
Используем Raw Data в Google Analytics на практике
Мы долго считали, что стандартные инструменты Google Analytics – лучший способ получить полезную информацию. Временами приходилось сталкиваться с некоторыми ограничениями и весьма странными результатами, и казалось, этому нет конца и края, пока некоторые аналитики не открыли для себя Google Analytics 360 и механизмы экспорта необработанных данных в Google BigQuery.
Спустя всего несколько часов работы с более продвинутыми инструментами и SQL-запросами, мы смогли извлечь информацию, которую бы никогда не получили, используя только сводные отчеты Google Analytics. С того момента мы сосредоточились на изучении особенностей необработанных («сырых») данных и на том, какую практическую пользу из них могут извлечь специалисты в области веб-аналитики.
В этой статье есть ответы на следующие вопросы:
Чем отличаются raw и сводные данные в Google Analytics
Используя бесплатную версию сервиса Google Analytics, можно получать только сводные данные. То есть, полная информация о просмотрах для конкретного визита и события будет недоступна. Разумеется, отчет User Explorer содержит много полезной информации, которую могут использовать веб-аналитики. Однако на этот файл наложены определенные ограничения: он не масштабируется и недоступен для скачивания.
В большинстве случаев наличия лишь сводных данных достаточно для получения ответов на распространенные вопросы:
Почему стандартные отчеты Google Analytics не содержат этих данных? Основная причина заключается в вычислительных затратах. Предоставляя только выборочные сводные данные, отпадает необходимость в обработке миллионов строк, содержащихся в отчете. Поэтому бесплатная версия Google Analytics не содержит инструментов для выполнения расширенных вычислений на бесплатной основе.
Какую информацию можно извлечь из необработанных данных
Понимая ограниченность сводных данных, пришло время узнать, как можно использовать необработанные данные. Рассмотрим несколько вариантов их применения.
Длительность ивентов
Одно из ограничений, с которым сталкивается любой веб-аналитик, использующий стандартные инструменты Google Analytics – нельзя определить временной интервал между помещением товара в корзину и оформлением покупки, независимо от того, происходит это действие в рамках одного сеанса или нет. Разумеется, для этого можно использовать cookies и проводить собственные расчеты. Но это бессмысленно, тем более что Google Analytics уже проделали эту работу за нас.
Проведя анализ необработанных данных, можно легко определить точное время возникновения события для конкретного пользователя, провести сравнительный анализ с другим событием для этого же пользователя. Также можно агрегировать данные на свое усмотрение, получив среднее, медианное или процентильное распределение, или использовать другую продвинутую статистическую модель. Разве тот факт, что 20% пользователей выполняют целевое действие за 2 минуты, а 10% — в течение целой недели, не имеет никакого значения? С этими знаниями вы будете использовать различные подходы для взаимодействия с этими двумя категориями пользователей.
Анализ объема аудитории
В отчетах как Google Analytics, так и Google Analytics 360 содержатся данные о сегментации посетителей на протяжении последних 90 дней. Зачастую для получения достоверных данных требуется проведение анализа на более длинных дистанциях (особенно это касается крупных компаний). На основе анализа необработанных данных можно получать ответы на следующие вопросы:
Взаимосвязи между данными
Коэффициент корреляции вводят для определения статистической взаимосвязи между двумя переменными значениями. При анализе больших объемов данных можно определять взаимоотношения между двумя типами поведения пользователей:
Сторонние данные
Последнее, но не менее важное, — необработанные данные позволяют получать намного больше информации, если подключить другие источники данных. Ниже приведены несколько наглядных примеров:
Данные электронной коммерции. Инструмент приносит наибольшую пользу в том случае, если вы сохраняете идентификатор клиента в Google Analytics, выполнявшим любые действия по добавлению в корзину или оформлению заказа. Это позволит рассчитать точное значение коэффициента конверсии, даже если инструменты Google Analytics не сработали (из-за используемых клиентами блокировщиков рекламы, отсутствия редиректа со страницы оплаты, длительного времени ожидания загрузки страницы и прочих причин). Кроме того, основываясь на собственных данных, вы сможете исключить отмененные целевые действия и возвраты для перерасчета реальной прибыли. Также это позволяет рассчитывать более сложные и закрытые показатели, например, маржу вместо дохода.
Данные CRM. Что может быть хуже, чем то, что в огромном множестве лидов содержится большое количество нерелевантных лидов? Это распространенная проблема для B2B онлайн сервисов. Экспортируя данные CRM с уникальными идентификаторами лидов (идентификатор клиента, зашифрованный с помощью SHA-256 e-mail, сгенерированный идентификатор и прочие), можно легко связывать их с идентификаторами клиентов в Google Analytics. Это позволит рассчитывать не только процент сгенерированных лидов, а и коэффициент конверсии. Для многоканального анализа потребуются более сложные запросы, однако вы сможете полностью контролировать процессы вычислений.
Для проведения такого анализа необходимо собрать информацию и предоставить ее в удобочитаемом формате. Выполнив это, вы будете обладать актуальными и востребованными данными.
Объявления, поисковые роботы, логи – все эти данные следует хранить в едином хранилище.
Научившись сопоставлять их с аналитическими данными, вы сможете воплотить в реальность самые смелые мечты:
Инструменты для извлечения необработанных данных
Информация, представленная выше, говорит в пользу необработанных данных. Но как их получить? Рассмотрим несколько наиболее распространенных способов.
Google Analytics 360
Если вам повезло получить доступ к этому сервису или вы располагаете достаточным бюджетом для оплаты стоимости его использования, в ваших руках находится лучший инструмент для извлечения необработанных данных в Google BigQuery. Он позволяет экспортировать любую информацию, включая расширенные данные электронной коммерции. Каждой строке соответствует определенный сеанс, и вы сможете использовать огромное количество параметров и метрик.
Google Analytics App+Web и Firebase
С недавнего времени веб-аналитики получили возможность экспортировать данные в Google BigQuery без необходимости покупки Google Analytics 360. Firebase, который является ядром Google Analytics App+Web, поддерживает функционал экспорта в Google BigQuery. Вам будет выставлен счет Blaze, который использует подход «оплата по мере использования». Если у вас крупный интернет портал, вам придется следить за своим бюджетом. Для небольших сайтов затраты составят от совсем ничего до всего нескольких долларов в месяц.
Каждой строке соответствует событие, содержащее скрин или просмотр страницы. Вам придется привыкнуть к этому весьма специфическому способу представления данных, который отличается от используемого в Google Analytics. Однако, этот сервис может стать лучшим решением для тех, кто желает использовать необработанные данные.
Прочие бесплатные инструменты: Яндекс.Метрика и Matomo
Я не смог опробовать каждый инструмент, поскольку многие из них являются платными. Каждый из них содержит функционал экспорта необработанных данных. Однако, существует два абсолютно бесплатных онлайн сервиса, которые предлагают тот же функционал и не взимают плату за их использование.
Яндекс.Метрика – абсолютно бесплатный инструмент, который предоставляет доступ к необработанным данным через API его логов. Matomo – инструмент аналитики с открытым исходным кодом, который необходимо устанавливать непосредственно на ваш сервер, на котором находятся файлы сайта. Он экспортирует необработанные данные непосредственно в вашу БД.
Конвейер данных
Еще один способ выгрузки данных Google Analytics непосредственно в ваше хранилище данных – конвейер данных. OWOX BI организовывает мощный поток данных между Google Analytics и BigQuery. Для реализации функционала необходимо создать кастомную задачу в Google Analytics. Он формирует копии полезной нагрузки Google Analytics и переносит в конечное хранилище данных.
Имея достаточный опыт, вы сможете самостоятельно создать собственную конечную точку выгрузки данных с использованием функционала облачного сервиса и на основе анализа лога. Ниже приведены два полезных ресурса, которые помогут вам разобраться в этом:
Симо Ахава – «Как сформировать GTM-монитор». После прочтения этой статьи вы узнаете, как отправлять данные в BigQuery с помощью облачных функций. Объемы передаваемых данных ограничены 100000 строк в секунду, которые можно интегрировать в сервис BigQuery. Если количество строк превышает указанное выше максимальное значение, вам придется группировать данные из нескольких логов.
Справочный центр Google Cloud – «Serverless Pixel Tracking Architecture». В этом источнике рассмотрен механизм создания собственного пикселя отслеживания с последующей интеграцией в BigQuery.
Примеры и частные случаи использования BigQuery
Теперь вы знаете о преимуществах использования необработанных данных и способах получения доступа к ним. Теперь рассмотрим несколько примеров, которые наглядно демонстрируют принципы работы с этими данными.
Установление взаимосвязи между тематиками и целевыми действиями в Google Analytics 360
Анализ был проведен для новостного сайта с онлайн подписчиками. Основная задача анализа состояла в том, чтобы установить взаимосвязь (корреляцию) между тематикой новостей, которые читают пользователи, и выполняемыми целевыми действиями.
Полученный результат и выводы:
corr_culture 0.397
corr_opinion 0.305
corr_lifestyle 0.0468
corr_sport 0.009
Наиболее вероятная категория тех, кто оформит подписку на сайт, — это пользователи, интересующиеся рубриками «Культура» и «Мнения». С другой стороны, если пользователь интересуется рубриками «Стиль жизни» или «Спорт», вероятность оформления им подписки является минимальной.
Когортный анализ с использованием Firebase
Для проведения анализа было взято приложение с регулярно обновляемым контентом и высоким показателем сезонности. Анализ проводится для поиска ответов на следующие вопросы:
Как ведут себя пользователи, которые впервые установили это приложение?
Какой момент времени является наилучшим для привлечения клиентов, которые будут использовать приложение на регулярной основе?
Полученный результат и выводы:
Судя по полученным данным, приложение чаще всего используют клиенты, которые загрузили его впервые в сентябре и декабре.
Выводы
Скорее всего в ближайшем будущем грядут серьезные изменения, и Google App+Web станет чем-то вроде отраслевого стандарта. Этот подход обеспечивает более тесную интеграцию между сервисами Google, такими как Marketing Platform и Google Cloud Platform, и особенно BigQuery. Если вы утратили навыки по созданию SQL-запросов (язык для работы с СУБД), я настоятельно рекомендую вам освежить информацию в своей памяти и потренироваться на практике.
Расширенная цифровая аналитика данных становится все более мощным инструментом благодаря простому доступу к необработанным данным, быстрым и эффективным вычислительным процессам, а также хорошей визуализации информации. В ближайшем будущем будет реализована еще более тесная интеграция с другими типами бизнес-данных.
Уже на протяжении многих лет эксперты утверждают, что цифровая и бизнес аналитика должны работать сообща. Медленно, но уверенно мы идем по пути воплощения этой идеи в реальность.
Data Row Класс
Определение
Некоторые сведения относятся к предварительной версии продукта, в которую до выпуска могут быть внесены существенные изменения. Майкрософт не предоставляет никаких гарантий, явных или подразумеваемых, относительно приведенных здесь сведений.
Представляет строку данных в DataTable.
Примеры
В следующем примере создается новый DataRow путем вызова NewRow метода DataTable объекта.
Комментарии
Конструкторы
Инициализирует новый экземпляр класса DataRow, используя указанный конструктор. Только для внутреннего использования.
Свойства
Получает значение, показывающее, есть ли ошибки в строке.
Получает указанную версию данных, сохраненных в указанном объекте DataColumn.
Возвращает или задает данные, сохраненные в указанном объекте DataColumn.
Получает данные, сохраненные в столбце, указанном по индексу и версии извлекаемых данных.
Возвращает или задает данные, сохраненные в столбце, указанном по индексу.
Получает указанную версию данных, сохраненных в именованном столбце.
Возвращает или задает данные, сохраненные в столбце, указанном по имени.
Возвращает или задает все значения для этой строки с помощью массива.
Возвращает или задает настраиваемое описание ошибки для строки.
Получает текущее состояние строки, относящееся к ее отношению к коллекции DataRowCollection.
Получает объект DataTable, для которого эта строка имеет схему.
Методы
Фиксирует все изменения, внесенные в эту строку со времени последнего вызова метода AcceptChanges().
Начинает операцию изменения объекта DataRow.
Отменяет текущее изменение строки.
Очищает ошибки для строки. Это относится к свойству RowError и ошибкам, установленным с помощью метода SetColumnError(Int32, String).
Прекращает изменение строки.
Определяет, равен ли указанный объект текущему объекту.
Получает дочерние строки этого объекта DataRow с помощью указанного объекта DataRelation.
Получает дочерние строки объекта DataRow с помощью указанных объектов DataRelation и DataRowVersion.
Получает дочерние строки объекта DataRow с помощью указанного свойства RelationName объекта DataRelation.
Получает дочерние строки объекта DataRow с помощью указанного свойства RelationName объектов DataRelation и DataRowVersion.
Получает описание ошибки указанного объекта DataColumn.
Получает описание ошибки для столбца, указанного по индексу.
Получает описание ошибки для столбца, указанного по имени.
Получает массив столбцов с ошибками.
Служит хэш-функцией по умолчанию.
Получает родительскую строку объекта DataRow с помощью указанного объекта DataRelation.
Получает родительскую строку объекта DataRow с помощью указанных объектов DataRelation и DataRowVersion.
Получает родительскую строку объекта DataRow с помощью указанного свойства RelationName объекта DataRelation.
Получает родительскую строку объекта DataRow с помощью указанного свойства RelationName объектов DataRelation и DataRowVersion.
Получает родительские строки объекта DataRow с помощью указанного объекта DataRelation.
Получает родительские строки объекта DataRow с помощью указанных объектов DataRelation и DataRowVersion.
Получает родительские строки объекта DataRow с помощью указанного свойства RelationName объекта DataRelation.
Получает родительские строки объекта DataRow с помощью указанного свойства RelationName объектов DataRelation и DataRowVersion.
Возвращает объект Type для текущего экземпляра.
Получает значение, показывающее, существует ли указанная версия.
Получает значение, показывающее, содержит ли указанный объект DataColumn значение null.
Получает значение, показывающее, содержит ли указанные объекты DataColumn и DataRowVersion значение null.
Получает значение, показывающее, содержит ли столбец по указанному индексу значение null.
Получает значение, показывающее, содержит ли названный столбец значение null.
Создает неполную копию текущего объекта Object.
Отменяет все изменения, внесенные в строку после последнего вызова метода AcceptChanges().
Задает описание ошибки для столбца, указанного как DataColumn.
Задает описание ошибки для столбца, указанного по индексу.
Задает описание ошибки для столбца, указанного по имени.
Задает значение null указанному параметру DataColumn.
Задает родительскую строку DataRow с указанным новым родительским объектом DataRow.
Задает родительскую строку DataRow с указанными новыми родительскими объектами DataRow и DataRelation.
Возвращает строку, представляющую текущий объект.
Методы расширения
Обеспечивает строго типизированный доступ к каждому значению столбца в указанной строке. Метод Field (DataRow, DataColumn) также поддерживает типы, допускающие значения null.
Обеспечивает строго типизированный доступ к каждому значению столбца в указанной строке. Метод Field (DataRow, DataColumn, DataRowVersion) также поддерживает типы, допускающие значения null.
Обеспечивает строго типизированный доступ к каждому значению столбца в указанной строке. Метод Field (DataRow, Int32) также поддерживает типы, допускающие значения null.
Обеспечивает строго типизированный доступ к каждому значению столбца в указанной строке. Метод Field (DataRow, Int32, DataRowVersion) также поддерживает типы, допускающие значения null.
Обеспечивает строго типизированный доступ к каждому значению столбца в указанной строке. Метод Field (DataRow, String) также поддерживает типы, допускающие значения null.
Обеспечивает строго типизированный доступ к каждому значению столбца в указанной строке. Метод Field (DataRow, String, DataRowVersion) также поддерживает типы, допускающие значения null.
Задает новое значение для указанного столбца в DataRow. Метод SetField (DataRow, DataColumn, T) также поддерживает типы, допускающие значения null.
Задает новое значение для указанного столбца в вызванном методе DataRow. Метод SetField (DataRow, Int32, T) также поддерживает типы, допускающие значения null.
Задает новое значение для указанного столбца в DataRow. Метод SetField (DataRow, String, T) также поддерживает типы, допускающие значения null.
Применяется к
Потокобезопасность
Этот тип является надежным для многопоточных операций чтения. Необходимо синхронизировать любые операции записи.