power qwerty excel что это

Что такое Power Query?

Power Query — это преобразование данных и подсистема подготовки данных. Power Query поставляется с графическим интерфейсом для получения данных из источников и редактором Power Query для применения преобразований. Так как ядро доступно во многих продуктах и службах, место хранения данных зависит от того, где будет использоваться Power Query. С помощью Power Query можно выполнить обработку данных для извлечения, преобразования и загрузки (ETL).

схема с символьными источниками данных справа, передача Power query для преобразования, а затем переход к различным назначениям, таким как Azure Data Lake Storage, инверсия, Microsoft Excel или Power BI.

Как Power Query помогает при получении данных

Бизнес-пользователи тратят до 80 % времени на подготовку данных, что откладывает работу по анализу и принятии решений. В этом случае возникает несколько трудностей, и Power Query помогает решить многие из них.

Power Queryные возможности

Power Query взаимодействие с пользователем осуществляется с помощью пользовательского интерфейса редактора Power Query. Цель этого интерфейса — помочь вам применить необходимые преобразования, просто взаимодействуя с удобным для пользователя набором лент, меню, кнопками и другими интерактивными компонентами.

Редактор Power Query — это основной процесс подготовки данных, позволяющий подключаться к широкому спектру источников данных и применять сотни различных преобразований данных путем предварительного просмотра данных и выбора преобразований из пользовательского интерфейса. Эти возможности преобразования данных являются общими для всех источников данных, независимо от ограничений базовых источников данных.

При создании нового шага преобразования путем взаимодействия с компонентами интерфейса Power Query Power Query автоматически создает код M, необходимый для преобразования, поэтому вам не нужно писать какой-либо код.

В настоящее время доступны два Power Queryные возможности:

Несмотря на то, что существует два Power Queryных опыта, они предоставляют практически одинаковый пользовательский интерфейс в каждом сценарии.

Преобразования

Модуль преобразования в Power Query включает множество встроенных функций преобразования, которые можно использовать в графическом интерфейсе редактора Power Query. Эти преобразования могут быть простыми, например удалением столбца или фильтрацией строк, или, как правило, при использовании первой строки в качестве заголовка таблицы. Существуют также дополнительные параметры преобразования, такие как слияние, добавление, группирование, сведение и отмена свертывания.

Все эти преобразования становятся возможными благодаря выбору параметра преобразование в меню, а затем применению параметров, необходимых для этого преобразования. На следующем рисунке показаны некоторые преобразования, доступные в редакторе Power Query.

Потоки данных

Power Query могут использоваться во многих продуктах, таких как Power BI и Excel. Однако использование Power Query в рамках продукта ограничивает его использование только этим конкретным продуктом. Потоки данных — это зависящая от продукта версия службы Power Query интерфейсе, которая выполняется в облаке. используя потоки данных, можно получать данные и преобразовывать данные таким же образом, но вместо отправки выходных данных в Power BI или Excel можно сохранить выходные данные в других вариантах хранения, таких как «инверсия» или «Azure Data Lake Storage. Таким образом, можно использовать выходные данные потоков данных в других продуктах и службах.

Язык формул Power Query M

В любом сценарии преобразования данных существуют некоторые преобразования, которые не могут быть выполнены наилучшим образом с помощью графического редактора. Для некоторых из этих преобразований могут потребоваться специальные настройки и параметры, которые в настоящее время не поддерживаются графическим интерфейсом. Ядро Power Query использует язык сценариев в фоновом режиме для всех Power Query преобразований: язык формул Power Query M, также известный как M.

Язык M — это язык преобразования данных Power Query. Все, что происходит в запросе, в конечном итоге написано в M. Если вы хотите выполнять расширенные преобразования с помощью подсистемы Power Query, можно использовать Расширенный редактор для доступа к скрипту запроса и изменить его по своему мере. Если вы обнаружите, что функции и преобразования пользовательского интерфейса не будут выполнять нужные изменения, используйте Расширенный редактор и язык M для точной настройки функций и преобразований.

Где можно использовать Power Query?

В следующей таблице перечислены продукты и службы Майкрософт, где можно найти Power Query.

Источник

Что такое Power Query / Pivot / Map / View / BI и зачем они пользователю Excel

Термины «Power Query», «Power Pivot», «Power BI» и прочие «пауэры» все чаще всплывают в статьях и материалах о Microsoft Excel. По моему опыту, далеко не все ясно представляют себе что скрывается за этими понятиями, как они между собой взаимосвязаны и как могут помочь простому пользователю Excel.

Давайте проясним ситуацию.

Power Query

Power Query встречается в двух вариантах: как отдельная надстройка для Excel 2010-2013, которую можно скачать с официального сайта Microsoft и как часть Excel 2016. В первом случае после установки в Excel появляется отдельная вкладка:

В Excel 2016 весь функционал Power Query уже встроен по умолчанию и находится на вкладке Данные (Data) в виде группы Получить и преобразовать (Get & Transform) :

Возможности этих вариантов совершенно идентичны.

Основное окно Power Query обычно выглядит примерно так:

Power Pivot

Общие принципы работы в Power Pivot следующие:

Главное окно Power Pivot выглядит примерно так:

А так выглядит Модель Данных, т.е. все загруженные таблицы с созданными связями:

У Power Pivot есть ряд особенностей, делающих её уникальным инструментом для некоторых задач:

К сожалению, пока что Power Pivot входит не во все версии Excel. Если у вас Excel 2010, то скачать её можно бесплатно с сайта Microsoft. А вот если у вас Excel 2013-2016, то всё зависит от вашей лицензии, т.к. в некоторых вариантах она включена (Office Pro Plus, например), а в некоторых нет (Office 365 Home, Office 365 Personal и т.д.) Подробнее об этом можно почитать тут.

Power Maps

Эта надстройка впервые появилась в 2013 году и первоначально называлась GeoFlow. Она предназначена для визуализации гео-данных, т.е. числовой информации на географических картах. Исходные данные для отображения берутся все из той же Модели Данных Power Pivot (см. предыдущий пункт).

Ключевые особенности Power Map:

Power View

Выглядеть это будет примерно так:

На сайте Microsoft, кстати, есть весьма приличный обучающий курс по Power View на русском языке.

Power BI

В Power BI Desktop можно:

Выглядит это примерно так:

На iPhone, например, созданный выше отчет выглядит так:

Источник

О Power Query в Excel

С помощью Power Query (в предыдущих версиях Excel & преобразование данных) можно импортировать или подключиться к внешним данным, а затем сформировать их, например удалить столбец, изменить тип данных или объединить таблицы в нужном виде. Затем вы можете загрузить запрос в Excel, чтобы создавать диаграммы и отчеты. Периодически обновляйте данные, чтобы обновить их.

Power Query можно использовать в четыре этапа.

Подключение Подключение к данным в облаке, в службе или локально

Преобразование Данные фигуры должны соответствовать вашим потребностям, а исходный источник остается без изменений

Объединить Интеграция данных из нескольких источников для получения уникального представления данных

Загрузить Заполните запрос и загрузите его на таблицу или в модель данных и периодически обновляйте его.

Рассмотрим каждый этап более подробно. В заключительном разделе содержится история работы Power Query в Excel. Общие сведения по всем темам справки по Power Query см. в справке Power Query для Excel.

С помощью Power Query можно импортировать данные в один источник данных, например в книгу Excel, или в несколько баз данных, веб-каналов или служб, расположенных в облаке. К источникам данных относятся данные из Интернета, файлов, баз данных, таблиц Azure и даже таблиц Excel в текущей книге. С помощью Power Query вы сможете собрать все эти источники данных, используя собственные уникальные преобразования и сочетания для анализа информации, которая в противном случае была бы не видна.

После импорта вы можете обновить данные, чтобы внести в них дополнения, изменения и удалить их из внешнего источника. Дополнительные сведения см. в теме «Обновление подключения к внешним данным в Excel».

Преобразование данных означает внесение в них изменений в зависимости от требований к их анализу. Например, можно удалить столбец, изменить тип данных или отфильтровать строки. Каждая из этих операций — это преобразование данных. Этот процесс применения преобразований (и объединения) к одному или несколько наборам данных также называется формированием данных.

Это можно обдумать так. Вазу начинается как единое обилие, которое превратилось в одну фигуру в практический и красивый. Данные одинаковы. Она должна формироваться в таблицу, подходящую для ваших потребностей и которая позволяет использовать привлекательные отчеты и панели мониторинга.

Power Query использует выделенное окно, называемое редактором Power Query, для упрощения и отображения преобразований данных. Чтобы открыть редактор Power Query, выберите редактор запросов запуска в группе «Получить данные» в группе «Пуск & Преобразование данных», но он также откроется при подключении к источнику данных, создании запроса или загрузке запроса.

Редактор Power Query отслеживает все ваши работы с данными, записывая и пометив каждое преобразование или шаг, которые вы применяйте к данным. Независимо от того, является ли преобразование подключением к данным, удалением столбцов, слиянием или изменением типа данных, каждое преобразование можно просмотреть и изменить в разделе APPLIED STEPS области «Параметры запроса».

В пользовательском интерфейсе можно внести множество преобразований. Каждое преобразование записуется в качестве шага в фоновом режиме. Вы даже можете изменить и написать собственные действия с помощью языка Power Query M в расширенный редактор.

Все преобразования, которые применяются к вашим подключениям к данным, в совокупности образуют запрос, который представляет исходный (без изменений) источник данных. При обновлении запроса каждый шаг выполняется автоматически. Запросы заменяют необходимость вручную подключать и формировать данные в Excel.

Вы можете объединить несколько запросов в книге Excel путем их слияния или объединения. Операции «Приложение» и «Слияние» выполняются с любым запросом в виде таблицы и не зависят от источников данных.

«Приложение» При операции создания запроса создается новый запрос, содержащий все строки из первого запроса, за которым следуют все строки из второго запроса. Операции с приложением можно выполнять двумя типами:

Промежуточная досье Создает новый запрос для каждой операции.

Inline Append Данные будут сданы в существующем запросе, пока вы не дойдете до конечного результата.

Слияние Операция слияния создает новый запрос на основе двух существующих запросов. Этот запрос содержит все столбцы главной таблицы, один из них служит ссылкой на связанную таблицу. Связанная таблица содержит все строки, которые соответствуют каждой строке из общего значения столбца в главной таблице. Более того, столбцы из связанной таблицы можно расширить или добавить в главную.

Существует два основных способа загрузки запросов в книгу:

В редакторе Power Query можно использовать команды «Закрыть» и «Загрузить» в группе «Закрыть» на вкладке «Главная».

В области «Запросы книги Excel» («Выбор запросов и & подключений») щелкните запрос правой кнопкой мыши и выберите «Загрузить в».

Кроме того, вы можете настроить параметры загрузки в диалоговом окне «Параметры запроса» (выберите «Параметры файла> и параметры > Параметры запроса»), чтобы выбрать способ просмотра данных и место их загрузки на компьютере или в модель данных (реляционный источник данных из нескольких таблиц, которые находятся в книге).

Интеграция данных & (power Query) с Excel за годы внося изменения.

Excel 2010 и 2013 для Windows

В Excel 2010 для Windows мы впервые представили Power Query, и он был доступен как бесплатная надстройка, которую можно скачать здесь: скачайте надстройки Power Query. После включения функции Power Query были доступны на вкладке Power Query на ленте.

Мы обновили Power Query, чтобы сделать его основным в Excel для импорта и очистки данных. Вы можете получить доступ к мастерам и инструментам импорта данных Power Query в группе «& Преобразовать данные» на вкладке «Данные» ленты Excel.

В этом режиме были улучшены функции импорта данных, переустановка команд на вкладке «Данные», новая боковая & запросы и возможность формировать данные с помощью сортировки, изменения типов данных, разделения столбцов, агрегирования данных и так далее.

Этот новый опыт также заменил старые мастеры импорта данных, которые были заменены командой «Данные» в группе «Внешние данные». Однако доступ к ним по-прежнему можно получить в диалоговом окне «Параметры Excel» (выберите «Параметры файла> Параметры > Данные> Показать устаревшие мастеры импорта данных).)

Excel 2016 и 2019 для Windows

Мы добавили тот же & » Get & Transform Data» с учетом технологии Power Query, что и в Microsoft 365.

Excel для Microsoft 365 для Mac

В 2019 г. мы начали работу по поддержке Power Query в Excel для Mac. С этого момента мы добавили возможность обновлять запросы Power Query из TXT-, CSV-, XLSX-, JSON- и XML-файлов. Мы также добавили возможность обновления данных с SQL сервера и из таблиц & диапазонов в текущей книге.

В октябре 2019 г. мы добавили возможность обновлять существующие запросы Power Query и использовать VBA для создания и изменения новых запросов.

В январе 2021 г. мы добавили поддержку обновления запросов Power Query из источников OData и SharePoint.

Примечание Power Query не поддерживается в Excel 2016 и Excel 2019 для Mac.

Депрекация каталога данных

С помощью каталога данных можно просмотреть общие запросы, а затем выбрать их для загрузки, редактирования или использования в текущей книге. Эта функция постепенно была неподготовлена к:

1 августа 2018 г. мы прекратили передачу новых клиентов в каталог данных.

3 декабря 2018 г. пользователи не могли делиться новыми или обновленными запросами в каталоге данных.

4 марта 2019 г. каталог данных перестал работать. После этой даты мы рекомендуем скачать общие запросы, чтобы вы могли продолжать использовать их за пределами каталога данных, используя параметр «Открыть» в области задач «Запросы моего каталога данных».

Отключение надстройки Power Query

В начале 2019 г. мы официально не добавили надстройки Power Query, необходимую для Excel 2010 и 2013 для Windows. Во время пользования надстройка может быть вам предоставлена, но впоследствии она может измениться.

Неавторяемая соединитела данных Facebook

Импорт и обновление данных из Facebook в Excel прекращены в апреле 2020 г. Все подключения к Facebook, созданные до этой даты, больше не работают. Мы рекомендуем как можно скорее исправить или удалить существующие запросы Power Query, которые используют соединител Facebook, чтобы избежать непредвиденных результатов.

Источник

Power Query: стероиды для MS Excel и Power BI

В данной статье я хочу рассказать о некоторых возможностях бесплатной и крайне полезной, но пока еще мало известной надстройки над MS Excel под названием Power Query.

Power Query позволяет забирать данные из самых разных источников (таких как csv, xls, json, текстовых файлов, папок с этими файлами, самых разных баз данных, различных api вроде Facebook opengraph, Google Analytics, Яндекс.Метрика, CallTouch и много чего еще), создавать повторяемые последовательности обработки этих данных и загружать их внутрь таблиц Excel или самого data model.

И вот под катом вы можете найти подробности всего этого великолепия возможностей.

Совместимость и технические подробности

Power Query доступен бесплатно для всех версий Windows Excel 2010, 2013 и встроен по умолчанию в Windows Excel 2016. Для пользователей MacOS X Power Query недоступен (впрочем, даже без этого маковский Excel отвратителен на ощупь и продвинутые пользователи, включая меня, чаще всего работают с нормальным Excel через Parallels или запуская его на удаленной виндовой машинке).

Также, Power Query встроен в новый продукт для бизнес аналитики — Power BI, а еще, ходят слухи, что Power Query будет появляться и в составе других продуктов от Microsoft. Т.е. Power Query ждет светлое будущее и самое время для адептов технологий Microsoft (и не только) заняться его освоением.

Как оно работает

После установки Power Query в интерфейсе Excel 2010–2013 появляется отдельная одноименная вкладка.

В новом Excel 2016 функционал Power Query доступен на вкладке Data (данные), в блоке “Get & Transform”.

Сначала, в интерфейсе Excel мы выбираем конкретный источник данных, откуда нам их нужно получить, и перед нами открывается окошко самого Power Query с предпросмотром первых строчек загруженных данных (область 1). В верхней части окошка располагается Ribbon с командами по обработке данных (область 2). И в правой части экрана (область 3) у нас расположена панель с последовательностью всех действий, которые применяются к данным.

Возможности Power Query

У Power Query очень много возможностей и я хочу остановиться на некоторых из числа моих любимых.

Как я уже писал выше, Power Query замечателен тем, что позволяет подключаться к самым разным источникам данных. Так он позволяет загружать данные из CSV, TXT, XML, json файлов. Притом процесс выбора опций загрузки тех-же CSV файлов гибче и удобнее, чем он реализован штатными средствами Excel: кодировка автоматически выбирается часто правильно и можно указать символ разделителя столбцов.

Объединение файлов лежащих в папке

Power Query умеет забирать данные из указанной папки и объединять их содержимое в единые таблицы. Это может быть полезно, например, если вам периодически приходят какие-то специализированные отчеты за отдельный промежуток времени, но данные для анализа нужны в общей таблице. Гифка

Текстовые функции

Числовые функции

К столбцам с числовыми значениями по нажатию на кнопки на Ribbon можно применять:

Функции для работы с датами, временем и продолжительностью

К столбцам со значениями даты и времени по нажатию на кнопки на Ribbon можно применять:

Unpivot — Pivot

В интерфейсе Power Query есть функция “Unpivot”, которая в один клик позволяет привести данные с одной метрикой разложенные по столбцам по периодам к форме, которая будет удобна для использования в сводных таблицах (понимаю что трудно написал — смотрите пример). Также, есть функция с обратным действие Pivot. Гифка

Функция ВПР (VLOOKUP) одна из наиболее используемых функций в MS Excel. Она позволяет подтягивать данные в одну таблицу из другой таблицы по единому ключу. И вот как раз для этой функции в Power Query есть гораздо более удобная альтернатива — операция Merge. При помощи этой операции соединение таблиц нескольких таблиц в одну по ключу (по простому или по составному ключу, когда соответствие нужно находить по нескольким столбцам) выполняется буквально в 7 кликов мыши без ввода с клавиатуры.

Операция Merge — это аналог join в sql, и ее можно настроить чтобы join был разных типов — Inner (default), Left Outer, Right Outer, Full Outer.

Upd.Мне тут подсказали, что Power Query не умеет делать Aproximate join, а впр умеет. Чистая правда, из коробки альтернатив нет. Гифка

Подключение к различным базам данных. Query Folding.

Power Query также замечателен тем, что умеет цепляться к самым разным базам данных — от MS SQL и MySQL до Postgres и HP Vertica. При этом, вам даже не нужно знать SQL или другой язык базы данных, т.к. предпросмотр данных отображается в интерфейсе Power Query и все те операции, которые выполняются в интерфейсе прозрачно транслируются в язык запросов к базе данных.

А еще в Power Query есть понятие Query Folding: если вы подключены к совместимой базе данных (на текущий момент это MS SQl), то тяжелые операции по обработке данных Power Query будет стараться выполнить на серверной стороне и забирать к себе лишь обработанные данные. Эта возможность радикально улучшает быстродействие многих обработок.

Язык программирования “М”

Надстройка Power Query — это интерпретатор нового, скриптового, специализированного для работы с данными, языка программирования М.

На каждое действие, которое мы выполняем с данными в графическом интерфейсе Power Query, в скрипт у нас пишется новая строчка кода. Отражая это, в панели с последовательностью действий (область 3), создается новый шаг с говорящим названием. Благодаря этому, используя панель с последовательностью действий, мы всегда можем посмотреть как выглядят у нас данные на каждом шаге обработки, можем добавить новые шаги, изменить настройки применяемой операции на конкретном шаге, поменять их порядок или удалить ненужные шаги. Гифка

Также, мы всегда можем посмотреть и отредактировать сам код написанного скрипта. И выглядеть будет он примерно так:

Язык M, к сожалению, не похож ни на язык формул в Excel, ни на MDX и, к счастью, не похож на Visual Basic. Однако, он очень прост в изучении и открывает огромные возможности по манипуляции данными, которые недоступны с использованием графического интерфейса.

Загрузка данных из Яндекс.Метрики, Google Analytics и прочих Api

Немного овладев языком “M” я смог написать программки в Power Query, которые умеют подключаться к API Яндекс.Метрики и Google Analytics и забирать оттуда данные с задаваемыми настройками. Программки PQYandexMetrika и PQGoogleAnalytics я выложил в опенсорс на гитхаб под лицензией GPL. Призываю пользоваться. И я буду очень рад, если эти программы будут дорабатываться энтузиастами.

Для Google Analytics подобного рода экспортеров в разных реализациях достаточно много, но вот для Яндекс.Метрики, насколько я знаю, мой экспортер был первым публично доступным, да еще и бесплатным 🙂

Power Query умеет формировать headers для post и get запросов и забирать данные из интернета. Благодаря этому, при должном уровне сноровки, Power Query можно подключить практически к любым API. В частности, я для своих исследований дергаю данные по телефонным звонкам клиентов из CallTouch API, из API сервиса по мониторингу активности за компьютером Rescuetime, занимаюсь парсингом нужных мне веб-страничек на предмет извлечения актуальной информации.

Еще раз про повторяемость и про варианты применения

Как я уже писал выше, скрипт Power Query представляет собой повторяемую последовательность манипуляций, применяемых к данным. Это значит, что однажды настроив нужную вам обработку вы сможете применить ее к новым файлам изменив всего один шаг в скрипте — указав путь к новому файлу. Благодаря этому можно избавиться от огромного количества рутины и освободить время для продуктивной работы — анализа данных.

Я занимаюсь веб-аналитикой и контекстной рекламой. И так уж получилось, что с момента, как я познакомился с Power Query в ее интерфейсах я провожу больше времени, чем в самом Excel. Мне так удобнее. Вместе с тем возросло и мое потребление другой замечательной надстройки в MS Excel — PowerPivot.

Вот bi систему, про которую я рассказывал на Yac/M 2015 (видео) я делал полнстью при помощи Power Query и загружал данные внутрь PowerPivot.

Пару слов про локализацию

На сайте Microsoft для пользователей из России по умолчанию скачивается Power Query с переведенным на русским язык интерфейсом. К счастью, локализаторы до перевода на русский языка программирования (как это сделано с языком формул в excel) не добрались, однако жизнь пользователям неоднозначными переводами сильно усложнили. И я призываю вас скачивать, устанавливать и пользоваться английской версией Power Query. Поверьте, она будет гораздо понятнее.

Источник