python sdk что это
Использование библиотек Azure (пакет SDK) для Python
Библиотеки Azure для Python с открытым кодом упрощают подготовку, администрирование и использование ресурсов Azure из кода приложения Python.
Основные сведения
Библиотеки Azure позволяют обмениваться данными со службами Azure из кода Python, который выполняется локально или в облаке. Возможность запуска кода Python в области действия отдельной службы зависит от того, поддерживает ли такая служба Python.
Библиотеки поддерживают Python 2.7 и Python 3.6 или последующих версий. Также тестировалась их работа с PyPy 5.4 и последующих версий.
В пакете Azure SDK содержится более 180 библиотек Python, которые предназначены для определенных служб Azure. В пакете SDK нет других средств.
При локальном выполнении кода для аутентификации с Azure используются переменные среды, описанные в статье Настройка локальной среды разработки.
команду using Names из conda install
В пакете есть библиотеки двух типов: библиотеки управления и клиентские библиотеки (также называются библиотеками «плоскости управления» и «плоскости данных»). Каждый тип имеет свое предназначение и используется с разными видами кода. Дополнительные сведения приведены в следующих разделах этой статьи:
Документация по библиотекам доступна в Справочнике по Azure для Python, который упорядочен по службам Azure, или в Обозревателе API Python, который упорядочен по именам пакетов. Чтобы найти сведения о нужных классах и методах, сейчас потребуется выполнить не один переход со страницы на страницу. Заранее приносим извинения за эти неудобства. Сейчас мы стараемся оптимизировать структуру документации.
Демонстрационные видео см. здесь: Introducing the Azure SDK for Python (Представляем Azure SDK для Python) (с конференции PyCon 2021) и Using Azure SDKs to interact with Azure resource (Использование Azure SDK для взаимодействия с ресурсами Azure) (с конференции PyCon 2020).
Дополнительные сведения
Поскольку интерфейс командной строки (CLI) Azure написан на языке Python с использованием библиотек управления, любые действия с командами Azure CLI можно также выполнить с помощью скрипта Python. С другой стороны, команды CLI обеспечивают ряд полезных возможностей, таких как одновременное выполнение нескольких задач, автоматическая обработка асинхронных операций, форматирование выходных данных, например строк подключения, и т. д. Следовательно, использование CLI (или его аналога — Azure PowerShell) для автоматизированной подготовки и администрирования скриптов может быть значительно удобнее, чем написание кода Python для выполнения этих функций, если только вам не требуется более строгий контроль над процессом.
Библиотеки Azure для Python построены поверх REST API Azure, что позволяет использовать эти API с помощью привычных парадигм Python. Но при необходимости вы всегда можете использовать REST API непосредственно из кода Python.
Исходный код библиотек Azure доступен по адресу https://github.com/Azure/azure-sdk-for-python. Так как это проект с открытым кодом, все желающие могут внести свой вклад.
Библиотеки можно использовать с интерпретаторами, такими как IronPython и Jython, с которыми они не тестировались, но при этом вы можете столкнуться с отдельными проблемами и несовместимостью.
Исходный репозиторий справочной документации по API библиотеки находится на https://github.com/MicrosoftDocs/azure-docs-sdk-python/.
Сейчас мы обновляем библиотеки, входящие в библиотеку Azure для Python, пополняя их облачными шаблонами для распространенных задач, таких как использование протоколов проверки подлинности, ведение журналов, трассировка, поддержка транспортных протоколов, буферизация ответов и выполнение повторных попыток.
Эта общая функциональная возможность содержится в библиотеке azure-core.
Библиотеки, которые сейчас используются с основной библиотекой, доступны на странице последних выпусков пакета Azure SDK для Python. Это в основном клиентские библиотеки, также известные как track 2.
Библиотеки управления и все другие библиотеки, которые известны как track 1, пока не обновлялись.
Дополнительные сведения о рекомендациях по библиотекам см. в Руководстве по Python: введение.
Подготовка и администрирование ресурсов Azure с помощью библиотек управления
С помощью библиотек управления можно создавать скрипты конфигурации и развертывания для выполнения тех же задач, которые можно реализовать на портале Azure или с помощью Azure CLI. (Как отмечалось ранее, интерфейс командной строки Azure написан на Python и использует библиотеки управления для реализации различных команд.)
В приведенных ниже примерах показано, как использовать некоторые основные библиотеки управления:
Дополнительные сведения о работе с каждой библиотекой управления см. в файле README.md или README.rst, расположенном в папке проекта библиотеки в репозитории GitHub пакета SDK. Дополнительные фрагменты кода также можно найти в справочной документации и в разделе с примерами для Azure.
Миграция из более ранних версий библиотек управления
Если выполняется перенос кода из более ранних версий библиотек управления, см. следующие сведения:
Подключение к ресурсам Azure и работа с ними с помощью клиентских библиотек
С помощью клиентских библиотек (или библиотеки «плоскости данных») из пакета SDK можно создавать код приложений Python для взаимодействия с уже подготовленными службами. Клиентские библиотеки доступны только для тех служб, которые поддерживают API клиента.
В статье с примером использования службы хранилища Azure дается базовая иллюстрация использования клиентской библиотеки.
Для разных служб Azure также представлены примеры использования этих библиотек. Дополнительные ссылки см. на следующих страницах индекса:
Дополнительные сведения о работе с каждой клиентской библиотекой см. в файле README.md или README.rst, расположенном в папке проекта библиотеки в репозитории GitHub пакета SDK. Дополнительные фрагменты кода также можно найти в справочной документации и в разделе с примерами для Azure.
Получение справки и связь с разработчиками SDK
Следующий шаг
Мы настоятельно рекомендуем выполнить однократную настройку локальной среды разработки, чтобы вы могли легко использовать любую из библиотек Azure для Python.
Русские Блоги
Использование OAS-Python SDK
Использование OAS-Python SDK
Когда количество файлов, для которых необходимо выполнить резервное копирование и архивирование в OAS, очень велико, его невозможно завершить с помощью веб-консоли и инструментов командной строки. В настоящее время необходимо использовать SDK, предоставленный OAS, для написания кода операции для реализации. SDK включает в себя Python SDK и Java SDK. Эта статья в основном объясняет Python SDK. Для использования Java SDK, пожалуйста, обратитесь к официальной документации.Инструменты разработчикаИ [лучшие практики] (https://docs.aliyun.com/?spm=5176.383338.201.102.NNmH36#/pub/oas/best_practice/java_sdk_demo
)。
Используйте требования
Обзор Python SDK
Низкоуровневый интерфейс является наиболее прямой инкапсуляцией API и должен сравниваться при использовании низкоуровневого интерфейса.Руководство пользователя APIДля разработки вам необходимо внимательно прочитать руководство по API. Необходимо четко понимать различные параметры, описанные в API, поэтому оно гибкое, но неэффективное.
Высокоуровневый интерфейс представляет собой инкапсуляцию низкоуровневого интерфейса, который уменьшает объем обучения пользователя, повышает эффективность разработки, а код более понятен, чем низкоуровневый интерфейс, поэтому официально рекомендуется, чтобы обычные пользователи использовали высокоуровневый интерфейс. В некоторых местах высокоуровневый интерфейс не является гибким. Используйте низкоуровневые интерфейсы.
Весь код в этой статье написан на основе высокоуровневого интерфейса Python SDK.
Препараты
В соответствии с требованиями использования, мне нужно подготовить файлы для загрузки и настройки.
Напишите функцию для генерации необходимых файлов:
Используйте простой файл конфигурации для хранения конфигурации, а затем прочитайте этот файл конфигурации:
Используйте следующий код для чтения конфигурации:
Использование Python SDK
Несколько важных объектов в Python SDK
Высокоуровневый интерфейс Python SDK абстрагирует несколько важных объектов: Vault, Uploader и Job. Использование этих трех объектов может в основном выполнять общие задачи. На самом деле, Vault является точкой входа для всех операций. Чтобы выразиться более прямо, нам нужно импортировать только два пакета при использовании Python SDK:
Объекты Uploader и Job генерируются в методе класса Vault.
Важный метод
Инициализировать многочастную загрузку
Далее используются эти объекты и методы для выполнения требуемой работы.
Код реализации
Примечание:
Информация метаданных OAS не обновляется в реальном времени, а планирование заданий является асинхронным, поэтому вся программа не возвращается немедленно и может блокироваться в течение длительного времени, поэтому рекомендуется писать программу как Damon.
Код содержит файл конфигурации (хост конфигурации, идентификатор, ключ и т. Д.), Сгенерированный код файла и код использования OAS SDK.Кроме того, предоставляется функция демона Python, которая демонтируется с помощью функции демона. Скрипт поместит промежуточную информацию в журнал.
Содержание журнала:
Загруженный файл:
резюме
После прочтения руководства по API и четкого понимания работы всей системы, обращаясь к образцу кода и документации SDK к официальному документу, очень легко начать использовать службы OAS.
Начало работы со службой «Машинное обучение Azure» с использованием пакета SDK для Python
В рамках этой статьи будет использоваться пакет SDK для Машинного обучения Azure для Python 3 для создания и применения рабочей области Службы машинного обучения Azure. Эта рабочая область — основной блок в облаке для экспериментов, обучения и развертывания моделей машинного обучения с помощью Машинного обучения Azure.
Вы начнете с настройки собственного окружения Python и сервера Jupyter Notebook. Сведения о запуске без установки см. в статье Краткое руководство. Начало работы со Службой машинного обучения Azure с помощью портала Azure.
В этом кратком руководстве вы:
Вы создаете рабочую область и ее файл конфигурации, которые можно использовать как необходимые компоненты для работы с другими руководствами и статьями с инструкциями по Машинному обучению. Как в случае с другими службами Azure, со службой «Машинное обучение Azure» связаны определенные ограничения и квоты. Узнайте больше о квотах и способах отправки запросов на получение дополнительных квот.
Следующие ресурсы Azure добавляются автоматически в рабочую область, если они доступны в вашем регионе:
Для выполнения кода из этой статьи требуется пакет SDK для Машинного обучения Azure 1.0.2 или более поздней версии. Код был протестирован с версией 1.0.8.
Если у вас еще нет подписки Azure, создайте бесплатную учетную запись Azure, прежде чем начинать работу. Опробуйте бесплатную или платную версию Службы машинного обучения Azure.
Установка пакета SDK
Пропустите этот раздел, если вы используете Виртуальную машину для обработки и анализа данных Azure или Azure Databricks.
Прежде чем устанавливать пакет SDK, сначала рекомендуется создать изолированную среду Python. Хотя в этой статье используется Miniconda, также можно использовать полностью установленное средство Anaconda или Python virtualenv.
Установка Miniconda
Скачайте и установите Miniconda. Выберите Python 3.7 или более поздней версии для установки. Не выбирайте версию Python 2.x.
Создание изолированной среды Python
Откройте окно командной строки, а затем создайте среду conda с именем myenv и установите Python 3.6. Пакет SDK для Машинного обучения Azure будет работать с Python 3.5.2 или более поздней версии, но автоматические компоненты машинного обучения не полностью функциональны на Python 3.7.
Установка пакета SDK
В активированной среде conda установите основные компоненты пакета SDK для Машинного обучения Azure с возможностями записной книжки Jupyter. Установка занимает несколько минут в зависимости от конфигурации компьютера.
Установите сервер Jupyter Notebook в среде conda.
Чтобы использовать эту среду для учебников по Машинному обучению Azure, установите следующие пакеты.
Чтобы использовать эту среду для учебников по Машинному обучению Azure, установите автоматические компоненты машинного обучения.
Создание рабочей области
Создайте рабочую область в Jupyter Notebook с помощью пакета SDK для Python.
Создайте каталог, который вы хотите использовать для краткого руководства и учебников, или перейдите к нему.
Чтобы запустить Jupyter Notebook, введите эту команду:
Чтобы просмотреть версию пакета SDK, введите следующий код Python в ячейку записной книжки и выполните его.
Найдите значение для параметра в списке подписок на портале Azure. Используйте любую подписку, в которой вам предоставлена роль владельца или участника.
При выполнении кода вам может быть предложено войти в учетную запись Azure. Когда вы войдете в систему, маркер проверки подлинности будет кэширован локально.
Чтобы просмотреть сведения о рабочей области, например связанное хранилище, реестр контейнеров и хранилище ключей, введите следующий код.
Запись файла конфигурации
Сохраните сведения рабочей области в файле конфигурации в текущем каталоге. Этот файл называется aml_config\config.json.
Этот файл конфигурации рабочей области упрощает дальнейшую загрузку этой же рабочей области. Вы можете загрузить ее с помощью других записных книжек и скриптов в том же каталоге или подкаталоге.
Этот вызов API write_config() позволяет создать файл конфигурации в текущем каталоге. Файл config.json содержит следующее:
Используйте рабочую область
Запустите код, использующий базовые интерфейсы API пакета SDK для отслеживания нескольких экспериментальных запусков.
Просмотр зарегистрированных результатов
После завершения выполнения сведения об экспериментальном запуске можно просмотреть на портале Azure. Чтобы вывести URL-адрес расположения с результатами последнего запуска, используйте следующий код.
Используйте ссылку, чтобы просмотреть в браузере зарегистрированные в журнале значения на портале Azure.
Очистка ресурсов
Созданные ресурсы могут использоваться в качестве необходимых компонентов при работе с другими руководствами по Машинному обучению Azure.
Если вы не планируете использовать ресурсы, созданные в этой статье, удалите их, чтобы плата не взималась.
Дополнительная информация
В этой статье вы создали ресурсы для экспериментирования и развертывания моделей. Кроме того, вы запускали код в записной книжке и изучали журнал выполнения из этого кода в вашей рабочей области в облаке.
Что собой представляет пакет SDK службы «Машинное обучение Azure»для Python?
Используя пакет Python SDK для службы «Машинное обучение Azure», специалисты по обработке и анализу данных и разработчики ИИ создают и запускают рабочие процессы машинного обучения с помощью службы «Машинное обучение Azure». Вы можете взаимодействовать со службой в любой среде Python, в том числе в Jupyter Notebook, Visual Studio Code или предпочитаемой среде IDE Python.
Основные области применения пакета SDK:
Пошаговые инструкции по началу работы см. в этом руководстве.
В следующих разделах описано несколько наиболее важных классов из пакета SDK и распространенные конструктивные шаблоны для их использования. Чтобы получить пакет SDK, обратитесь к руководству по установке.
Рабочая область
Класс Workspace — основной облачный ресурс для экспериментов, обучения и развертывания моделей машинного обучения. Он связывает подписку и группу ресурсов Azure с легко используемым объектом.
Чтобы использовать одну рабочую область в нескольких средах, предварительно запишите ее в JSON-файл конфигурации. Это действие позволяет сохранить данные о подписке, ресурсе и имени рабочей области.
Вы сможете загрузить рабочую область, прочитав файл конфигурации.
Кроме того, можно использовать статический метод get() для загрузки существующей рабочей области без использования файлов конфигурации.
Эксперимент
Run (Запустить)
Запуск представляет одну попытку выполнения эксперимента. Объект Run используется для мониторинга асинхронного выполнения попытки, сохранения выходных данных этой попытки, анализа результатов и доступа к созданным артефактам. Run внутри кода эксперимента позволяет сохранять метрики и артефакты в службе журнала выполнения. Он поддерживает следующие функции:
Примените функцию get_details для получения подробных выходных данных запуска.
Выходные данные этой функции представлены в формате словаря со следующими значениями:
Дополнительные примеры настройки и мониторинга запусков см. в этом практическом руководстве.
Модель
Класс Model используется для работы с облачными представлениями моделей машинного обучения. Его методы позволяют передавать модели между локальными средами разработки и объектом Workspace в облаке.
Используя регистрацию модели, вы можете сохранять и изменять модели в облаке Azure в рабочей области. Зарегистрированные модели идентифицируются по имени и версии. При регистрации модели с уже существующим именем реестр увеличивает номер версии. Машинное обучение Azure поддерживает любые модели, которые можно скачать с помощью Python 3, а не только модели Машинного обучения Azure.
После регистрации модели ее будет просто развернуть в качестве веб-службы. Для этого вам нужно создать и зарегистрировать образ. На этом шаге настраивается среда Python и ее зависимости, а также скрипт для определения форматов запросов и ответов веб-службы. После создания образа нужно создать конфигурацию развертывания, в которой настраиваются такие параметры, как ядра ЦП и объем памяти для целевого объекта вычислений. Затем нужно подключить образ.
ComputeTarget, RunConfiguration и ScriptRunConfig
Пространство имен: azureml.core.compute.ComputeTarget
Пространство имен: azureml.core.runconfig.RunConfiguration
Пространство имен: azureml.core.script_run_config.ScriptRunConfig
Класс ComputeTarget — абстрактный родительский класс для создания целевых объектов вычислений и управления ими. Целевой объект вычислений представляет несколько ресурсов, с помощью которых вы можете обучать модели машинного обучения. Целевой объект вычислений может быть локальным или облачным ресурсом, таким как Вычислительная среда Машинного обучения Azure, Azure HDInsight или удаленная виртуальная машина.
С помощью целевых объектов вычислений вы можете применить для обучения модели мощные виртуальные машины. Целевые объекты вычислений настраиваются как постоянные или временные, вызываемые из среды выполнения. Подробные инструкции по настройке целевых объектов вычислений и управлению ими см. в этом практическом руководстве.
Затем создайте целевую платформу вычислений, создав экземпляр объекта RunConfiguration и задав его тип и размер. В нашем примере используется минимальный размер ресурса (1 ядро ЦП, 3,5 ГБ памяти). Переменная list_vms содержит список поддерживаемых виртуальных машин и их размеры.
Среда
Среды Машинного обучения Azure определяют пакеты Python, переменные среды и настройки программного обеспечения, связанные с вашими сценариями обучения и оценок. Помимо Python, для сред можно также настроить PySpark, Docker и R. На внутреннем уровне среды приводят к образам Docker, которые используются для выполнения процессов обучения и оценки на целевом объекте вычислений. Среда представляет собой управляемые и версионные сущности в рабочей области Машинного обучения Azure, которые обеспечивают воспроизводимые и переносимые рабочие процессы машинного обучения, поддерживающие аудит, в различных целевых объектах вычислений и вычислительных типах.
Объект Environment можно использовать для:
Следующий код импортирует класс Environment из пакета SDK и создает экземпляр объекта среды.
Чтобы запустить выполнение обучения, необходимо объединить среду, целевой объект вычислений, а также скрипт обучения Python в конфигурацию запуска. Эта конфигурация является программой-оболочкой, используемой для отправки запусков.
При запуске выполнения обучения создание новой среды может занять несколько минут. Длительность зависит от размера необходимых зависимостей. Среды кэшируются службой. Поскольку определение среды остается неизменным, полное время настройки задается только один раз.
В следующем примере показано, где можно использовать ScriptRunConfig в качестве объекта программы-оболочки.
Если вы не укажете среду в конфигурации запуска перед выполнением, будет создана среда по умолчанию.
См. раздел Модель развертывания, чтобы получить сведения об использовании сред для развертывания веб-службы.
Конвейер, PythonScriptStep
Конвейер Машинного обучения Azure содержит автоматизированный рабочий процесс, выполняющий полную задачу машинного обучения. Подзадачи инкапсулируются в последовательность шагов в конвейере. Конвейер Машинного обучения Azure может быть очень простым, например содержать один шаг для вызова скрипта Python. Конвейеры предоставляют следующие функции:
Когда вы создадите хотя бы один шаг, эти шаги можно связать и опубликовать в виде простого автоматизированного конвейера.
Подробный пример создания конвейерного рабочего процесса вы найдете в расширенном руководстве.
Шаблон для создания и использования конвейеров
Конвейер Машинного обучения Azure связан с рабочей областью Машинного обучения Azure, а этап конвейера связан с целевым объектом вычислений, доступным в этой рабочей области. Дополнительные сведения см. в статье о рабочих областях или в этом описании целевых объектов вычислений.
Типичный шаблон для этапов конвейера выглядит так:
Хорошим примером применения этого шаблона будет эта записная книжка. задание
Дополнительные сведения о конвейерах Машинного обучения Azure, включая данные об их отличиях от других типов конвейеров, см. в этой статье.
AutoMLConfig
Дополнительно используйте automl в установке, чтобы применить автоматизированное машинное обучение.
Подробные инструкции и примеры настройки экспериментов автоматического машинного обучения см. в этом руководстве и этом практическом пособии.
Следующий код демонстрирует создание объекта конфигурации для автоматизированного машинного обучения в модели классификации и его использование при отправке эксперимента.
Развертывание модели
Класс InferenceConfig предназначен для параметров конфигурации, описывающих среду, необходимую для размещения модели и веб-службы.
Webservice — абстрактный родительский класс для создания и развертывания веб-служб для моделей. Подробные инструкции по подготовке к развертыванию моделей и веб-служб см. в этом практическом руководстве.
В этом примере создается веб-служба Экземпляров контейнеров Azure, которая лучше всего подходит для небольших тестовых систем и быстрого развертывания. Чтобы развернуть модель как рабочую веб-службу, используйте Службу Azure Kubernetes (AKS). Дополнительные сведения см. в описании класса AksCompute.
Dataset
Пространство имен: azureml.core.dataset.Dataset
Пространство имен: azureml.data.file_dataset.FileDataset
Пространство имен: azureml.data.tabular_dataset.TabularDataset
Класс Dataset — базовый ресурс для изучения данных в Машинном обучении Azure и управления ими. Вы можете исследовать данные с использованием статистической сводки и сохранить набор данных в рабочей области AML, чтобы получить возможности управления версиями и воспроизводимости. Наборы данных легко применяются для обучения моделей. Подробные примеры использования см. в этом практическом руководстве.
В следующем примере показано, как создать TabularDataset, указывающий на один путь в хранилище данных.
Дальнейшие действия
Попробуйте следующие шаги, чтобы узнать, как использовать пакет SDK службы «Машинное обучение Azure» для Python:
Выполните инструкции, приведенные в этом руководстве, чтобы научиться создавать, обучать и развертывать модели с применением Python.
Найдите классы и модули в справочной документации на этом сайте, используя оглавление слева.