precompile standard library что это

Сайт ARNY.RU

Как установить Python — быстро подготавливаем удобную среду для старта кода на языке программирования Python.

Кодинг на питоне нам нужен для подготовки к CCNA7, CCNP Enterprise и для написания боевых скриптов работы с оборудованием. Есть много различных сред для питона. Расскажу про самую простую среду и второй вариант, про самую удобную. Возможно гуру питона возразят насчёт самой удобной (хотя вряд ли гуру зайдёт по ссылке «как установить Python» ), но для начинающего кодера это именно так.

Ставить будем на Windows 10. И ставить версию 3, так как версия 2 неактуальна на сегодняшний день.

Python IDLE

IDLE (Integrated Development and Learning Environment) самый простой способ установить неудобную среду для написания программ. Почему-то по всем ссылкам запроса «как установить питон» или «как установить Python» предлагается именно она.

Тут всё проще некуда, открываем командную строку, пишем там python, Enter и винда сама предложит установить Python. Будет он не последней версии, зато ничего делать не надо.

Или другой вариант чуть сложнее, идём на python.org, скачиваем последнюю версию:

Устанавливаем, выбирая Add Python 3.9 to PATH и Customise Installation. Далее всё по умолчанию, но нужно поставить ещё галку Precompile standard library (вся установка

200Mb на диске). После установки запускаем:

Открывается окошко IDLE Shell, там выбираем File-New File. Всё, можно кодить. Какие здесь недостатки:

Поэтому ставим миниконду.

Miniconda

Почему мини? Занимает гораздо меньше места (

2Gb), чем старший брат (сестра?) анаконда. Идём сюда, скачиваем потребную версию, устанавливаем. Все настройки по умолчанию. Ну и далее накатываем Jupyter Notebook. Запускаем Anaconda Promt (Miniconda3).

После этого появляется ярлык Jupyter Notebook, запускаем:

Или же можно запустить из промпта миниконды:

Jupyter открывается в браузере, в правом верхнем углу выбираем New-Python3. Открывается новая вкладка, непосредственно ноутбук. Как-то мы привыкли что ноутбук это переносной компьютер, но в оригинале notebook — «блокнот, книга для записей». Поэтому ноутбук, хотя соглашусь, звучит непривычно.

Строка In [ ] (Input) тут как раз ячейка для написания кода программы. Ячейки можно добавлять плюсом. Выбираем нужную ячейку, запускаем. После получаса кода работать с другой средой не хочется категорически. Потому что удобно.

Что ещё.. В Python есть удобный встроенный справочник по элементам языка с помощью функции help().

Установка миниконды подсмотрена в курсе Программирование на Python, который отчаянно рекомендую. Общая часть окончена, далее переходим к сетям.

Установка дополнительных модулей

Стандартные библиотеки Python предоставляют много возможностей (легко ищется в инете, что именно эти библиотеки умеют), но дополнительных библиотек-модулей куда больше. И в работе с сетевым оборудованием дополнительные модули понадобятся обязательно.

К примеру воспользуюсь дополнительным модулем requests, он нужен для отправки запросов на сервера. Открываю консоль конды:

Уже установлено. Это тоже плюс миниконды. Далее накидываю и запускаю программу в ноутбуке:

Как видно не хватает двух модулей. Первый модуль нужен для поддержки консольного порта, второй для работы с файлом Excel, куда забиты реквизиты устройств. Буквально пара движений. Как точно поставить тот или иной модуль ищется в нете:

Заработало, зашуршало, можно отлаживать.

Запуск скриптов

Теперь, допустим, хочу запускать уже готовые к работе файлы скриптов из командной строки. Открываю командную строку, пишу python, Enter.

Вижу что питон у меня ассоциирован с версией 3.7, установленной виндой, как написал в самом начале.

Дополнительные пакеты ставятся отдельно для каждой среды. Тут пока никаких дополнительных пакетов нет, поэтому:

Закидываю текст программы в Notepad++:

Меняю расширение на .py, чтобы запустить командную строку из текущей папки нужно просто набрать cmd-Enter в заголовке пути:

И далее python название программы.

Работает. И как понимаю, ситуация тут распадается на 2 варианта:

Сразу предвижу хороший вопрос: а что с ассоциацией для миниконды? Снова открываем командную строку.

Если нужно работать с миникондой, то команда вводится как py имя скрипта. Таким образом на компе живут несколько питонов и друг-другу не мешают.

Всё, в заключение бомбический курс Python для сетевых инженеров. Программируйте на Python, это клёво 🙂

Источник

Python. Урок 1. Установка

Начиная с этой статьи будет запущен цикл публикаций, посвященный языку Python, с позиции его изучения. Каждая статья будет представлена в виде урока на определенную тему. Не будем отходить от канонов и первую статью посвятим установке языка Python.

В этой статье рассмотрим следующие темы:

1. Версии Python

На сегодняшний день существуют две версии Python – это Python 2 и Python 3, у них отсутствует полная совместимость друг с другом. На момент написания статьи вторая версия Python ещё широко используется, но, судя по изменениям, которые происходят, со временем, он останется только для того, чтобы запускать старый код. В нашей с вами работе, мы будем использовать Python 3, и, в дальнейшем, если где-то будет встречаться слово Python, то под ним следует понимать Python 3. Случаи применения Python 2 будут специально оговариваться.

2. Установка Python

Для установки интерпретатора Python на ваш компьютер, первое, что нужно сделать – это скачать дистрибутив. Загрузить его можно с официального сайта, перейдя по ссылке https://www.python.org/downloads/

2.1 Установка Python в Windows

Для операционной системы Windows дистрибутив распространяется либо в виде исполняемого файла (с расширением exe), либо в виде архивного файла (с расширением zip). Если вы используете Windows 7, не забудьте установить Service Pack 1!

1. Запустите скачанный установочный файл.

2. Выберет способ установки.

3. Отметьте необходимые опций установки (доступно при выборе Customize installation)

На этом шаге нам предлагается отметить дополнения, устанавливаемые вместе с интерпретатором Python. Рекомендуем выбрать все опции.

4. Выберете место установки (доступно при выборе Customize installation)

Помимо указания пути, данное окно позволяет внести дополнительные изменения в процесс установки с помощью опций:

Последние два пункта связаны с загрузкой компонентов для отладки, их мы устанавливать не будем.

5. После успешной установки вас ждет следующее сообщение.

2.2 Установка Python в Linux

Чаще всего интерпретатор Python уже в входит в состав дистрибутива. Это можно проверить набрав в терминале

В первом случае, вы запустите Python 2 во втором – Python 3. В будущем, скорее всего, во всех дистрибутивах Linux, включающих Python, будет входить только третья версия. Если у вас, при попытке запустить Python, выдается сообщение о том, что он не установлен, или установлен, но не тот, что вы хотите, то у вас есть два пути: а) собрать Python из исходников; б) взять из репозитория.

Для установки из репозитория в Ubuntu воспользуйтесь командой

Сборку из исходников в данной статье рассматривать не будем.

3. Установка Anaconda

Для удобства запуска примеров и изучения языка Python, советуем установить на свой ПК пакет Anaconda. Этот пакет включает в себя интерпретатор языка Python (есть версии 2 и 3), набор наиболее часто используемых библиотек и удобную среду разработки и исполнения, запускаемую в браузере.

Есть варианты под Windows, Linux и MacOS.

3.1 Установка Anaconda в Windows

1. Запустите скачанный инсталлятор. В первом появившемся окне необходимо нажать “Next”.

2. Далее следует принять лицензионное соглашение.

3. Выберете одну из опций установки:

4. Укажите путь, по которому будет установлена Anaconda.

5. Укажите дополнительные опции:

Для начала установки нажмите на кнопку “Install”.

5. После этого будет произведена установка Anaconda на ваш компьютер.

3.2 Установка Anaconda в Linux

В результате вы увидите приглашение к установке. Для продолжения процессе нажмите “Enter”.

2. Прочитайте лицензионное соглашение, его нужно пролистать до конца.

Согласитесь с ним, для этого требуется набрать в командной строке “yes”, в ответе на вопрос инсталлятора:

Do you approve the license terms? [yes|no]

3. Выберете место установки. Можно выбрать один из следующих вариантов:

4. После этого начнется установка.

4. Установка PyCharm

Если в процессе разработки вам необходим отладчик и вообще вы привыкли работать в IDE, а не в текстовом редакторе, то тогда одним из лучших вариантов будет IDE PyCharm от JetBrains. Для скачивания данного продукта нужно перейти по ссылке https://www.jetbrains.com/pycharm/download/

IDE доступна для Windows, Linux и MacOS. Существуют два вида лицензии PyCharm – это Professional и Community. Мы будем использовать версию Community, так как она бесплатна и её функционала более чем достаточно для наших задач.

4.1 Установка PyCharm в Windows

1. Запустите скачанный дистрибутив PyCharm.

2. Выберете путь установки программы.

4. Выберете имя для папки в меню Пуск.

5. Далее PyCharm будет установлен на ваш компьютер.

4.2 Установка PyCharm в Linux

1. Скачайте с сайта дистрибутив на компьютер.

2. Распакуйте архивный файл, для этого можно воспользоваться командой:

Перейдите в каталог, который был создан после распаковки дистрибутива, найдите в нем подкаталог bin и зайдите в него. Запустите pycharm.sh командой:

В результате должен запуститься PyCharm.

5. Проверка работоспособности

Теперь проверим работоспособность всего того, что мы установили.

5.1 Проверка интерпретатора Python

Для начала протестируем интерпретатор в командном режиме. Если вы работаете в Windows, то нажмите сочетание Win+R и в появившемся окне введите python. В Linux откройте окно терминала и в нем введите python3 (или python).

В результате Python запустится в командном режиме, выглядеть это будет примерно так (картинка приведена для Windows, в Linux результат будет аналогичным):

Результат должен быть следующий:

5.2 Проверка Anaconda

Здесь и далее будем считать, что пакет Anaconda установлен в Windows, в папку C:\Anaconda3, в Linux, вы его можно найти в каталоге, который выбрали при установке.

Перейдите в папку Scripts и введите в командной строке:

Если вы находитесь в Windows и открыли папку C:\Anaconda3\Scripts через проводник, то для запуска интерпретатора командной строки для этой папки в поле адреса введите cmd.

В результате запустится веб-сервер и среда разработки в браузере.

Создайте ноутбук для разработки, для этого нажмите на кнопку New (в правом углу окна) и в появившемся списке выберете Python.

В результате будет создана новая страница в браузере с ноутбуком. Введите в первой ячейке команду

и нажмите Alt+Enter на клавиатуре. Ниже ячейки должна появиться соответствующая надпись.

5.3 Проверка PyCharm

Запустите PyCharm и выберете Create New Project в появившемся окне.

Укажите путь до проекта Python и интерпретатор, который будет использоваться для запуска и отладки.

Добавьте Python файл в проект.

Введите код программы.

В результате должно открыться окно с выводом программы.

На этом первый урок закончен.

P.S.

Если вам интересна тема анализа данных, то мы рекомендуем ознакомиться с библиотекой Pandas. На нашем сайте вы можете найти вводные уроки по этой теме. Все уроки по библиотеке Pandas собраны в книге “Pandas. Работа с данными”.

Спасибо за внимание!

Python. Урок 1. Установка : 25 комментариев

как запустить ipython notebook под линукс?

При проверке anacondaz, вводе cmd в командной строке появляется лишь C:\Anaconda3\Scripts>
В чём дело?

Если вы хотите запустить Anaconda, то делаем так:
1. Открываем в проводнике папку C:\Anaconda3\Scripts
2. В строке адреса окна вводим: cmd
3. В открывшемся терминальном окне вводим: ipython notebook
нажимаем Enter и ждем, когда загрузится jupyter

что же делать если анаконда3 не может установить face_recognition?

ммм… никогда этого не делал. Попробую, если что-то получится, то напишу!

После удаления Anaconda не получается заново установить. При установки пакета в папке Anaconda3 только две папки “Lib” и “pkgs” и два файла “Uninstall-Anaconda3.exe” и “vscode_eula.txt”

Попробуйте после деинсталляции Anaconda удалить также и сам каталог с оставшимися файлами (хотя это врятли поможет).

Ребята большое спасибо. Всё чётко ясно и понятно. И зачем Анаконда если есть ПиШарм. И ещё вопрос. У Пишарма идёт автосохранение файлов. Где он их хранит.

Спасибо вам! Стараемся)
PyCharm – это IDE, т.е. среда разработки – инструмент, который предоставляет вам такие “вкусности” как автодополнение, подсветку синтаксиса, рефакторинг, навигацию по коду, поддержку framework’ов и многое другое. Anaconda – это платформа для работы в области машинного обучения и анализа данных, она содержит большое количество библиотек соответствующей направленности (pandas, numpy,…), а также инструменты для разработки, такие как Spyder (это IDE) и Jupyter Notebook (очень удобное веб-приложение для работы в области ML и DataAnalysis). По поводу автосохранения в PyCharm не подскажу)

Если кто не сможешь удачно выполнить ipython notebook, то перед этим выполните команду activate base

Спасибо большое, именно этого и не было в описании

при установке анаконда 3 отсутствует папка Scripts. Что делать?

Добрый день, Александр. Вы решили вопрос с установкой Анаконда, то что отсутствует папка Скрипты?

Спасибо за статью!
Позвольте уточнить. Я не понимаю:
1) Зачем дистрибутив Python отдельно устанавливать если он уже включен в Anaconda
2) Как ПК (Windows в моем случае) понимает какой из них выбирать, если мы ставим галочку Add to the system PATH для каждого дистрибутива

В папке проводника не после ввода cmd пишет, что не удаётся найти. Также с ipython notebook. Что делать.

После установки Анаконды начал делать следующее:
Если вы хотите запустить Anaconda, то делаем так:
1. Открываем в проводнике папку C:\Anaconda3\Scripts
2. В строке адреса окна вводим: cmd
3. В открывшемся терминальном окне вводим: ipython notebook
нажимаем Enter и ждем, когда загрузится jupyter
Ничего не запустилось. Выдало вот это:
Microsoft Windows [Version 10.0.18362.720]
(c) Корпорация Майкрософт (Microsoft Corporation), 2019. Все права защищены.

C:\Anaconda3\Scripts> ipython notebook
[TerminalIPythonApp] WARNING | Subcommand `ipython notebook` is deprecated and will be removed in future versions.
[TerminalIPythonApp] WARNING | You likely want to use `jupyter notebook` in the future
[I 18:12:38.326 NotebookApp] The port 8888 is already in use, trying another port.
[I 18:12:38.453 NotebookApp] JupyterLab extension loaded from C:\Anaconda3\lib\site-packages\jupyterlab
[I 18:12:38.453 NotebookApp] JupyterLab application directory is C:\Anaconda3\share\jupyter\lab
[I 18:12:38.485 NotebookApp] Serving notebooks from local directory: C:\Anaconda3\Scripts
[I 18:12:38.485 NotebookApp] The Jupyter Notebook is running at:
[I 18:12:38.486 NotebookApp] http://localhost:8889/?token=37910a1230bc76d52bfa6c90de2e1e0ca84b9b6b831ff65d
[I 18:12:38.486 NotebookApp] or http://127.0.0.1:8889/?token=37910a1230bc76d52bfa6c90de2e1e0ca84b9b6b831ff65d
[I 18:12:38.486 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 18:12:38.573 NotebookApp]

Источник

Компиляция Python

Предположим, вы разработали приложение или библиотеку на Python и уже готовитесь передать его / её заказчику. И в этот момент возникают вопросы, о которых многие даже не задумываются.

Во-первых, так может оказаться, что вы разработали супер крутой алгоритм, которого ни у кого нет, и показывать его хочется только избранным.

И, наконец, хочется, чтобы конечное приложение работало быстрее, чем в среде разработки.

И вот тут настало время скомпилировать Python-код. Меня зовут Руслан, я старший разработчик компании «Цифровое проектирование». Сегодня я расскажу, как выбрать тот самый компилятор из множества доступных.

AOT/JIT

Компиляция – это сборка программы, включающая: трансляцию всех модулей программы, написанных на языке программирования высокого уровня, в эквивалентные программные модули на низкоуровневом языке, близком к машинному коду, или на машинном языке и сборку исполняемой программы. Существует два вида компиляции:

AOT-компиляция (ahead-of-time) – компиляция перед исполнением программы. Т.е. программа компилируется один раз, в результате компиляции получается исполняемый файл.

Бенчмарк

Так как одной из целей является ускорение, необходимо оценить, насколько быстро работает скомпилированный код. В качестве бенчмарка будем использовать pyperfomance. К сожалению, pyperfomance не подошел для Cython и Pythran, потому что не позволяет визуализировать все возможности языка. Ускорения для Cython без модификации кода получить не удалось, а Pythran не умеет в пользовательские классы. Для них воспользуемся вычислением числа пи:

Эксперименты будем проводить на процессоре Intel Core i7 10510U. На CPython 3.9.7 время вычисления числа пи до 100.000.000 знака заняло 5.82 секунды.

AOT-компиляция Python

PyInstaller

PyInstaller упаковывает приложения Python в автономные исполняемые файлы в Windows, GNU / Linux, Mac OS X, FreeBSD, Solaris и AIX.

Устанавливается через pip:

pip install pyinstaller

После установки для создания исполняемого файла достаточно выполнить команду:

В результате будет создано:

build/ – директория с метаданными для сборки исполняемого файла;

dist/ – директория, содержащая все зависимости и исполняемый файл.

Сборку приложения можно настроить с помощью параметров командной строки:

—name – изменение имени исполняемого файла (по умолчанию, такое же, как у сценария);

—onefile – создание только исполняемого файла (по умолчанию, папка с зависимостями и исполняемый файл);

—hidden-import – перечисление импортов, которые PyInstaller не смог обнаружить автоматически;

—add-data – добавление в сборку файлов данных;

—add-binary – добавление в сборку бинарных файлов;

—exclude-module – исключение модулей из исполняемого файла;

У PyInstaller есть ограничения. Он работает с Python 3.5–3.9. Поддерживает создание исполняемых файлов для разных операционных систем, но не умеет выполнять кросскомпиляцию, т. е. необходимо генерировать исполняемый файл для каждой ОС отдельно. Более того, исполняемый файл зависит от пользовательского glibc, т. е. необходимо генерировать исполняемый файл для самой старой версии каждой ОС.

PyInstaller знает о многих Python-пакетах и умеет их учитывать при сборке исполняемого файла. Но не о всех. Например, фреймворк uvicorn практически весь нужно явно импортировать в файл, к которому будет применена команда pyinstaller. Полный список поддерживаемых из коробки пакетов можно посмотреть здесь.

Cython

Ставится Cython через pip:

pip install Cython

Рассмотрим его работу на примере с вычислением числа пи:

Немного модифицируем нашу функцию:

Cython → C:

Компилируем С-шный код:

И замеряем время на бенчмарке: 3,66 секунды.

А что делать, если в нашем проекте несколько файлов, которые нужно скомпилировать? Тогда нужно использовать так называемый сценарий сборки. С его помощью можно модернизировать сборку в зависимости от операционной системы, указывать несколько файлов, которые необходимо скомпилировать, и многое другое.

Создадим файл build.py:

Запустим: python build.py build_ext –-inplace

В результате будет сгенерирован .so/.dll файл.

Nuitka

Ставится через pip:

pip install nuitka

Для генерации исполняемого файла достаточно выполнить команду:

Для компиляции модуля:

Для компиляции пакета:

Pythran

Pythran – статический компилятор Python, позиционирующий себя как ориентированный на научные вычисления и использующий преимущества многоядерных процессоров и блоков инструкций SIMD. Он транслирует Python-код, аннотированный описаниями интерфейса, в C++. До версии 0.9.5 (включительно) Pythran поддерживал Python 3 и Python 2.7. Последние версии поддерживают только Python 3.

pip install pythran

Генерируем бинарный файл .so:

Pythran по умолчанию не умеет в пользовательские классы, поэтому при попытке их компиляции будет выброшена ошибка:

Top level statements can only be assignments, strings,functions, comments, or imports

Добавим комментарий аннотации функции:

Скомпилируем и бенчмарк выдает 0,00007 секунды.

cx-Freeze

Ставится с помощью pip:

pip install cx_Freeze

Для генерации исполняемого файла достаточно выполнить команду:

Сборку можно настроить с помощью параметров командной строки:

Также возможно использование сценария сборки, например, так:

Сборка исполняемого файла:

python setup.py build

JIT-компиляция Python

JIT-компиляция не позволяет скрывать исходники или создавать автономный исполняемый файл, но дает возможность значительно ускорить выполнение программы.

PyPy

компилятор байт-кода, отвечающий за создание объектов кода Python из исходного кода пользовательского приложения;

оценщик байт-кода, ответственный за интерпретацию объектов кода Python;

стандартное объектное пространство, отвечающее за создание и управление объектами Python, видимыми приложением.

PyPy поддерживает сотни библиотек Python, включая NumPy.

Основные особенности (сравнение с CPython):

Скорость. При выполнении длительно выполняющихся программ, когда значительная часть времени тратится на выполнение кода Python, PyPy может значительно ускорить ваш код.

Использование памяти. Программы Python, требующие много памяти (несколько сотен Мб или более), могут занимать меньше места, чем в CPython. Однако это не всегда так, поскольку зависит от множества деталей. Также базовый уровень потребления оперативной памяти выше, чем у CPython.

Скачать PyPy можно с здесь. После скачивания PyPy готов к запуску после распаковки архива. Если необходимо сделать PyPy доступным для всей системы, достаточно поместить символическую ссылку на исполняемый файл pypy в /usr/local/bin. Также можно поставить с помощью pyenv.

PyPy работает на Mac, Linux (не все дистрибутивы) или Windows.

Для запуска кода с помощью PyPy вместо команды python3 (как c помощью CPython) достаточно воспользоваться командой pypy3:

Pyston

В Pyston поддерживаются все возможности CPython, в том числе C API для разработки расширений на языке Си. Среди основных отличий Pyston от CPython помимо общих оптимизаций выделяется использование DynASM JIT и inline-кэширования.

Заключение

Итак, мы рассмотрели 5 фреймворков AOT-компиляции Python. Для любителей аналитики, ниже приведена таблица со сравнительным анализом.

PyInstaller

Cython

Nuitka

Pythran

cx-Freeze

Генерация автономных исполняемых файлов

Компиляция python-модуля в исполняемый файл, совместимый с CPython

Источник