pure python что это
What is «Pure Python?»
Many questions on stackoverflow refer to «Pure Python» (some random examples from the «similar questions» list: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10).
I also encounter the concept elsewhere on the web, e.g. in package documentation for imageio and in tutorials such as «An introduction to Pure Python.»
This has led me to believe there must be some universally accepted standard definition of what «Pure Python» is.
However, despite googling to the limits of my ability, I have not yet been able to locate this definition.
Can anyone point me to a universally accepted definition of «Pure Python,» or is this just some elusive concept that means different things to different people?
edit: To be clear, I am asking: Does such a definition exist, yes or no, and if so, what is the acclaimed source? Although I truly appreciate all comments and answers, I am not looking for personal interpretations.
2 Answers 2
In that imageio package, they mean it’s all implemented in Python, and not (as is sometimes done) with parts written in C or other languages. As a result it’s guaranteed to work on any system that Python works on.
So they mean different things there already.
A «pure-Python» package is a package that only contains Python code, and doesn’t include, say, C extensions or code in other languages. You only need a Python interpreter and the Python Standard Library to run a pure-Python package, and it doesn’t matter what your OS or platform is.
Pure-Python packages can import or depend on non-pure-Python packages:
A good rule of thumb: If you can make a source distribution («sdist») of your package and it doesn’t include any non-Python code, it is a pure-Python package.
Pure-Python packages aren’t restricted to just the Python Standard Library; packages can import modules from outside the Python Standard Library and still be considered pure-Python.
Additionally, a standalone module is a single .py file that only imports modules from the Python Standard Library. A standalone module is necessarily a pure-Python module.
Note that in Python, package technically refers to a folder with an init.py file in it. The things you download and install from PyPI with pip are distributions (such as «source distribution» or «sdist»), though the term «package» is also used as a synonym with «distribution», since that term could be confused with the «Linux distro» usage of the word.
Язык программирования Python: преимущества, недостатки и область применения
Как устроен Python, чем он хорош, а также кто, как и зачем использует его в работе. Гайд для программистов и интересующихся Python.
Python — это скриптовый язык программирования. Он универсален, поэтому подходит для решения разнообразных задач и многих платформ, начиная с iOS и Android и заканчивая серверными ОС.
Преимущества Python
Это интерпретируемый язык — он не компилируется, то есть до запуска представляет из себя обычный текстовый файл. Программировать можно практически на всех платформах, язык хорошо спроектирован и логичен.
Разработка идёт в разы быстрее, потому что кода здесь куда меньше, чем на других языках. И ещё Python отлично подходит новичкам. Именно с него можно начать свой путь программиста, пройдя практический курс «Python-разработчик» от Skillbox.
Пишет о программировании, в свободное время создает игры. Мечтает открыть свою студию и выпускать ламповые RPG.
Как используется Python
Его можно встретить в вебе и на мобильных устройствах, в приложениях и решениях, связанных с машинным обучением (нейросети и искусственный интеллект), а также в качестве встроенной системы.
Веб-разработка
Чаще всего Python используется в веб-разработке. Для работы с ним подключают фреймворки: Pyramid, Pylons, TurboGears, Flask, CherryPy и — самый популярный — Django.
Существуют и движки для создания сайтов на Python:
Также на Python пишут парсеры для сбора информации в интернете.
Программы
Хоть язык не компилируется, с помощью него создают десктопные программы. Вот, к примеру, что было разработано на Python:
Мобильные приложения
Мобильная разработка на Python менее популярна. Для Android чаще пишут на Java, C#, C++ или Kotlin, а для iOS — на Swift или Objective-C. На Python обычно программируют серверную часть приложения. Например, клиент Instagram для iOS написан на Objective-C, а сервер — на Python.
Многие компьютерные игры были полностью или частично написаны на Python. Существует заблуждение, что этот язык не подходит для серьёзных проектов, но на самом деле он использовался в разработке таких хитов, как:
Несмотря на возможность реализации пользовательского интерфейса и работы с графикой, на Python в основном пишут скрипты — например, взаимодействия персонажей, запуска сцен, а также обработки событий.
Встроенные системы (embedded systems)
На Python разрабатывают встроенные системы для различных устройств. Например, язык прижился в Raspberry Pi (компьютер размером с карту памяти) и в «Сбербанке» для управления банкоматами.
Еще проекты со встроенной системой на Python:
Язык применяется во встроенных системах станков с ЧПУ, средствах автоматического регулирования (температуры, расхода жидкостей, давления и так далее) и в телекоммуникационном оборудовании.
Создание скриптов
Python подходит для написания плагинов и скриптов к уже готовым программам. Например, для реализации игровой логики или создания дополнительных модулей. Скрипты на этом языки встраивают и в программы на других языках, чтобы автоматизировать какие-либо задачи.
Где используется Python
Python широко распространен во многих сферах: от системного администрирования до Data Science.
Системное администрирование
Системным администраторам Python нужен для автоматизации задач. Он простой, мощный и поддерживает специальные пакеты, которые повышают его эффективность. И, самое главное, он по умолчанию установлен на все серверы с ОС Linux.
Благодаря лаконичности Python можно быстро прочитать код и найти слабые места. Форматирование в языке — часть синтаксиса.
Научные исследования
В Python есть несколько библиотек, которые пригодятся для проведения исследований и вычислений:
Благодаря библиотекам и простоте освоения языка многие учёные выбирают Python — особенно он популярен у математиков и физиков.
Data Science
Python — один из самых используемых в Data Science языков. На нём пишут алгоритмы программ с машинным обучением и аналитические приложения. С помощью него обслуживают хранилища данных и облачные сервисы.
Также он помогает парсить данные из интернета. Например, в Google Python применяют для индексации сайтов.
Какие компании используют Python
В основном Python используется стартапами и компаниями, которые разрабатывают крупные проекты. Вот лишь часть огромного списка:
Кроме того, его используют в Instagram, Positive Technologies, Houdini, Facebook, Yahoo, Red Hat, Dropbox, Pinterest, Quora, Mail.ru и Яндексе.
Недостатки языка Python
Несмотря на все достоинства, у языка есть и недостатки.
Программы на Python считаются одними из самых медленных.
Приложения для iOS на Swift работают в 8,7 раз быстрее, чем на Python. Реализация PyPy по скорости близка к Java, но в ней есть не все возможности оригинального языка. Python не подходит для задач, требующих большого объёма памяти, — их лучше решать вставками на C или C++.
Сильная зависимость языка от системных библиотек
Из-за этого затрудняется перенос на другие системы. Для этих целей существует инструмент Virtualenv, но и он с недостатками: избыточность полных методов изоляции, костыли, дублирование системных библиотек.
Global Interpreter Lock (GIL) не позволяет выполнять несколько потоков Python одновременно в реализации CPython.
Однако GIL можно отключить на какое-то время, как это сделано в математическом пакете NumPy.
Трудоустройство и средняя зарплата Python-разработчика
По данным с hh.ru на начало 2019 года, в России
4500 вакансий для Python-разработчиков, из них
700 в Санкт-Петербурге. Это меньше, чем по запросу «Java» (
5500), но больше, чем по запросу «PHP» (
Тенденция в том, что Python медленно забирает позиции PHP с рынка веб-разработки. Хотя на PHP всё ещё написано около 80% всех сайтов в интернете.
Минимальная зарплата по России начинается с 70 000 рублей, а в Москве — с 80 000 рублей. В основном ищут опытных разработчиков, junior-специалисты менее востребованы.
На должность стажёра или младшего специалиста можно устроиться только в крупную компанию, а расположены они в больших городах типа Москвы и Санкт-Петербурга. Из-за этого новичкам крайне сложно устроиться в регионах — остаётся искать заказы на фрилансе.
Если вас заинтересовал Python, пройдите курс от Skillbox — тут вы не только получите необходимые знания и навыки, но и сможете составить привлекательное резюме и добавить дипломную работу в портфолио.
Pure Python Mode¶
In some cases, it’s desirable to speed up Python code without losing the ability to run it with the Python interpreter. While pure Python scripts can be compiled with Cython, it usually results only in a speed gain of about 20%-50%.
then Cython will compile the A.py as if it had been written as follows:
Python visible function signatures must be declared as cpdef (with default arguments replaced by a * to avoid repetition):
C function signatures of internal functions can be declared as cdef :
cdef classes (extension types) are declared as cdef class ;
cdef class attributes must be declared as cdef public if read/write Python access is needed, cdef readonly for read-only Python access, or plain cdef for internal C level attributes;
cdef class methods must be declared as cpdef for Python visible methods or cdef for internal C methods.
Magic Attributes¶
Special decorators are available from the magic cython module that can be used to add static typing within the Python file, while being ignored by the interpreter.
“Compiled” switch¶
compiled is a special variable which is set to True when the compiler runs, and False in the interpreter. Thus, the code
Static typing¶
cython.declare declares a typed variable in the current scope, which can be used in place of the cdef type var [= value] construct. This has two forms, the first as an assignment (useful as it creates a declaration in interpreted mode as well):
and the second mode as a simple function call:
It can also be used to define extension type private, readonly and public attributes:
@cython.locals is a decorator that is used to specify the types of local variables in the function body (including the arguments):
@cython.returns( ) specifies the function’s return type.
@cython.exceptval(value=None, *, check=False) specifies the function’s exception return value and exception check semantics as follows:
If exception propagation is disabled, any Python exceptions that are raised inside of the function will be printed and ignored.
C types¶
Typed C-tuples can be declared as a tuple of C types.
Extension types and cdef functions¶
The function/method decorator @cython.cfunc creates a cdef function.
@cython.ccall creates a cpdef function, i.e. one that Cython code can call at the C level.
@cython.locals declares local variables (see above). It can also be used to declare types for arguments, i.e. the local variables that are used in the signature.
@cython.inline is the equivalent of the C inline modifier.
@cython.final terminates the inheritance chain by preventing a type from being used as a base class, or a method from being overridden in subtypes. This enables certain optimisations such as inlined method calls.
Here is an example of a cdef function:
cimports¶
The special cython.cimports package name gives access to cimports in code that uses Python syntax. Note that this does not mean that C libraries become available to Python code. It only means that you can tell Cython what cimports you want to use, without requiring special syntax. Running such code in plain Python will fail.
Further Cython functions and declarations¶
address is used in place of the & operator:
sizeof emulates the sizeof operator. It can take both types and expressions.
typeof returns a string representation of the argument’s type for debugging purposes. It can take expressions.
struct can be used to create struct types.:
is equivalent to the code:
typedef defines a type under a given name:
PEP-484 type annotations¶
Annotations can be combined with the @cython.exceptval() decorator for non-Python return types:
Since version 0.27, Cython also supports the variable annotations defined in PEP 526. This allows to declare types of variables in a Python 3.6 compatible way as follows:
There is currently no way to express the visibility of object attributes.
Tips and Tricks¶
Calling C functions¶
Normally, it isn’t possible to call C functions in pure Python mode as there is no general way to support it in normal (uncompiled) Python. However, in cases where an equivalent Python function exists, this can be achieved by combining C function coercion with a conditional import as follows:
You would then also change the Python import to from math import sin as _sin to make the names match again.
Using C arrays for fixed size lists¶
C arrays can automatically coerce to Python lists or tuples. This can be exploited to replace fixed size Python lists in Python code by C arrays when compiled. An example:
In normal Python, this will use a Python list to collect the counts, whereas Cython will generate C code that uses a C array of C ints.
Python на колёсах
Инфраструктура системы пакетов для Python долго подвергалась критике как от разработчиков, так и от системных администраторов. Долгое время даже само комьюнити не могло прийти к соглашению, какие именно инструменты использовать в каждом конкретном случае. Уже существуют distutils, setuptools, distribute, distutils2 в качестве базовых механизмов распространения и virtualenv, buildout, easy_install и pip в качестве высокоуровневых инструментов управления всем этим беспорядком.
Несколько лет назад PJE попытался исправить эту проблему, предоставив смесь из setuptools и pkg_resources для улучшения distutils и добавления метаданных в Python-пакеты. В дополнение к этому он написал утилиту easy_install для их установки. По причине отсутствия формата распространения, поддерживающего метаданные, был предоставлен формат ‘яиц’ [egg].
Python eggs – обычные zip-архивы, содержащие python-пакет и необходимые метаданные. Хотя многие люди, вероятно, никогда намеренно не собирали egg’и, их формат метаданных до сих пор жив-здоров. И все разворачивают свои проекты с использованием setuptools.
Потом прошло еще немного времени, и отказ от бинарных пакетов стал доставлять неудобства. Люди всё больше и больше стали деплоить на облачные сервера, а необходимость перекомпиляции C-шных библиотек на каждой машине не слишком радует. Так как ‘яйца’ на тот момент были малопонятны (я так полагаю), их переделали в новых PEP-ах, и назвали ‘колёсами’ [wheels].
В дальнейшем предполагается, что все действия происходят в virtualenv-окружении.
Что за колесо?
Начнём с простого. Что представляют собой ‘колёса’ и чем они отличаются от ‘яиц’? Оба формата являются zip-файлами. Главная разница в том, что egg можно импортировать без распаковки, wheel же придётся распаковать. Хотя нет никаких технических причин, делающих ‘колёса’ неимпортируемыми, поддержка их прямого импорта никогда даже не планировалась.
Другое различие в том, что ‘яйца’ содержат скомпилированные байткод, а ‘колёса’ – нет. Главное преимущество этого в том, что нет необходимости создавать отдельные wheel’ы для каждой версии Python до тех пор, пока не придётся распространять слинкованные через libpython модули. Хотя в новых версиях Python 3 при использовании стабильного ABI даже это уже можно провернуть.
Однако wheel-формат тоже не лишен проблем, некоторые из которых он наследует от ‘яиц’. Например, бинарные дистрибутивы под Linux до сих пор неприемлемы для большинства из-за двух недостатков: Python сам по себе компилируется под Linux в разных формах, и модули линкуются с разными системными библиотеками. Первая проблема вызвана сосуществованием несовместимых версий Python 2: USC2 и USC4. В зависимости от режима компиляции меняется ABI. В настоящее время wheel (насколько я могу судить) не содержит информации о том, с каким режимом Unicode связана библиотека. Отдельная проблема в том, что дистрибутивы Linux меньше совместимы между собой, чем хотелось бы, и обстоятельства могут сложиться так, что сборка, скомпилированная под один дистрибутив, не будет работать на остальных.
Всё это выливается в то, что, вообще говоря, на данный момент бинарные ‘колёса’ нельзя загружать на PyPI как несовместимые с различными системами.
В дополнение ко всему этому wheel сейчас знает только две крайности: бинарные пакеты и пакеты, содержащие чистый python-код. Бинарные пакеты специфичны для Python ветки 2.x. Сейчас это не кажется большой проблемой, потому что цикл 2.x подходит к концу, и пакетов, собранных только для 2.7, хватит надолго. Но если бы вдруг речь пошла про Python 2.8, была бы интересна возможность заявить, что этот пакет не зависит от версии Python, но он содержит бинарники, поэтому он не может не зависеть от архитектуры.
Единственный случай, оправдывающий существование такого пакета – это когда он содержит распределенные библиотеки, загружаемые с ctypes из CFFI. Такие библиотеки не связаны через libpython и не зависимы от реализации языка (их можно использовать даже с pypy).
Но есть и светлая сторона: ничто не запрещает использовать бинарные wheel’ы в своих собственных однородных инфраструктурах.
Сборка колеса
Решение этой проблемы – вручную реализовать Distribution из setuptools, скинув флаг чистоты в false :
Установка колеса
С использованием свежей версии pip ‘колесо’ ставится следующим образом:
Но что с зависимостями? Тут появляются некоторые сложности. Обычно одним из требований к пакету является возможность его установки даже без подключения к интернету. К счастью, pip позволяет отключать загрузку из индекса и устанавливать директорию, содержащую всё необходимое для установки. Если у нас есть wheel’ы для всех зависимостей необходимых версий, можно сделать следующее:
Таким образом будет установлена версия 1.0 пакета package в наше виртуальное окружение.
Колёса для зависимостей
Эта команда выгрузит все пакеты, от которых зависит наш пакет, в указанную папку. Но есть пара проблем.
Первая состоит в том, что в команде в настоящий момент есть баг, который не выгружает зависимости, которые уже являются ‘колёсами’. Так что если зависимость уже доступна на PyPI в wheel-формате, она не будет загружена.
Это временно решается shell-скриптом, который вручную перемещает из кэша скачанные wheel’ы.
Сборка пакетов c использованием DevPI
Такое временное решение проблемы зависимостей вполне применимо в простых ситуациях, но что делать, если есть множество внутренних python-пакетов, зависящих друг от друга? Такая конструкция быстро разваливается.
К счастью, в прошлом году Holker Krekel создал решение этой беды под названием DevPI, который по существу является хаком, эмулирующим работу pip с PyPI. После установки на компьютер DevPI работает как прозрачный прокси перед PyPI и позволяет pip-у устанавливать пакеты из локального репозитория. К тому же все пакеты, скачанные с PyPI, автоматически кэшируются, так что даже если отключить сеть, эти пакеты будут доступны для установки. И, в конце концов, появляется возможность загрузки своих собственных пакетов на локальный сервер, чтобы ссылаться на них так же, как и на хранящиеся в публичном индексе.
После запуска его необходимо единожды проинициализировать:
Так как я использую DevPI ‘для себя’, имена пользователя DevPI и системного пользователя совпадают. На последнем шаге создаётся индекс по имени проекта (при необходимости можно создать несколько).
Для перенаправления pip на локальный репозиторий можно сделать экспорт переменной окружения:
Я размешаю эту команду в скрипт postactivate моего virtualenv для предотвращения случайной загрузки из неверного индекса.
Для размещения собственных wheel’ов в локальном DevPI используется утилита devpi :
Заворачиваем
Теперь всё готово для начала использования внутренних зависимостей и сборки собственных ‘колёс’. Как только они появятся, их можно заархивировать, загрузить на другой сервер и установить в отдельный virtualenv.
Весь процесс станет чуть проще, когда pip wheel перестанет игнорировать существующие wheel-пакеты. А пока приведенный выше shell-скрипт – не худшее решение.
В сравнении с ‘яйцами’
Сейчас wheel-формат более притягателен, чем egg. Его разработка активнее, PyPI начал добавлять его поддержку и, так как с ним начинают работать утилиты, он похож на лучшее решение. ‘Яйца’ пока что поддерживаются только easy_install, хотя большинство давно перешло на pip.
Итак, теперь он у вас есть. Python на колёсах. И это вроде даже работает, и, возможно, стоит потраченного времени.
Русские Блоги
Расширения программ Python (py, pyc, pyw, pyo, pyd) и выбор при публикации программ
расширение
При написании программ на Python нашими общими расширениями являются py, pyc, и на самом деле есть несколько других расширений. Ниже приведено использование нескольких расширений.
Еще одним расширением исходного кода является pyw. Единственное отличие от py заключается в том, что двойной щелчок по исходному коду расширения pyw в Windows вызовет pythonw.exe для выполнения исходного кода. Этот метод выполнения не будет иметь окна командной строки. Он в основном используется, когда программе с графическим интерфейсом не нужно видеть информацию о консоли.
При выполнении кода Python вы часто будете видеть pyc-файлы с одинаковыми именами, автоматически генерируемые в одном и том же каталоге. Это байт-код после компиляции исходного кода Python. Как правило, pyc-файл py-файла, на который есть ссылка в вашем коде, будет автоматически создан при выполнении кода. Этот файл может быть выполнен напрямую, а исходный код не виден при открытии в текстовом редакторе.
Pyd не генерируется из программы Python, а является расширением, написанным на других языках, которые могут вызываться Python.
Выбор версии программы
Поскольку автор в основном рассматривает проблемы публикации только на платформе Windows, а другие платформы используют исходный код, обсуждение здесь в основном вращается вокруг платформы Windows.
Упакован как обычная программа exe
Выпуск скомпилированный pyc / pyo
Если пользователи имеют среду Python и не хотят, чтобы они видели исходный код, они могут выбрать публикацию файлов pyc / pyo.
Непосредственно исполняемые py-файлы не будут автоматически генерировать pyc, и их нужно будет компилировать вручную. Компиляция одного файла:
Скомпилировать в pyo:
Если программе с графическим интерфейсом не требуется консольное окно, вы можете создать новый файл pyw для вызова основной программы pyc. Нужно только импортировать программу pyc в pyw.
Выпуск исходного кода py
Исходный код релиза обычно используется проектами с открытым исходным кодом, объяснять нечего. Отправляйте файл py напрямую, если у другой стороны есть среда для запуска.