pd factorize что делает

Русские Блоги

Подробное объяснение pd.get_dummies () и pd.factorize ()

pandas.get_dummies

(Преобразование категориальных переменных в горячую кодировку с использованием метода pandas для достижения, эквивалентного горячей кодировке sklearn)

Кодирование дискретных признаков делится на два случая:

1. Нет значимости между значениями дискретных функций, таких как цвет: [красный, синий], тогда используйте одноразовое кодирование.

2. Значение дискретного объекта имеет значение размера, например size: [X, XL, XXL], затем используйте числовое сопоставление

Используйте pandas, чтобы легко выполнять быстрое кодирование дискретных функций

Официальный документ

pandas.get_dummies (data, prefix=None, prefix_sep=’_’, dummy_na=False, columns=None, sparse=False, drop_first=False, dtype=None) [source]

data : Может быть типом массива, типом серии, типом DataFrame

drop_first: Boolean, по умолчанию False, указывает, следует ли удалить первый столбец.

пример

Может get_dummies в указанном столбце

Объединить указанный столбец с метаданными после get_dummies

pandas.factorize

pandas.factorize(values, sort=False, order=None, na_sentinel=-1, size_hint=None)[source]

Закодируйте объект как переменную перечислимого типа или категории. факторизовать Функция может вызывать номинальное отображение данных в Серии как набор чисел, и такое же номинальное отображение данных является тем же номером.

sort : Sort, bool type, по умолчанию False; указывает, нужно ли сортировать по уникальному;

метки: закодированное значение

Уникальные: это индекс

Разница между get_dummies () и factorize ()

factorize () сопоставляет идентификатор каждой категории, и это сопоставление, наконец, генерирует только одну функцию.

Dummy () генерирует несколько функций после сопоставления.

Источник

Открытый курс машинного обучения. Тема 2: Визуализация данных c Python

Второе занятие посвящено визуализации данных в Python. Сначала мы посмотрим на основные методы библиотек Seaborn и Plotly, затем поанализируем знакомый нам по первой статье набор данных по оттоку клиентов телеком-оператора и подглядим в n-мерное пространство с помощью алгоритма t-SNE. Есть и видеозапись лекции по мотивам этой статьи в рамках второго запуска открытого курса (сентябрь-ноябрь 2017).

UPD: теперь курс — на английском языке под брендом mlcourse.ai со статьями на Medium, а материалами — на Kaggle (Dataset) и на GitHub.

Сейчас статья уже будет существенно длиннее. Готовы? Поехали!

План этой статьи

Демонстрация основных методов Seaborn и Plotly

В начале как всегда настроим окружение: импортируем все необходимые библиотеки и немного настроим дефолтное отображение картинок.

После этого загрузим в DataFrame данные, с которыми будем работать. Для примеров я выбрала данные о продажах и оценках видео-игр из Kaggle Datasets.

Seaborn

Познакомимся с первым таким «сложным» типом графиков pair plot ( scatter plot matrix ). Эта визуализация поможет нам посмотреть на одной картинке, как связаны между собой различные признаки.

Как можно видеть, на диагонали матрицы графиков расположены гистограммы распределений признака. Остальные же графики — это обычные scatter plots для соответствующих пар признаков.

Для понимания лучше один раз увидеть, поэтому вот еще и картинка с Wikipedia:

Plotly

Прелесть интерактивных графиков заключается в том, что можно посмотреть точное численное значение при наведении мыши, скрыть неинтересные ряды в визуализации, приблизить определенный участок графика и т.д.

Для начала построим line plot с динамикой числа вышедших игр и их продаж по годам.

Параметр show_link отвечает за ссылки на online-платформу plot.ly на графиках. Поскольку обычно это функциональность не нужна, то я предпочитаю скрывать ее для предотвращения случайных нажатий.

Можно сразу сохранить график в виде html-файла.

С помощью plotly можно построить и другие типы визуализаций. Графики получаются достаточно симпатичными с дефолтными настройками. Однако библиотека позволяет и гибко настраивать различные параметры визуализации: цвета, шрифты, подписи, аннотации и многое другое.

Пример визуального анализа данных

Считываем в DataFrame знакомые нам по первой статье данные по оттоку клиентов телеком-оператора.

Проверим, все ли нормально считалось – посмотрим на первые 5 строк (метод head ).

Число строк (клиентов) и столбцов (признаков):

Посмотрим на признаки и убедимся, что пропусков ни в одном из них нет – везде по 3333 записи.

Целевая переменная: Churn – Признак оттока, бинарный (1 – потеря клиента, то есть отток). Потом мы будем строить модели, прогнозирующие этот признак по остальным, поэтому мы и назвали его целевым.

Посмотрим на распределение целевого класса – оттока клиентов.

Выделим следующие группы признаков (среди всех кроме Churn ):

Посмотрим на корреляции количественных признаков. По раскрашенной матрице корреляций видно, что такие признаки как Total day charge считаются по проговоренным минутам (Total day minutes). То есть 4 признака можно выкинуть, они не несут полезной информации.

Теперь посмотрим на распределения всех интересующих нас количественных признаков. На бинарные/категориальные/порядковые признакие будем смотреть отдельно.

Видим, что большинство признаков распределены нормально. Исключения – число звонков в сервисный центр (Customer service calls) (тут больше подходит пуассоновское распределение) и число голосовых сообщений (Number vmail messages, пик в нуле, т.е. это те, у кого голосовая почта не подключена). Также смещено распределение числа международных звонков (Total intl calls).

Еще полезно строить вот такие картинки, где на главной диагонали рисуются распределения признаков, а вне главной диагонали – диаграммы рассеяния для пар признаков. Бывает, что это приводит к каким-то выводам, но в данном случае все примерно понятно, без сюрпризов.

Дальше посмотрим, как признаки связаны с целевым – с оттоком.

Построим boxplot-ы, описывающее статистики распределения количественных признаков в двух группах: среди лояльных и ушедших клиентов.

На глаз наибольшее отличие мы видим для признаков Total day minutes, Customer service calls и Number vmail messages. Впоследствии мы научимся определять важность признаков в задаче классификации с помощью случайного леса (или градиентного бустинга), и окажется, что первые два – действительно очень важные признаки для прогнозирования оттока.

Посмотрим отдельно на картинки с распределением кол-ва проговоренных днем минут среди лояльных/ушедших. Слева — знакомые нам боксплоты, справа – сглаженные гистограммы распределения числового признака в двух группах (скорее просто красивая картинка, все и так понятно по боксплоту).

Интересное наблюдение: в среднем ушедшие клиенты больше пользуются связью. Возможно, они недовольны тарифами, и одной из мер борьбы с оттоком будет понижение тарифных ставок (стоимости мобильной связи). Но это уже компании надо будет проводить дополнительный экономический анализ, действительно ли такие меры будут оправданы.

Теперь посмотрим на связь бинарных признаков International plan и Voice mail plan с оттоком. Наблюдение: когда роуминг подключен, доля оттока намного выше, т.е. наличие международного роуминга – сильный признак. Про голосовую почту такого нельзя сказать.

Наконец, посмотрим, как с оттоком связан категориальный признак State. С ним уже не так приятно работать, поскольку число уникальных штатов довольно велико – 51. Можно в начале построить сводную табличку или посчитать процент оттока для каждого штата. Но данных по каждом штату по отдельности маловато (ушедших клиентов всего от 3 до 17 в каждом штате), поэтому, возможно, признак State впоследствии не стоит добавлять в модели классификации из-за риска переобучения (но мы это будем проверять на кросс-валидации, stay tuned!).

Доли оттока для каждого штата:

Видно, что в Нью-Джерси и Калифорнии доля оттока выше 25%, а на Гавайях и в Аляске меньше 5%. Но эти выводы построены на слишком скромной статистике и возможно, это просто особенности имеющихся данных (тут можно и гипотезы попроверять про корреляции Мэтьюса и Крамера, но это уже за рамками данной статьи).

Подглядывание в n-мерное пространство с t-SNE

Построим t-SNE представление все тех же данных по оттоку. Название метода сложное – t-distributed Stohastic Neighbor Embedding, математика тоже крутая (и вникать в нее не будем, но для желающих – вот оригинальная статья Д. Хинтона и его аспиранта в JMLR), но основная идея проста, как дверь: найдем такое отображение из многомерного признакового пространства на плоскость (или в 3D, но почти всегда выбирают 2D), чтоб точки, которые были далеко друг от друга, на плоскости тоже оказались удаленными, а близкие точки – также отобразились на близкие. То есть neighbor embedding – это своего рода поиск нового представления данных, при котором сохраняется соседство.

Раскрасим полученное t-SNE представление данных по оттоку (синие – лояльные, оранжевые – ушедшие клиенты).

Видим, что ушедшие клиенты преимущественно «кучкуются» в некоторых областях признакового пространства.

Чтоб лучше понять картинку, можно также раскрасить ее по остальным бинарным признакам – по роумингу и голосовой почте. Синие участки соответствуют объектам, обладающим этим бинарным признаком.

Теперь понятно, что, например, много ушедших клиентов кучкуется в левом кластере людей с поключенным роумингом, но без голосовой почты.

Напоследок отметим минусы t-SNE (да, по нему тоже лучше писать отдельную статью):

И еще пара картинок. С помощью t-SNE можно действительно получить хорошее представление о данных (как в случае с рукописными цифрами, вот хорошая статья), а можно просто нарисовать елочную игрушку.

Домашнее задание № 2

Актуальные домашние задания объявляются во время очередной сессии курса, следить можно в группе ВК и в репозитории курса.

В качестве закрепления материала предлагаем выполнить это задание – провести визуальный анализ данных о публикациях на Хабрахабре. Проверить себя можно отправив ответы в веб-форме (там же найдете и решение).

Обзор полезных ресурсов

Статья написана в соавторстве с yorko (Юрием Кашницким).

Источник

Python | Pandas Series.factorize ()

Серия Pandas — это одномерный массив с метками осей. Метки не обязательно должны быть уникальными, но должны иметь тип hashable. Объект поддерживает индексирование на основе целых чисел и меток и предоставляет множество методов для выполнения операций, связанных с индексом.

Series.factorize() Pandas Series.factorize() кодирует объект как перечислимый тип или категориальную переменную. Этот метод полезен для получения числового представления массива, когда все, что имеет значение, — это идентификация различных значений.

Syntax: Series.factorize(sort=False, na_sentinel=-1)

Parameter :
sort : Sort uniques and shuffle labels to maintain the relationship.
na_sentinel : Value to mark “not found”.

Returns :
labels : ndarray
uniques : ndarray, Index, or Categorical

Пример # 1: Используйте Series.factorize() для кодирования базовых данных данного объекта серии.

# импорт панд как pd

import pandas as pd

Выход :

Теперь мы будем использовать Series.factorize() для кодирования базовых данных данного объекта серии.

Пример # 2: Используйте Series.factorize() для кодирования базовых данных данного объекта серии.

# импорт панд как pd

import pandas as pd

Выход :

Теперь мы будем использовать Series.factorize() для кодирования базовых данных данного объекта серии.

Выход :

Как мы видим на выходе, Series.factorize() успешно кодировала базовые данные данного объекта серии.

Источник

Трюки Pandas от RealPython

К старту флагманского курса по Data Science делимся сокращённым переводом из блога RealPython о трюках с Pandas, материал начинается с конфигурирования запуска библиотеки и заканчиваются примерами работы с операторами и их приоритетом. Затрагивается тема экономии памяти, сжатие фреймов, интроспекция GroupBy через итерацию и другие темы. Подробности, как всегда, под катом.

1. Параметры запуска интерпретатора

Запустив сеанс интерпретатора, вы увидите, что сценарий запуска выполнен и Pandas автоматически импортируется с вашим набором опций:

Воспользуемся данными abalone в репозитории машинного обучения UCI, чтобы продемонстрировать заданное в файле запуска форматирование. Сократим данные до 14 строк с точностью до 4 цифр для чисел с плавающей точкой:

Позже вы увидите этот набор данных и в других примерах.

2. Игрушечные cтруктуры данных с помощью модуля тестирования Pandas

В модуле Pandas testing скрыт ряд удобных функций для быстрого построения квазиреалистичных Series и фреймов данных:

Их около 30, полный список можно увидеть, вызвав dir() на объекте модуля. Вот несколько вариантов:

Они полезны для бенчмаркинга, тестирования утверждений и экспериментов с не очень хорошо знакомыми методами Pandas.

3. Используйте преимущества методов доступа

Возможно, вы слышали о термине акcессор, который чем-то напоминает геттер (хотя геттеры и сеттеры используются в Python нечасто). В нашей статье будем называть аксессором свойство, которое служит интерфейсом для дополнительных методов. В Series [на момент написания оригинальной статьи] их три, сегодня их 4:

Да, приведённое выше определение многозначно, поэтому до обсуждения внутреннего устройства посмотрим на примеры.

.cat — для категориальных данных;

.str — для строковых (объектных) данных;

.dt — для данных, подобных времени.

4. Создание индекса времени даты из столбцов компонентов

Наконец, вы можете отказаться от старых отдельных столбцов и преобразовать их в Series:

Интуитивно суть передачи фрейма данных в том, что DataFrame похож на словарь Python, где имена столбцов — это ключи, а отдельные столбцы (Series) — значения словаря. Поэтому pd.to_datetime (df[datecols].to_dict (orient=’list’)) здесь также будет работать.

5. Использование категориальных данных для экономии времени и места

А что если бы мы могли взять перечисленные выше уникальные цвета и отобразить каждый из них в занимающее меньше места целое число? Наивная реализация:

Другой способ сделать то же самое в Pandas — pd.factorize (colors) :

Так или иначе объект кодируется как перечислимый тип (категориальная переменная).

«Использование памяти Categorical пропорционально количеству категорий плюс длина данных. Напротив, object dtype — это константа, умноженная на длину данных» (Источник).

В colors выше есть соотношение двух значений на каждое уникальное значение, то есть на категорию:

Экономия памяти от преобразования в Categorical хороша, но невелика:

Но, если у вас будет, например, много демографических данных, где мало уникальных значений, объём требуемой памяти уменьшится в 10 раз:

Можно воспроизвести что-то похожее на пример выше, который делался вручную:

Всё, что вам нужно сделать, чтобы в точности повторить предыдущий ручной вывод, — это изменить порядок кодов:

Обратите внимание, что dtype — это int8 NumPy, 8-битное знаковое целое, которое может принимать значения от −127 до 128. Для представления значения в памяти требуется только один байт. 64-битные знаковые int были бы излишеством с точки зрения потребления памяти. Грубый пример привёл к данным int64 по умолчанию, тогда как Pandas достаточно умна, чтобы привести категориальные данные к минимально возможному числовому dtype.

6. Интроспекция объектов Groupby через итерацию

При вызове df.groupby (‘x’) результирующие объекты Pandas groupby могут быть немного непрозрачными. Этот объект инстанцируется лениво и сам по себе не имеет никакого осмысленного представления. Продемонстрируем это на наборе данных abalone из первого примера:

7. Используйте этот трюк с отображением для бининга

Представьте: есть Series и соответствующая «таблица сопоставления», где каждое значение принадлежит к многочленной группе или вообще не принадлежит ни одной группе:

Другими словами, вам нужно сопоставить countries со следующим результатом:

Код значительно быстрее, чем вложенный цикл Python по группам для каждой страны:

Задача — сопоставить каждую группу в groups целому числу. Однако Series.map() не распознаёт ‘ab’ — ему нужна разбитая версия, где каждый символ из каждой группы отображён на целое число. Это делается охватом словаря:

Этот словарь может передаваться в s.map() для сопоставления или «перевода» его значений в соответствующие индексы групп.

8. Загрузка данных из буфера обмена

Это позволяет копировать структурированный текст непосредственно в DataFrame или Series. В Excel данные будут выглядеть примерно так:

Его текстовое представление может выглядеть так:

Просто выделите и скопируйте текст выше и вызовите pd.read_clipboard() :

9. Запись объектов Pandas в сжатый формат

Этот короткий пример завершает список. Начиная с версии Pandas 0.21.0 вы можете записывать объекты Pandas непосредственно для сжатия gzip, bz2, zip или xz, а не хранить несжатый файл в памяти и преобразовывать его. Вот пример, использующий данные abalone из первого трюка:

Коэффициент разницы в размерах равен 11,6:

Data Science — это не только статистика, но и написание кода, который с учётом работы с большими данными должен быть эффективным. В этом одна из причин высокой зарплаты специалиста в науке о данных, стать которым мы можем помочь вам на нашем курсе. Также вы можете узнать, как начать карьеру аналитика или инженера данных, начать с нуля или прокачаться в других направлениях, например, в Fullstack-разработке на Python:

Data Science и Machine Learning

Источник

factorize

Смотреть что такое «factorize» в других словарях:

factorize — fac‧tor‧ize [ˈfæktəraɪz] also factorise verb [transitive] STATISTICS to divide a sum into the numbers that, when multiplied, equal that sum. For example, if you factorise the number 10, you get 2 and 5 … Financial and business terms

factorize — (Amer.) v. (Mathematics) separate into factors (also factorise) … English contemporary dictionary

factorize — (also factorise) ► VERB Mathematics ▪ resolve or be resolvable into factors. DERIVATIVES factorization noun … English terms dictionary

factorize — [fak′tər īz΄] vt. factorized, factorizing Math. FACTOR factorization n … English World dictionary

factorize — UK [ˈfæktəraɪz] / US [ˈfæktəˌraɪz] verb [transitive] Word forms factorize : present tense I/you/we/they factorize he/she/it factorizes present participle factorizing past tense factorized past participle factorized maths to divide a number… … English dictionary

factorize — transitive verb see factorization … New Collegiate Dictionary

factorize — factorization, n. /fak teuh ruyz /, v.t., factorized, factorizing. 1. Math. to resolve into factors. 2. Law. garnishee (def. 1). Also, esp. Brit., factorise. [1855 60; FACTOR + IZE] * * * … Universalium

factorize — verb a) To create a list of factors. b) To divide an expression into a listing items that, when multiplied together, will produce the original quantity. See Also: factor, factorization … Wiktionary

factorize — or factorise verb Mathematics resolve or be resolvable into factors. Derivatives factorization noun … English new terms dictionary

factorize — also ise BrE verb (T) technical to divide a number into factors factorization noun (U) … Longman dictionary of contemporary English

Источник