Панды: конвертировать категории в числа

Предположим, у меня есть кадр данных со странами, который выглядит так:

cc | temp
US | 37.0
CA | 12.0
US | 35.0
AU | 20.0

Я знаю, что есть функция pd.get_dummies для преобразования стран в «горячие кодировки». Однако вместо этого я хочу преобразовать их в индексы, чтобы вместо этого я получил cc_index = [1,2,1,3].

Я предполагаю, что есть более быстрый способ, чем использование get_dummies вместе с предложением numpy where, как показано ниже:

[np.where(x) for x in df.cc.get_dummies().values]

Это несколько проще сделать в R, используя «факторы», поэтому я надеюсь, что у панд есть что-то подобное.


python pandas series binning categorical-data
person sachinruk    schedule 29.06.2016    source источник
comment
Вы имеете в виду cc_index = [0,1,0,2]?   -  person juanpa.arrivillaga    schedule 29.06.2016
comment
конечно, забыл про индекс python 0   -  person sachinruk    schedule 29.06.2016
comment
Категориальные ряды или столбцы в DataFrame могут помочь.   -  person min2bro    schedule 29.06.2016

Ответы (6)


arrow_upward
176
arrow_downward

Сначала измените тип столбца:

df.cc = pd.Categorical(df.cc)

Теперь данные выглядят одинаково, но хранятся по категориям. Чтобы зафиксировать коды категорий:

df['code'] = df.cc.cat.codes

Теперь у вас есть:

   cc  temp  code
0  US  37.0     2
1  CA  12.0     1
2  US  35.0     2
3  AU  20.0     0

Если вы не хотите изменять свой DataFrame, а просто получите коды:

df.cc.astype('category').cat.codes

Или используйте категориальный столбец в качестве индекса:

df2 = pd.DataFrame(df.temp)
df2.index = pd.CategoricalIndex(df.cc)
person John Zwinck    schedule 29.06.2016
comment
Вызов df.cc.cat.codes, кажется, изменился только на df.cc.codes? - person Andreas Storvik Strauman; 12.03.2020
comment
Обратите внимание, что если у вас есть пропущенные значения, они будут закодированы как -1. Если вы хотите избежать обработки этого случая, вы можете сначала привести к строке: df.cc.astype('str').astype('category').cat.codes - person Guy s; 06.05.2020
comment
Вроде преобразовать NaN как -1? - person ah bon; 19.12.2020

arrow_upward
32
arrow_downward

Если вы хотите преобразовать свою серию только в целочисленные идентификаторы, вы можете использовать pd.factorize.

Обратите внимание, что это решение, в отличие от pd.Categorical, не будет сортироваться по алфавиту. Таким образом, первой стране будет назначено 0. Если вы хотите начать с 1, вы можете добавить константу:

df['code'] = pd.factorize(df['cc'])[0] + 1

print(df)

   cc  temp  code
0  US  37.0     1
1  CA  12.0     2
2  US  35.0     1
3  AU  20.0     3

Если вы хотите отсортировать по алфавиту, укажите sort=True:

df['code'] = pd.factorize(df['cc'], sort=True)[0] + 1
person jpp    schedule 12.07.2018

arrow_upward
18
arrow_downward

Если вы используете библиотеку sklearn, вы можете использовать LabelEncoder. Как и pd.Categorical, входные строки перед кодированием сортируются в алфавитном порядке.

from sklearn.preprocessing import LabelEncoder

LE = LabelEncoder()
df['code'] = LE.fit_transform(df['cc'])

print(df)

   cc  temp  code
0  US  37.0     2
1  CA  12.0     1
2  US  35.0     2
3  AU  20.0     0
person jpp    schedule 19.12.2018

arrow_upward
2
arrow_downward

Однострочный код:

df[['cc']] = df[['cc']].apply(lambda col:pd.Categorical(col).codes)

Это также работает, если у вас есть list_of_columns:

df[list_of_columns] = df[list_of_columns].apply(lambda col:pd.Categorical(col).codes)

Кроме того, если вы хотите сохранить свои значения NaN, вы можете применить замену:

df[['cc']] = df[['cc']].apply(lambda col:pd.Categorical(col).codes).replace(-1,np.nan)
person Piotro    schedule 12.05.2020

arrow_upward
1
arrow_downward

Попробуйте это, преобразуйте в число на основе частоты (высокая частота - большое число):

labels = df[col].value_counts(ascending=True).index.tolist()
codes = range(1,len(labels)+1)
df[col].replace(labels,codes,inplace=True)
person Palepalli Surendra Reddy    schedule 05.01.2020

arrow_upward
0
arrow_downward

Изменит любые столбцы на числа. Он не создаст новый столбец, а просто заменит значения числовыми данными.

def characters_to_numb(*args): for arg in args: df[arg] = pd.Categorical(df[arg]) df[arg] = df[arg].cat.codes return df

person Denis Kalyan    schedule 30.11.2019