Статья Автор: Лебедев Дмитрий Алексеевич

Задания 14-19

Этот датасет содержит информацию о 300 уникальных персонажах вымышленной вселенной, похожей на Marvel. Данные были сгенерированы со специальной логикой, чтобы сделать анализ интересным.

Название столбца	тип, диапазон	описание	комментарий
full_name	string	Полное имя: Настоящее гражданское имя персонажа	Все имена уникальны.
alias	string	Псевдоним: Супергеройское или злодейское прозвище
age	int (18 - 1000)	Возраст: Возраст персонажа в годах	Может быть больше 100 для инопланетян и долгожителей
power	int (1 - 100)	Сила: Уровень физической силы, боевой мощи и способностей.	Измеряется по шкале от 1 до 100. Где 100: Невероятная, богоподобная сила Где 50: Средние способности Где 1: Почти отсутствуют (обычный человек).
intelligence	int (1-100)	Интеллект: Уровень умственных способностей, стратегического мышления и изобретательности.	Шкала от 1 до 100. Где 100: Гениальный уровень ( Где 50: Средний интеллект. Где 1: Очень низкий.
universe	string	Вселенная/Планета происхождения):Родной мир персонажа	Примеры значений: 'Earth' (Земля), 'Asgard' (Асгард), 'Wakanda' (Ваканда), 'Latveria' (Латверия).
is_hero	bool	Является ли героем: Принадлежность к лагерю добра или зла.	Значения: True — герой, False — злодей.
first_appearance	int (1940 - 2023)	Год первого появления:Вымышленный год, когда этот персонаж впервые появился в комиксах.	Чем меньше число, тем "старше" и легендарнее персонаж.
costume_cost	int	Стоимость костюма: Предполагаемая стоимость костюма и экипировки персонажа в долларах США.	Особенность: У технологичных героев (Железный человек) и королей (Черная пантера) стоимость может достигать миллионов и даже миллиардов долларов.
popularity	int (1-100)	Популярность:Условный рейтинг популярности среди фанатов по шкале от 1 до 100	Шкала от 1 до 100. Где 100: Невероятно популярный (Человек-паук). Где 50: Узнаваемый персонаж. Где 1: Забытый герой или неудачливый злодей.

Многоуровневая группировка (Задание 6)

Проанализируй средние показатели силы и интеллекта в разрезе вселенных и типа персонажей (герои/злодеи). Для этого сгруппируй данные по вселенной и признаку is_hero, затем посчитай средние значения силы (с точностью до одной десятой) и интеллекта (с точностью до одной десятой), а также количество персонажей в каждой группе.

На основе полученных результатов ответь на вопросы:

В какой вселенной у злодеев самая высокая средняя сила?
На сколько единиц средний интеллект героев Асгарда выше, чем у злодеев Асгарда?
(с точностью до одной десятой)
Сколько всего злодеев из Асгарда в базе данных?
У какой группы персонажей самая высокая средняя сила? (укажи вселенную)
В какой вселенной наибольшая разница между средним интеллектом героев и злодеев?

import pandas as pd
df = pd.read_csv('marvel_characters.csv')
#Задание 1 Фильтруем, группируем по вселенной, считаем среднее и находим индекс максимума
ans1 = df[~df['is_hero']].groupby('universe')['power'].mean().idxmax()
print(f'Ответ на задание 1 = {ans1}')
df2 = df[df['universe'] == 'Asgard' ].groupby('is_hero')['intelligence'].mean()
ans2 = df2.at[True] - df2.at[False]
ans3 = len(df[(df['universe'] == 'Asgard') & (df['is_hero'] == False)])
print(f'Ответ на задание 2 = {ans2}\nОтвет на задание 3 = {ans3}')
ans4 = df.groupby('universe')['power'].mean().idxmax()
print(f'Ответ на задание 4 = {ans4}')
#df5 = df.groupby(['universe','is_hero'])['intelligence'].mean().unstack()
#df5['delta'] = df5[True]- df5[False]
#ans5 = df5['delta'].idxmax()
ans5 = df.groupby(['universe', 'is_hero'])['intelligence'].mean().unstack().diff(axis=1)[True].idxmax()
print(f'Ответ на задание 5 = {ans5}')

Пояснения к методам

df[~df['is_hero']] - фильтрация по истинным значениям, ~ - отрицание/инверсия значения
.groupby('universe')['power'].mean() — считает среднюю силу для каждой вселенной.
На выходе получается Series, где названия вселенных — это индексы (строки), а числа — значения.
.idxmax() — вместо самого большого числа (которое вернул бы .max())
находит имя строки, в которой это число лежит
К заданию 2: df2 — это одномерный вектор (Series), поэтому мы пишем только одну координату: df2.at[True] (только строка).
unstack() : «Разворачивает» второй уровень индекса (is_hero) в отдельные колонки.
diff(axis=1) : Вычисляет разность между соседними колонками по горизонтали (axis=1). Из каждого значения в колонке True вычитается значение из колонки False

Анализ временных периодов (Задание 7)
Создай колонку "десятилетие" на основе года первого появления персонажей и проанализируй, как менялись средние характеристики персонажей с течением времени. Для этого сгруппируй данные по десятилетиям и посчитай средние значения силы (с точностью до одной десятой), интеллекта, популярности (с точностью до одной десятой), а также количество персонажей в каждом десятилетии.
Десятилетие:

1960 - это года с 1960 по 1969
1970 - это года с 1970 по 1979
и т.д.

На основе полученных результатов ответь на вопросы:

В каком десятилетии появились персонажи с самой высокой средней силой? (Пример ввода ответа: 1960)
В каком десятилетии персонажи имеют самый высокий средний интеллект? (Пример ввода ответа: 1960)
Сколько всего персонажей появилось в 2000-х годах? (целое число)
На сколько единиц популярность персонажей 2020-х годов выше, чем у персонажей 1990-х годов?
(с точностью до одной десятой)
В каком десятилетии наблюдается наименьшее количество созданных персонажей?
(Пример ввода ответа: 1960)

import pandas as pd
df = pd.read_csv('marvel_characters.csv')
#Добавляем столбец десятилетие
df['des'] = df['first_appearance'].apply(lambda x : x - (x % 10))
ans1 = df.groupby(['des'])['power'].mean().idxmax()
print(f'Ответ на задание 1 = {ans1}')
ans2 = df.groupby(['des'])['intelligence'].mean().idxmax()
print(f'Ответ на задание 2 = {ans2}')
ans3 = len(df[df['des'] == 2000])
print(f'Ответ на задание 3 = {ans3}')
df4 = df.groupby(['des'])['popularity'].mean()
ans4 =df4[2020]- df4[1990]
print(f'Ответ на задание 4 = {ans4:.1f}')
ans5 = df.groupby(['des'])['full_name'].count().idxmin()
print(f'Ответ на задание 5 = {ans5}')

Анализ корреляционных характеристик (Задание 8)
Корреляция (corr()) — это статистическая мера, которая показывает силу и направление линейной связи между двумя переменными.

Значение от -1 до 1:
- +1 — идеальная прямая связь (чем больше X, тем больше Y)
- -1 — идеальная обратная связь (чем больше X, тем меньше Y)
- 0 — отсутствие линейной связи
Интерпретация:
- > 0.7 — сильная прямая связь
- 0.3 - 0.7 — умеренная связь
- 0.1 - 0.3 — слабая связь
- < 0.1 — отсутствие практической значимости

Проанализируй матрицу корреляции, ответь на вопросы:

Какая связь наблюдается между силой и интеллектом персонажей? (прямая/обратная)
Насколько сильна эта связь? (сильная/умеренная/слабая)
Есть ли практическая связь между интеллектом и популярностью? (да/нет)
Какая характеристика практически не связана с стоимостью костюма? (название по-русски)
Сделай общий вывод: какие две характеристики наиболее связаны между собой?
(название характеристик по-русски, через запятую и один пробел)

import pandas as pd
df = pd.read_csv('marvel_characters.csv')
st_int ={'age':'возраст', 'popularity':'популярность','intelligence':'интелект','first_appearance':'год первого появления','is_hero':'герой', 'power':'сила'}
ans1 = df['power'].corr(df['intelligence'])
print(f'Ответ на задание 1 = {"обратная"if ans1 < 0 else "прямая"}')
ans2 = "сильная" if abs(ans1)> 0.7 else ("слабая" if abs(ans1)< 0.3 else "умеренная")
print(f'Ответ на задание 2 = {ans2}')
ans3 = df['popularity'].corr(df['intelligence'])
print(f'Ответ на задание 3 = {"нет" if abs(ans3) < 0.1 else "да"}')
ans4 = df[list(st_int)].corrwith(df['costume_cost']).abs().idxmin()
print(f'Ответ на задание 4 = {st_int[ans4]}')
rez = -10      
for i in st_int :
  for j in st_int :    
    if i == j : continue
    rc = df[i].corr(df[j])
    if rc > rez :
        rez = rc
        ans5 = (st_int[i], st_int[j])
print(f'Ответ на задание 5 = {ans5[0]}, {ans5[1]}')

Поиск аномалий и выбросов (Задание 9)
Найди персонажей с необычными сочетаниями характеристик -
очень сильных (>85) но неумных (<50), и очень умных (>85) но слабых (<50).
Ответь на вопросы

Сколько всего персонажей обладают высокой силой (>85), но низким интеллектом (<50)?
Сколько всего персонажей обладают высоким интеллектом (>85), но низкой силой (<50)?
Какой самый высокий уровень силы среди "сильных, но неумных" персонажей?
Какой самый высокий уровень интеллекта среди "умных, но слабых" персонажей?
Укажи псевдоним персонажа с максимальной силой среди всех аномальных персонажей.
Если таких несколько укажи того, у кого выше интеллект.

import pandas as pd
df = pd.read_csv('marvel_characters.csv')
ans1 = len(df[(df['power']>85) & (df['intelligence'] < 50)])
ans2 = len(df[(df['intelligence']>85) & (df['power'] < 50)])
print(f'Ответ на задание 1 = {ans1}\nОтвет на задание 2 = {ans2}')
ans3= df[(df['power']>85) & (df['intelligence']<50)]['power'].max()
ans4= df[(df['power']<50) & (df['intelligence']>85)]['intelligence'].max()
print(f'Ответ на задание 3 = {ans3}\nОтвет на задание 4 = {ans4}')
ans31= df[(df['power']>85) & (df['intelligence']<50)]['intelligence'].max()
ans5= df[(df['power'] == ans3) & (df['intelligence'] == ans31)]['alias'].max() 
print(f'Ответ на задание 5 = {ans5}')

Анализ стоимости и эффективности (Задание 10)

nlargest(n, columns) - возвращает n наибольших значений по указанному столбцу
nsmallest(n, columns) - возвращает n наименьших значений по указанному столбцу

Параметры:

n - количество строк для возврата
columns - имя столбца или список столбцов для сортировки
keep - что делать с дубликатами: 'first', 'last', 'all'

Преимущества перед sort_values():

Более читаемый код
Лучшая производительность для больших датасетов
Прямое получение топ-N значений

Найди самых "бюджетных" (лучшее соотношение характеристик силы и интеллекта к стоимости) и самых "дорогих" персонажей.
Ответь на вопросы:

Сколько стоит костюм самого "бюджетного" персонажа (с лучшим соотношением характеристик к стоимости)?
(целое число, в долларах)
Какой псевдоним у самого эффективного по стоимости персонажа?
Какова суммарная характеристика (сила + интеллект) у самого неэффективного персонажа?
На сколько единиц сила самого дорогого персонажа превышает его интеллект?
(положительное число, если сила превышает интеллект, отрицательное - если наоборот)
У какого персонажа из топ-5 неэффективных самый высокий интеллект?
Укажи в ответе его полное имя.

import pandas as pd
df = pd.read_csv('marvel_characters.csv')
df['pi'] = df['power']+df['intelligence']
df['cp1'] = (df['pi'])/df['costume_cost']
df1 = df.nlargest(5,'cp1')
ans1 = df1['costume_cost'].min()
print(f'Ответ на задание 1 ={ans1}')
ans2 = df1[df1['costume_cost'] == ans1]['alias'].max()
print(f'Ответ на задание 2 ={ans2}')
ans3 = df.nsmallest(5,'cp1')['pi'].reset_index().at[0,'pi']
print(f'Ответ на задание 3 ={ans3}')
ind4 = df['costume_cost'].idxmax()
ans4 = df.at[ind4, 'power'] - df.at[ind4,'intelligence']
print(f'Ответ на задание 4 ={ans4}')
id5 = df.nsmallest(5,'cp1')['intelligence'].idxmax()
ans5 = df.at[id5, 'full_name']
print(ans5)

Attached files
marvel_characters.csv

Печать