Метрики качества модели

ID 95960. 2.3.5 Когда метрики не согласны (уровень 3)

Инженеры сравнивают две модели предсказания нагрузки на сервер:

• Модель 1: \( y = 2x + 30 \)
• Модель 2: \( y = 2x + 45 \)

Файл load.txt содержит 5500 строк с реальными данными: число_запросов нагрузка.

Сравните модели по двум метрикам:

• MAE — средняя абсолютная ошибка;
• максимальная абсолютная ошибка.

В ответе запишите два числа через пробел: номер модели, лучшей по MAE, и номер модели, лучшей по максимальной ошибке.

Разные метрики могут указывать на разные модели — это нормально.

ID 95959. 2.3.4 Класс с худшей точностью (уровень 3)

Система распознавания дорожных знаков классифицирует знаки на три класса: 0 — запрещающие, 1 — предупреждающие, 2 — информационные.

Файл signs.txt содержит 9000 строк: прогноз_системы реальный_класс.

Для каждого класса вычислите точность по классу — долю объектов этого реального класса, которые система распознала верно.

Найдите класс с наименьшей точностью.

В ответе запишите два числа через пробел: номер худшего класса и его точность в процентах, округлённую до целого числа.

ID 95958. 2.3.3 RSS на обучении и контроле (уровень 3)

Файл signal.txt содержит 7000 строк: входной_сигнал выходной_сигнал.

Первые 5000 строк — обучающая выборка, последние 2000 — контрольная.

Постройте линейную регрессию только по обучающей выборке.

Вычислите RSS этой модели отдельно:

• на обучающей выборке (строки 1–5000);
• на контрольной выборке (строки 5001–7000).

В ответе запишите два числа через пробел: RSS на обучении и RSS на контроле, каждое округлено до целого числа.

ID 95957. 2.3.2 Ложные срабатывания и пропуски (уровень 3)

Банк использует правило выявления мошеннических операций:

• «мошенничество», если сумма > 50000 и час операции < 6 (ночная операция);
• «норма» в остальных случаях.

Файл fraud.txt содержит 6000 строк: сумма час метка, где метка — 1 (реальное мошенничество) или 0 (легальная операция).

Определите:

• количество ложных срабатываний (false positive) — правило пометило операцию как мошенничество, но она легальная;
• количество пропусков (false negative) — правило пометило операцию как норму, но это мошенничество.

В ответе два числа через пробел.

ID 95956. 2.3.1 Сравнение двух моделей по MAE (уровень 3)

Два аналитика предложили модели для предсказания стоимости доставки по расстоянию:

• Модель 1: \( y = 1{,}4x + 50 \)
• Модель 2: \( y = 1{,}6x + 30 \)

Файл delivery.txt содержит 5000 строк с реальными данными: расстояние_км стоимость_руб.

Для каждой модели вычислите MAE (среднюю абсолютную ошибку). Лучшая модель — та, у которой MAE меньше.

В ответе запишите два числа через пробел: номер лучшей модели (1 или 2) и её MAE, умноженную на 10 и округлённую до целого числа.

ID 95955. 2.2.5 Коэффициент детерминации R² (уровень 2)

Исследователь изучает связь между временем самостоятельных занятий и результатом теста. Файл study.txt содержит 3200 строк: часы_занятий балл_теста.

Постройте линейную регрессию и вычислите коэффициент детерминации:

\( R^2 = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{\sum (y_i - \bar{y})^2} \),

где \( \hat{y}_i \) — предсказание модели, \( \bar{y} \) — среднее значение баллов.

В ответе укажите \( R^2 \), умноженный на 1000 и округлённый до целого числа.

Например, если \( R^2 = 0.857 \), ответ: 857.

ID 95954. 2.2.4 Большие относительные ошибки (уровень 2)

Компания анализирует оплату внештатных сотрудников. Файл salary.txt содержит 2800 строк: отработанные_часы выплата_руб.

Постройте линейную регрессию \( \text{Выплата} = a \cdot \text{Часы} + b \).

Выплата считается сильно отклоняющейся, если её относительная ошибка превышает 10%:

\( \frac{|y_i - \hat{y}_i|}{|\hat{y}_i|} > 0{,}1 \), где \( \hat{y}_i \) — предсказание модели.

Определите количество сильно отклоняющихся выплат.

ID 95953. 2.2.3 MAE модели цены автомобиля (уровень 2)

Автодилер собрал данные о 3500 проданных автомобилях одной модели. Файл cars.txt содержит строки: пробег_тыс_км цена_тыс_руб.

Постройте линейную регрессию \( \text{Цена} = a \cdot \text{Пробег} + b \).

Вычислите среднюю абсолютную ошибку (MAE) модели — среднее модулей отклонений реальных цен от предсказанных.

В ответе укажите MAE, умноженную на 10 и округлённую до целого числа.

ID 95952. 2.2.2 Точность правила прогноза дождя (уровень 2)

Метеостанция собрала данные за 4000 дней. Файл weather.txt содержит строки: температура влажность давление дождь, где дождь — 1 (был) или 0 (не был).

Метеоролог использует правило прогноза:

• «дождь», если температура > 5 и влажность > 70 и давление < 745;
• «без осадков» в остальных случаях.

Примените правило к каждому дню и вычислите точность (accuracy) — долю дней, когда прогноз по правилу совпал с реальностью.

В ответе укажите точность в процентах, округлённую до целого числа.

ID 95951. 2.2.1 RSS построенной регрессии (уровень 2)

Даны результаты 2200 экспериментов. Файл experiment.txt содержит строки: давление_атм объём_л. Зависимость объёма от давления приближённо линейная.

Постройте линейную регрессию \( V = a \cdot P + b \) методом наименьших квадратов.

Вычислите остаточную сумму квадратов (RSS) — сумму квадратов отклонений реальных значений от предсказанных построенной моделью.

В ответе укажите RSS, округлённую до целого числа.

ID 95950. 2.1.5 RSS готовой модели (уровень 1)

Аналитик построил модель зависимости выручки от количества посетителей: \( y = 3x + 12 \).

Файл revenue.txt содержит 1800 строк с реальными данными: посетители выручка.

Вычислите остаточную сумму квадратов (RSS) для этой модели:

\( RSS = \sum_{i=1}^{n} (y_i - (3x_i + 12))^2 \)

В ответе укажите RSS, округлённую до целого числа.

ID 95949. 2.1.4 Количество ошибок диагностики (уровень 1)

Медицинская система автоматической диагностики классифицирует снимки на три класса: 0 — норма, 1 — лёгкая патология, 2 — тяжёлая патология.

Файл diagnosis.txt содержит 2500 строк: прогноз_системы диагноз_врача.

Определите количество ошибок системы — число снимков, для которых прогноз не совпал с диагнозом врача.

ID 95948. 2.1.3 Максимальная ошибка датчика (уровень 1)

Лаборатория проверяет датчик давления, сравнивая его показания с эталонным прибором. Файл sensor.txt содержит 3000 строк: показание_датчика эталонное_значение.

Найдите максимальную абсолютную ошибку датчика — наибольший модуль разности между показанием датчика и эталоном.

В ответе укажите максимальную ошибку, умноженную на 100 и округлённую до целого числа.

ID 95947. 2.1.2 Точность спам-фильтра (уровень 1)

Спам-фильтр обработал 2000 писем. Файл spam.txt содержит 2000 строк. В каждой строке два числа через пробел: прогноз_фильтра реальная_метка, где 1 — спам, 0 — не спам.

Вычислите точность (accuracy) фильтра — долю писем, для которых прогноз совпал с реальной меткой.

В ответе укажите точность в процентах, округлённую до целого числа.

ID 95946. 2.1.1 Ошибка прогноза погоды (уровень 1)

Метеослужба проверяет качество своих прогнозов температуры. Файл forecast.txt содержит 1500 строк. В каждой строке два числа через пробел: прогноз_температуры реальная_температура.

Вычислите среднюю абсолютную ошибку (MAE) прогноза:

\( MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i^{прогноз} - y_i^{факт}| \)

В ответе укажите MAE, умноженную на 100 и округлённую до целого числа.

Например, если MAE = 1.87, ответ: 187.