Функции ошибок в задачах регрессии

Сегодня будет сделанный с любовью обзор функций ошибок и функционалов качества в задачах регрессии.

pic_err2_05

Выкладываю часть главы «Метрики качества» из своей вечно недописанной книги. Она полностью сделана по материалам моего курса в МГУ. Краткое содержание:

  • Качество работы алгоритма
  • Функции ошибки в задачах регрессии
  • Средний модуль отклонения (MAE – Mean Absolute Error или MAD – Mean Absolute Deviation)
  • Средний квадрат отклонения (MSE – Mean Squared Error), корень из этой ошибки: RMSE – Root Mean Squared Error, коэффициент детерминации (R2)
  • функция ошибки Хьюбера (Huber loss) и logcosh
  • Обобщения MAE и RMSE
  • Средний процент отклонения (MAPE – Mean Absolute Percent Error)
  • Симметричный средний процент отклонения (SMAPE – Symmetric Mean Absolute Percentage Error)
  • MRAE – Mean Relative Absolute Error, REL_MAE, Percent Better
  • MASE (Mean Absolute Scaled Error)
  • eB – процент случаев, когда ответ алгоритма верен с некоторой заранее заданной точностью
  • Несимметричные функции ошибки
  • Реализация функций ошибок в scikit-learn

Материал ещё сырой, поэтому все замечания, предложения, найденные неточности и ошибки пишите в комментарии.

Предыдущие посты из этой серии:

И побуду «заядлым блогером»: если пост наберёт больше 2000 просмотров, то опубликую продолжение главы;)

Функции ошибок в задачах регрессии: 13 комментариев

  1. Алексадр Геннадьевич, может, Вам найти энтузиастов среди толковых студентов-аспирантов? В полноценные соавторы — вычитать все, привнести свежее видение, сделать книгу современной, добавив практические упражнения в стиле «побить бэйзлайн на кэггле». Я бы сам вызвался, но я если возьмусь за книгу — то на английском на базе mlcourse.ai.
    Можем кинуть клич в OpenDataScience. Думаю, желающие вызовутся, там отберете себе подходящего.

  2. > Простая эвристика «завтра будет также, как вчера
    так же

    > В данном случае не важно обучающая это выборка
    запятая после «важно»

    > Как отмечается в главе «Контроль» качество
    запятая после «Контроль»

    стр. 4, переход от правдоподобия к большому произведению — тут важно отметить, что это работает только в предположении о независимости набюлюдений. Чаще предполагают еще и одинаковое их распределение (i.i.d), хотя для этих рассуждений нужна только независимость.

    На мой субъктивный вгляд, лучше сначала показать вывод MSE из ММП — предположение о нормальнсти ошибок куда более интуитивно, чем «Лаплас»

    > Заметим, что если бы в каждой точке была бы своя шибка:
    ошибка

    > Хорошо или плохо, если RMSE=27?
    тут наверно MSE имеется в виду

    Непонятна подпись «=О(2)» в разложении l(y,a) по Маклорену под линейным членом

    Мне пора остановиться — в четверг защита диссера 🙂

  3. Здравствуйте! Очень нравится читать ваш блог, подача простым и доступным языком позволяет хорошо усвоить некоторые неочевидные моменты.

    Такой вопрос — стр.18, «При k1 < k2 мы больше штрафуем завышение и оптимальная константа смешается влево…". Не должно ли тут быть наоборот?

  4. На иллюстрации с плотностью распределения Лапласа вместо $\alpha=2$ должно быть $\alpha=0.5$. Видимо, иллюстрация взята от более привычной записи функции плотности, где коэффициент стоит в знаменателе.

  5. Последняя попытка. Дело было в знаках больше-меньше. Попробую переформулировать:
    В несимметричных функциях ошибок перепутаны знаки в условиях: вместо y_i ≥ a_i должно быть y_i ≤ a_i, и наоборот. Иначе некорректны подпись оси a-y на графике 8.19 и весь абзац про штрафы за занижение и завышение.

    • Cпасибо большое, об этой ошибке выше уже упомянул Некит.

      А с комментариями, действительно, проблемы. Символы ТеХа тут особо не поиспользуешь.

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

Connecting to %s