Перегляд вихідного коду сторінки Функція втрат

{{Otheruses|Функція витрат}}
В [[Математична оптимізація|математичній оптимізації]], [[Статистика|статистиці]], [[Теорія рішень|теорії рішень]] та [[Машинне навчання|машинному навчанні]] '''фу́нкція втрат''' ({{lang-en|loss function}}) або '''фу́нкція витра́т''' ({{lang-en|cost function}})&nbsp;— це функція, яка відображує [[Випадкова подія|подію]], або значення однієї чи декількох величин, на [[дійсне число]], яке інтуїтивно представляє якісь «витрати», пов'язані з цією подією. [[Задача оптимізації]] намагається функцію втрат мінімізувати. '''[[Цільова функція|Цільова́ фу́нкція]]''' ({{lang-en|objective function}}) є або функцією втрат, або протилежною їй (яку іноді називають [[Функція винагороди|функцією винагороди]], {{нп|Функція прибутку|функцією прибутку||Profit function}}, [[Функція корисності|функцією корисності]], [[Функція допасованості|функцією допасованості]] тощо), в разі чого вона підлягає максимізації.

У статистиці функція втрат, як правило, використовується для [[оцінювання параметрів]], а подія, яка розглядається, є певною функцією відмінності між розрахунковими та істинними значеннями для зразка даних. Це поняття, старе як [[П'єр-Симон Лаплас|Лаплас]], було повторно введено до статистики [[Абрахам Вальд|Абрахамом Валдом]] в середині XX століття.<ref>{{cite book |first=A. |last=Wald |title=Statistical Decision Functions |url=https://archive.org/details/statisticaldecis0000abra_t1e7 |location= |publisher=Wiley |year=1950 }} {{ref-en}}</ref> В контексті [[Економіка|економіки]], наприклад, воно зазвичай є {{нп|Економічна вартість|економічною вартістю||Economic cost}} або [[Смуток (теорія рішень)|смутком]]. У [[Статистична класифікація|класифікації]] воно є штрафом за неправильну класифікацію прикладу. В [[Актуарна математика|актуарній науці]] воно використовується в контексті страхування для моделювання виплат над страховими преміями, особливо з часів праць {{нп|Гаральд Крамер|Гаральда Крамера||Harald Cramér}} 1920-х років.<ref>{{cite book |last=Cramér |first=H. |year=1930 |title=On the mathematical theory of risk |work=Centraltryckeriet }} {{ref-en}}</ref> В [[Оптимальне керування|оптимальному керуванні]] втрати є штрафом за невдачу в досягненні бажаного значення. В [[Ризик-менеджмент|управлінні]] фінансовими [[Ризик-менеджмент|ризиками]] ця функція точно відображається на грошові втрати.

== Використання в статистиці ==

Оцінювання параметрів для задач [[Кероване навчання|керованого навчання]], таких як [[Регресійний аналіз|регресія]] або класифікація, може бути сформульовано як [[Чисельна оптимізація|мінімізацію]] функції втрат над [[Тренувальний набір|тренувальним набором]]. Метою оцінювання є знаходження функції, яка добре моделює свій вхід: при застосуванні її до тренувального набору вона повинна передбачати значення (або мітки класів), пов'язані зі зразками в цьому наборі. Функція втрат здійснює чисельну оцінку величини, на яку передбачення відхиляється від дійсних значень.

=== Визначення ===

Формально, ми починаємо з розгляду деякого сімейства розподілів для [[Випадкова величина|випадкової величини]] ''X'', проіндексованого деякою ''θ''.

Інтуїтивно, ми можемо розглядати ''X'' як наші «дані», можливо, <math>X=(X_1,\ldots,X_n)</math>, де <math>X_i\sim F_\theta</math> є [[Незалежні однаково розподілені випадкові величини|НОР]]. ''X'' є набором речей, про які {{нп|правило вирішування|||Decision rule}} ухвалюватиме рішення. Існує якесь число можливих шляхів <math>F_\theta</math> моделювання наших даних ''X'', які наша функція рішення може використовувати для ухвалення рішень. При скінченному числі моделей ми можемо розглядати ''θ'' як ''індекс'' у цьому сімействі ймовірнісних моделей. При нескінченному числі моделей вона є набором параметрів цього сімейства розподілів.

На практиці, важливо розуміти, що хоча й заманливо думати про функції втрат як про обов'язково параметричні (оскільки здається, що вони приймають ''θ'' як «параметр»), факт нескінченної вимірності ''θ'' цілком несумісний з цим записом; наприклад, якщо сімейство функцій імовірності є [[Незліченна множина|незліченно]] нескінченним, то ''θ'' індексує незліченно нескінченний простір.

Звідси, для заданої множини ''A'' можливих дій, '''{{нп|Правило вирішування|пра́вило вирі́шування||Decision rule}}''' ({{lang-en|decision rule}}) є функцією ''δ''&nbsp;:&nbsp;<math>\scriptstyle\mathcal{X}</math>→&nbsp;''A''.

'''Фу́нкція втрат''' є дійснозначною обмеженою знизу функцією ''L'' на ''Θ''&nbsp;×&nbsp;''A'' для деякого ''θ ∈ Θ''. Значення ''L''(''θ'',&nbsp;''δ''(''X'')) є ''витратами''  на дію ''δ''(''X'') за параметра ''θ''.<ref>{{SpringerEOM |title=Loss function |id=L/l060900 |first=M.S. |last=Nikulin}} {{ref-en}}</ref>

== {{якір|Статистики}}Очікувані втрати ==

Значення функції втрат само по собі є випадковою величиною, оскільки воно залежить від виходу випадкової величини ''X''. Як [[Частотне висновування|частотна]], так і [[Баєсова ймовірність|баєсова]] статистичні теорії включають здійснення рішень на основі [[Математичне сподівання|математичного сподівання]] функції втрат: проте, ця величина за цих двох парадигм визначається по-різному.

=== Частотні очікувані втрати ===

Спочатку ми визначаємо очікувані втрати в частотному контексті. Вони отримуються взяттям математичного сподівання по відношенню до розподілу ймовірності ''P''<sub>''θ''</sub> спостережуваних даних ''X''. Це також називають '''фу́нкцією ри́зику''' ({{lang-en|risk function}})<ref>{{SpringerEOM| title=Risk of a statistical procedure |id=R/r082490 |first=M.S. |last=Nikulin}} {{ref-en}}</ref><ref>
{{cite book
 |title=Statistical decision theory and Bayesian Analysis
 |first=James O. |last=Berger |authorlink=Джеймс Бергер (статистик)
 |year=1985
 |edition=2nd
 |publisher=Springer-Verlag |location=New York
 |ISBN=0-387-96098-8 |mr=0804611
}} {{ref-en}}</ref><ref>{{cite book
 |first=Morris |last=DeGroot |authorlink=Морріс ДеҐрут
 |title=Optimal Statistical Decisions
 |publisher=Wiley Classics Library |year=2004 |origyear=1970
 |ISBN=0-471-68029-X |mr=2288194
}} {{ref-en}}</ref><ref>{{cite book
 |last=Robert |first=Christian P.
 |title=The Bayesian Choice
 |publisher=Springer |location=New York
 |year=2007|edition=2nd
 |doi=10.1007/0-387-71599-1 |isbn=0-387-95231-4 |mr=1835885
}} {{ref-en}}</ref> правила вирішування ''δ'' та параметру ''θ''. Тут правило вирішування залежить від виходу ''X''. Функція ризику задається як

: <math>R(\theta, \delta) = \mathbb{E}_\theta L\big( \theta, \delta(X) \big) = \int_X L\big( \theta, \delta(x) \big) \, \operatorname{d} P_\theta (x) .</math>

Тут ''θ'' є фіксованим але можливо невідомим станом природи, ''X'' є вектором спостережень, які стохастично вибираються з [[Генеральна сукупність|генеральної сукупності]], <math>{\mathbb E}_\theta</math> є математичним сподіванням над всіма значеннями генеральної сукупності ''X'', ''dP<sub>θ</sub>'' є [[Міра ймовірності|мірою ймовірності]] над простором подій ''X'' (параметризованою за ''θ''), а інтеграл обчислюється над усім {{нп|Носій (теорія мір)|носієм||Support (measure theory)}} ''X''.

=== Баєсові очікувані втрати ===

У баєсовому підході це математичне сподівання обчислюється із застосуванням [[Апостеріорний розподіл|апостеріорного розподілу]] ''π<sup>*</sup>'' параметра ''θ'':

: <math>\rho(\pi^*,a) = \int_\Theta L(\theta, a) \, \operatorname{d} \pi^* (\theta)</math>.

Потім потрібно обрати дію ''a<sup>*</sup>'', яка мінімізує очікувані втрати. І хоча це й призведе в результаті до обрання тієї ж дії, яку було би обрано і з застосуванням частотного ризику, акцент баєсового підходу полягає в тому, що цікавить лише обрання оптимальної дії за фактичних спостережуваних даних, тоді як обрання фактичного частотного оптимального правила вирішування, яке є функцією від усіх можливих спостережень, є значно складнішою задачею.

=== Економічний вибір за непевності ===

В економіці ухвалення рішень за умов непевності часто моделюють із застосуванням [[Функція корисності фон Неймана — Морґенштерна|функції корисності фон Неймана&nbsp;— Морґенштерна]] від непевної величини, яка становить інтерес, такої як багатство на кінець періоду. Оскільки значення цієї величини є непевним, таким є й значення функції корисності; це математичне сподівання корисності, яке максимізують.

=== Приклади ===

* Для скалярного параметру ''θ'', функції вирішування, чий вихід <math>\hat\theta</math> є оцінкою ''θ'', та квадратичної функції втрат

:: <math>L(\theta,\hat\theta)=(\theta-\hat\theta)^2,</math>

: функція ризику стає [[Середньоквадратична похибка|середньоквадратичною похибкою]] цієї оцінки,

:: <math>R(\theta,\hat\theta)=E_\theta(\theta-\hat\theta)^2.</math>

* В [[Оцінка густини|оцінці густини]] невідомий параметр сам є [[Функція густини ймовірності|густиною ймовірності]]. Як функцію втрат зазвичай обирають [[Норма (математика)|норму]] відповідного [[Функційний простір|функційного простору]]. Наприклад, для [[Норма L2|норми ''L<sup>2</sup>'']]

:: <math>L(f,\hat f)=\|f-\hat f\|_2^2\,,</math>

: функція ризику стає {{нп|Середній накопичений квадрат похибки|середнім накопиченим квадратом похибки||Mean integrated squared error}}

:: <math>R(f,\hat f)=E \|f-\hat f\|^2.\,</math>

== Правила вирішування ==

Правило вирішування здійснює вибір, використовуючи критерій оптимальності. Деякими часто використовуваними критеріями є:

* '''[[Мінімакс|Мініма́кс]]''': Обирати правило вирішування з найнижчими найгіршими втратами&nbsp;— тобто, мінімізувати втрати в найгіршому випадку (максимально можливі):
:: <math> \underset{\delta} {\operatorname{arg\,min}} \ \max_{\theta \in \Theta} \ R(\theta,\delta). </math>
* '''{{нп|Інваріантна оцінка|Інваріа́нтність||Invariant estimator}}''': Обирати оптимальне правило вирішування, яке задовольняє вимогу інваріантності.
* Обирати правило вирішування з найнижчими усередненими втратами (тобто, максимізувати [[математичне сподівання]] функції втрат):
:: <math> \underset{\delta} {\operatorname{arg\,min}} \ \mathbb{E}_{\theta \in \Theta} [R(\theta,\delta)] = \underset{\delta} {\operatorname{arg\,min}} \ \int_{\theta \in \Theta} R(\theta,\delta) \, p(\theta) \,d\theta. </math>

== Вибір функції втрат ==

Правильна статистична практика вимагає вибирання оцінки відповідно до фактичної прийнятної дисперсії, напрактикованої в контексті конкретної прикладної задачі. Таким чином, в прикладному застосуванні функцій втрат вибирання того, який статистичний метод використовувати для моделювання прикладної задачі, залежить від знання втрат, з якими доведеться стикнутися в разі помилки за конкретних обставин задачі.<ref>{{cite book |last=Pfanzagl |first=J. |year=1994 |title=Parametric Statistical Theory |location=Berlin |publisher=Walter de Gruyter |isbn=3-11-013863-8 }} {{ref-en}}</ref>

Типовий приклад стосується оцінювання «[[Коефіцієнт зсуву|положення]]». За типових статистичних припущень [[Середнє значення|середнє]] або усереднене значення&nbsp;— це статистика для оцінювання положення, яка мінімізує очікувані втрати, що виникають за функції втрат [[Метод найменших квадратів|квадратичної похибки]], тоді як [[Медіана (статистика)|медіана]] є оцінювачем, який мінімізує очікувані втрати за функції втрат абсолютної різниці. Проте за інших, менш поширених обставин оптимальними будуть інші оцінювачі.

В економіці, коли агент є {{нп|Байдужість до ризику|байдужим до ризику||Risk neutral}}, цільова функція виражається просто в грошовому вираженні, такому як прибуток, дохід або багатство на кінець періоду.

Але для агентів з {{нп|Неприйняття ризику|неприйняттям ризику||Risk aversion}} (або з {{нп|Любов до ризику|любов'ю до ризику||Risk-loving}}) втрати вимірюються як від'ємна [[Корисність|функція корисності]], яка представляє задоволення, і зазвичай інтерпретується радше в [[Порядкова корисність|порядкових]], ніж у {{нп|Кількісна корисність|кількісних||Cardinal utility}} (абсолютних) термінах.

Можливі й інші міри витрат, наприклад, [[смертність]] або [[Захворюваність]] в галузі [[Соціальна медицина|соціальної медицини]] або [[Техніка безпеки|техніки безпеки]].

Для більшості алгоритмів оптимізації бажано мати таку функцію втрат, яка є всюди [[Неперервна функція|неперервною]] та [[Диференційовна функція|диференційовною]].

Двома дуже часто застосовуваними функціями втрат є [[Середньоквадратична похибка|квадратичні втрати]] <math>L(a) = a^2</math> та [[Абсолютне відхилення|абсолютні втрати]] <math>L(a)=|a|</math>. Проте абсолютні втрати мають той недолік, що вони не диференційовні в <math>a=0</math>. Квадратичні ж втрати мають той недолік, що в них є схильність віддавати перевагу [[Викид (статистика)|викидам]]&nbsp;— при підсумовуванні над множиною <math>a</math> (як у <math>\sum_{i=1}^n L(a_i) </math>) остаточна сума схильна бути радше результатом декількох особливо великих значень <math>a</math>, аніж вираженням усередненого значення <math>a</math>.

Вибір функції втрат не є довільним. Він має дуже обмежувальний характер, а іноді функції втрат можуть зображуватися їхніми бажаними властивостями.<ref>Докладну інформацію про математичні принципи вибору функції втрат наведено в главі 2 книги {{cite book|title=Robust and Non-Robust Models in Statistics|first1=B.|last1=Klebanov|first2=Svetlozat T.|last2=Rachev|first3=Frank J.|last3=Fabozzi|publisher=Nova Scientific Publishers, Inc.|location=New York|year=2009}} (та в посиланнях з неї). {{ref-en}}</ref> Серед принципів вибору є, наприклад, вимога повноти класу симетричних статистик у випадку [[НОР]] спостережень, принцип повної інформації та деякі інші.

== Функції втрат у баєсовій статистиці ==

Одним із наслідків [[Баєсове висновування|баєсового висновування]] є те, що, на додачу до експериментальних даних, функція втрат сама по собі не визначає рішення повністю. Що важливе, так це взаємозв'язок між функцією втрат та [[Апостеріорна ймовірність|апостеріорною ймовірністю]]. Тому можливо мати дві різні функції втрат, які ведуть до одного й того ж рішення, коли [[Апріорний розподіл ймовірності|апріорні розподіли ймовірності]], пов'язані з кожною, компенсують тонкощі кожної з функцій втрат.{{citation needed|дата=вересень 2016}}

Поєднання трьох елементів апріорної ймовірності, даних та функції втрат відтак уможливлює рішення на основі макзимізації [[Суб'єктивна очікувана корисність|суб'єктивної очікуваної корисності]], поняття, введеного [[Леонард Джиммі Севідж|Леонардом Севіджем]].{{citation needed|дата=вересень 2016}}

== Смуток ==
{{main|Смуток (теорія рішень)}}

Севідж також стверджував, що при застосуванні небаєсових методів, таких як [[мінімакс]], функція втрат повинна ґрунтуватися на ідеї [[Смуток (теорія рішень)|''смутку'']] ({{lang-en|regret}}), тобто, втрати, пов'язані з рішенням, повинні бути різницею між наслідками найкращого рішення, яке могло би бути зроблено, якби обставини для його обґрунтування були відомими, та рішення, яке в дійсності було зроблено, перш ніж вони стали відомими.

== Квадратична функція втрат ==

Застосування квадратичної функції втрат є поширеним, наприклад, при застосуванні [[Метод найменших квадратів|методів найменших квадратів]]. Вона часто краще піддається математичній обробці, ніж інші функції втрат, завдяки властивостям [[Дисперсія випадкової величини|дисперсій]], а також завдяки своїй симетричності: похибка перевищення цілі спричиняє такі ж втрати, як і похибка такої ж величини недотягування до цілі. Якщо ціллю є ''t'', то квадратичною функцією втрат є

: <math>\lambda(x) = C (t-x)^2 \; </math>

для деякої сталої ''C''; значення цієї сталої не впливає на рішення, і може бути знехтуване встановленням його в 1.

Багато поширених [[Статистика (математика)|статистик]], включно з [[t-критерій Стьюдента|''t''-критеріями]], [[Регресійний аналіз|регресійними]] моделями, [[Планування експерименту|плануваннями експериментів]] та багатьма іншими, використовують [[Метод найменших квадратів|методи найменших квадратів]] при застосуванні теорії [[Лінійна регресія|лінійної регресії]], яка ґрунтується на квадратичній функції втрат.

Квадратична функція втрат також використовується в {{нп|Лінійно-квадратичний регулятор|лінійно-квадратичних задачах оптимального керування||Linear–quadratic regulator}}. В цих задачах, навіть за відсутності непевності, може бути неможливо досягти бажаних значень всіх цільових величин. Втрати часто виражають як [[Квадратична форма|квадратичну форму]] у відхиленнях величин, які цікавлять, від їхніх бажаних значень; цей підхід є [[Вираз замкненого вигляду|піддатливим]], оскільки він дає в результаті лінійні {{нп|Умова першого порядку|умови першого порядку||First-order condition}}. В контексті {{нп|Стохастичне керування|стохастичного керування||Stochastic control}} застосовується математичне сподівання квадратичної форми.

== Функція втрат 0-1 ==

У [[Статистика|статистиці]] та [[Теорія рішень|теорії рішень]] часто застосовуваною функцією втрат є ''функція втрат 0-1'' ({{lang-en|0-1 loss function}})

: <math>L(\hat{y}, y) = I(\hat{y} \ne y), \, </math>

де <math>I</math> є [[Індикаторна функція|індикаторною функцією]].

== Див. також ==

* [[Функції втрат для класифікації]]
* {{нп|Знецінені максимальні втрати|||Discounted maximum loss}}
* [[Завісні втрати]]
* {{нп|Оцінювальне правило|||Scoring rule}}

== Примітки ==
{{Примітки|30em}}

== Література ==

* {{cite journal |last= |first= |authorlink= |author2=Bartram, Söhnke M. |author3=Pope, Peter F. |date=April–June 2011 |title=Asymmetric Loss Functions and the Rationality of Expected Stock Returns |journal=International Journal of Forecasting |volume=27 |issue=2 |pages=413–437 |doi= 10.1016/j.ijforecast.2009.10.008|url=http://papers.ssrn.com/sol3/papers.cfm?abstract_id=889323 |accessdate= |quote= |last1= Aretz |first1=Kevin  }} {{ref-en}}
* {{cite book
 |title=Statistical decision theory and Bayesian Analysis
 |first=James O. |last=Berger |authorlink=Джеймс Бергер (статистик)
 |year=1985
 |edition=2nd
 |publisher=Springer-Verlag |location=New York
 |ISBN=0-387-96098-8 |mr=0804611
}} {{ref-en}}


{{Статистика|висновування|collapsed}}
{{Диференційовні обчислення}}

{{DEFAULTSORT:Функція втрат}}
[[Категорія:Функції втрат| ]]
[[Категорія:Оптимальні рішення]]