Перегляд вихідного коду сторінки Штучна нейронна мережа

{{short description|Обчислювальна модель на основі з'єднаних ієрархічних функцій, яку використовують у машиннім навчанні}}
[[Файл:Colored neural network uk.svg|міні| Штучна нейронна мережа&nbsp;— це взаємопов'язана група вузлів, натхнена спрощенням [[нейрон]]ів [[Головний мозок|мозку]]. Тут кожна кругла вершина подає [[штучний нейрон]], а стрілка подає з'єднання виходу одного штучного нейрона з входом іншого.]]
{{Машинне навчання|Artificial neural network}}
'''Шту́чні нейро́нні мере́жі''' ('''ШНМ''', {{lang-en|artificial neural network}}), які зазвичай просто називають нейронними мережами (НМ, {{lang-en|neural networks, NN}}) або ''нейромережами'' ({{lang-en|neural nets}}),<ref>{{cite web|last=Hardesty|first=Larry|title=Explained: Neural networks|date=14 квітня 2017|url=https://news.mit.edu/2017/explained-neural-networks-deep-learning-0414|publisher=MIT News Office|access-date=2 червня 2022}} {{ref-en}}</ref> це [[Комп'ютинг|обчислювальні]] системи, натхнені [[Біологічна нейронна мережа|біологічними нейронними мережами]], які складають [[Головний мозок|мозок]] тварин.<ref>{{cite book |last1=Yang |first1=Z.R. |last2=Yang |first2=Z. |title=Comprehensive Biomedical Physics |date=2014 |publisher=Elsevier |location=Karolinska Institute, Stockholm, Sweden |isbn=978-0-444-53633-4 |page=1 |url=https://www.sciencedirect.com/topics/neuroscience/artificial-neural-network |access-date=28 липня 2022 |archive-date=28 липня 2022 |archive-url=https://web.archive.org/web/20220728183237/https://www.sciencedirect.com/topics/neuroscience/artificial-neural-network |url-status=live }} {{ref-en}}</ref>

ШНМ ґрунтується на сукупності з'єднаних вузлів ({{lang-en|units, nodes}}), які називають [[Штучний нейрон|штучними нейронами]], які приблизно моделюють [[нейрон]]и біологічного мозку. Кожне з'єднання, як і [[синапс]]и в біологічному мозку, може передавати сигнал до інших нейронів. Штучний нейрон отримує сигнали, потім обробляє їх і може сигналізувати нейронам, з якими його з'єднано. «Сигнал» у з'єднанні це [[дійсне число]], а вихід кожного нейрона обчислюється деякою нелінійною функцією суми його входів. З'єднання називають ''ребрами'' ({{lang-en|edges}}). Нейрони та ребра зазвичай мають ''{{нп|Зважування (математика)|вагу||Weighting}}'' ({{lang-en|weight}}), яка підлаштовується в процесі навчання. Вага збільшує або зменшує силу сигналу на з'єднанні. Нейрони можуть мати такий поріг, що сигнал надсилається лише тоді, коли сукупний сигнал перевищує цей поріг.

Як правило, нейрони зібрано в шари ({{lang-en|layers}}). Різні шари можуть виконувати різні перетворення даних свого входу. Сигнали проходять від першого шару (шару входу) до останнього (шару виходу), можливо, після проходження шарами декілька разів.
{{TOC limit|3}}

== Тренування ==

Нейронні мережі навчаються (або, їх тренують) шляхом обробки прикладів, кожен з яких містить відомий «вхід» та «результат», утворюючи ймовірнісно зважені асоціації між ними, які зберігаються в структурі даних самої мережі. Тренування нейронної мережі заданим прикладом зазвичай здійснюють шляхом визначення різниці між обробленим виходом мережі (часто, передбаченням) і цільовим виходом. Ця різниця є похибкою. Потім мережа підлаштовує свої зважені асоціації відповідно до правила навчання і з використанням цього значення похибки. Послідовні підлаштовування призведуть до виробляння нейронною мережею результатів, усе більше схожих на цільові. Після достатньої кількості цих підлаштовувань, тренування можливо припинити на основі певного критерію. Це форма [[Кероване навчання|керованого навчання]].

Такі системи «навчаються» виконувати завдання, розглядаючи приклади, як правило, без програмування правил для конкретних завдань. Наприклад, у [[Розпізнавання зображень|розпізнаванні зображень]] вони можуть навчитися встановлювати зображення, на яких зображені коти, аналізуючи приклади зображень, {{нп|Мічені дані|мічені||Labeled data}} вручну як «кіт» та «не кіт», і використовуючи результати для ідентифікування котів на інших зображеннях. Вони роблять це без будь-якого [[Апріорне знання|апріорного знання]] про котів, наприклад, що вони мають хутро, хвости, вуса та котоподібні писки. Натомість, вони автоматично породжують ідентифікаційні характеристики з прикладів, які оброблюють.

== Історія ==
{{Main|[[Історія штучних нейронних мереж]]}}

Найпростіший тип [[Нейронна мережа прямого поширення|нейронної мережі прямого поширення]] (НМПП, {{lang-en|feedforward neural network, FNN}}) це лінійна мережа, яка складається з єдиного шару вузлів виходу; входи подаються безпосередньо на виходи через низку ваг. В кожному вузлі обчислюється сума добутків ваг та даних входів. [[Середньоквадратична похибка|Середньоквадратичні похибки]] між цими обчисленими виходами та заданими цільовими значеннями мінімізують шляхом підлаштовування ваг. Цей метод відомий понад два століття як [[метод найменших квадратів]] або [[лінійна регресія]]. [[Адрієн-Марі Лежандр|Лежандр]] (1805) та [[Карл Фрідріх Гаусс|Гаусс]] (1795) використовували його як засіб для знаходження доброго грубого лінійного допасування до набору точок для передбачування руху планет.<ref name="legendre1805">Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares" {{ref-en}}</ref><ref name="gauss1795">{{cite journal |first=Stephen M. |last=Stigler |year=1981 |title=Gauss and the Invention of Least Squares |url=https://archive.org/details/sim_annals-of-statistics_1981-05_9_3/page/465 |journal=Ann. Stat. |volume=9 |issue=3 |pages=465–474 |doi=10.1214/aos/1176345451 |doi-access=free }} {{ref-en}}</ref><ref name="brertscher">{{cite book |last=Bretscher |first=Otto |title=Linear Algebra With Applications |edition=3rd |publisher=Prentice Hall |year=1995 |location=Upper Saddle River, NJ}} {{ref-en}}</ref><ref name=DLhistory/><ref name=stigler>
{{cite book |last=Stigler |first=Stephen M. |author-link=Стівен Стіглер |year=1986 |title=The History of Statistics: The Measurement of Uncertainty before 1900 |location=Cambridge |publisher=Harvard |isbn=0-674-40340-1 |url-access=registration |url=https://archive.org/details/historyofstatist00stig}} {{ref-en}}</ref>

{{нп|Вільгельм Ленц|||Wilhelm Lenz}} та {{нп|Ернст Ізінг|||Ernst Ising}} створили та проаналізували [[модель Ізінга]] (1925),<ref name="brush67">{{cite journal |doi=10.1103/RevModPhys.39.883|title=History of the Lenz-Ising Model|year=1967|last1=Brush|first1=Stephen G.|journal=Reviews of Modern Physics|volume=39|issue=4|pages=883–893|bibcode=1967RvMP...39..883B}} {{ref-en}}</ref> яка, по суті, є штучною [[Рекурентна нейронна мережа|рекурентною нейронною мережею]] (РНМ, {{lang-en|recurrent neural network, RNN}}) без навчання, що складається з нейроноподібних порогових елементів.<ref name=DLhistory>{{cite arXiv|last=Schmidhuber|first=Juergen|author-link=Юрген Шмідхубер|date=2022|title=Annotated History of Modern AI and Deep Learning |class=cs.NE|eprint=2212.11279}} {{ref-en}}</ref> 1972 року {{нп|Сун'їті Амарі|||Shun'ichi Amari}} зробив цю архітектуру адаптивною.<ref name="Amari1972">{{cite journal |last1=Amari |first1=Shun-Ichi |title=Learning patterns and pattern sequences by self-organizing nets of threshold elements|journal= IEEE Transactions |date=1972 |volume=C |issue=21 |pages=1197–1206 }} {{ref-en}}</ref><ref name="DLhistory" /> Його навчання РНМ популяризував [[Джон Гопфілд]] 1982 року.<ref name="Hopfield1982">{{cite journal |last1=Hopfield |first1=J. J. |title=Neural networks and physical systems with emergent collective computational abilities |journal= Proceedings of the National Academy of Sciences|date=1982 |volume=79 |issue=8 |pages=2554–2558 |doi=10.1073/pnas.79.8.2554 |pmid=6953413 |pmc=346238 |bibcode=1982PNAS...79.2554H |doi-access=free }} {{ref-en}}</ref>

[[Воррен Маккалох]] та {{нп|Волтер Піттс|||Walter Pitts}}<ref>{{cite journal|last=McCulloch|first=Warren|author2=Walter Pitts|title=A Logical Calculus of Ideas Immanent in Nervous Activity|journal=Bulletin of Mathematical Biophysics|year=1943|volume=5|issue=4|pages=115–133|doi=10.1007/BF02478259|pmid=<!--none-->}} {{ref-en}}</ref> (1943) також розглядали ненавчану обчислювальну модель для нейронних мереж.<ref>{{Cite news|url=https://www.degruyter.com/view/books/9781400882618/9781400882618-002/9781400882618-002.xml|title=Representation of Events in Nerve Nets and Finite Automata|last=Kleene|first=S.C.|work=Annals of Mathematics Studies|access-date=17 червня 2017|publisher=Princeton University Press|year=1956|issue=34|pages=3–41}} {{ref-en}}</ref> Наприкінці 1940-х років [[Дональд Гебб|Д.&nbsp;О.&nbsp;Гебб]]<ref>{{cite book|url={{google books |plainurl=y |id=ddB4AgAAQBAJ}}|title=The Organization of Behavior|last=Hebb|first=Donald|publisher=Wiley|year=1949|isbn=978-1-135-63190-1|location=New York}} {{ref-en}}</ref> створив [[Гіпотеза|гіпотезу]] навчання, засновану на механізмі [[Нейропластичність|нейропластичності]], що стала відомою як [[геббове навчання]] ({{lang-en|Hebbian learning}}). Фарлі та {{нп|Веслі А. Кларк|||Wesley A. Clark}}<ref>{{cite journal|last=Farley|first=B.G.|author2=W.A. Clark|title=Simulation of Self-Organizing Systems by Digital Computer|journal=IRE Transactions on Information Theory|year=1954|volume=4|pages=76–84|doi=10.1109/TIT.1954.1057468|issue=4}} {{ref-en}}</ref> (1954) вперше використали обчислювальні машини, звані тоді «калькуляторами», для моделювання геббової мережі. 1958 року психолог [[Френк Розенблат]] винайшов [[перцептрон]] ({{lang-en|perceptron}}), першу втілену штучну нейронну мережу,<ref>Haykin (2008) Neural Networks and Learning Machines, 3rd edition {{ref-en}}</ref><ref>{{cite journal|last=Rosenblatt|first=F.|title=The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain|url=https://archive.org/details/sim_psychological-review_1958-11_65_6/page/386|journal=Psychological Review|year=1958|volume=65|pages=386–408|doi=10.1037/h0042519|pmid=13602029|issue=6|citeseerx=10.1.1.588.3775|s2cid=12781225 }} {{ref-en}}</ref><ref name="Werbos 1975">{{cite book|url={{google books |plainurl=y |id=z81XmgEACAAJ}}|title=Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences|last=Werbos|first=P.J.|year=1975}} {{ref-en}}</ref><ref>{{cite journal |last=Rosenblatt |first=Frank |year=1957 |title=The Perceptron—a perceiving and recognizing automaton |journal=Report 85-460-1 |publisher=Cornell Aeronautical Laboratory }} {{ref-en}}</ref> фінансовану {{нп|Управління військово-морських досліджень|Управлінням військово-морських досліджень||Office of Naval Research}} США.<ref name="Olazaran">{{cite journal |first=Mikel |last=Olazaran |title=A Sociological Study of the Official History of the Perceptrons Controversy |journal=Social Studies of Science |volume=26 |issue=3 |year=1996 |jstor=285702|doi=10.1177/030631296026003005 |pages=611–659|s2cid=16786738 }} {{ref-en}}</ref>

Дехто каже, що дослідження зазнали застою після того, як [[Марвін Мінський|Мінскі]] та [[Сеймур Пейперт|Пейперт]] (1969)<ref>{{cite book|url={{google books |plainurl=y |id=Ow1OAQAAIAAJ}}|title=Perceptrons: An Introduction to Computational Geometry|last1=Minsky|first1=Marvin|last2=Papert|first2=Seymour|publisher=MIT Press|year=1969|isbn=978-0-262-63022-1}} {{ref-en}}</ref> виявили, що базові перцептрони не здатні обробляти схему виключного «або», і що комп'ютерам бракує достатньої потужності для обробки придатних нейронних мереж. Проте на момент виходу цієї книги вже були відомі методи тренування [[Багатошаровий перцептрон|багатошарових перцептронів]] (БШП, {{lang-en|multilayer perceptron, MLP}}).

Перший БШП [[Глибоке навчання|глибокого навчання]] опублікували [[Олексій Григорович Івахненко]] та Валентин Лапа 1965 року під назвою [[метод групового урахування аргументів]] ({{lang-en|Group Method of Data Handling}}).<ref name="SCHIDHUB2">{{cite journal|last=Schmidhuber|first=J.|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637|s2cid=11715509}} {{ref-en}}</ref><ref name="ivak1965">{{cite book|url={{google books |plainurl=y |id=FhwVNQAACAAJ}}|title=Cybernetic Predicting Devices|last=Ivakhnenko|first=A. G.|publisher=CCM Information Corporation|year=1973}} {{ref-en}}</ref><ref name="ivak1967">{{cite book|url={{google books |plainurl=y |id=rGFgAAAAMAAJ}}|title=Cybernetics and forecasting techniques|last2=Lapa|first2=Valentin Grigorʹevich|publisher=American Elsevier Pub. Co.|year=1967|first1=A. G.|last1=Ivakhnenko}} {{ref-en}}</ref> Перший БШП [[Глибоке навчання|глибокого навчання]], навчений [[Стохастичний градієнтний спуск|стохастичним градієнтним спуском]],<ref name="robbins1951">{{Cite journal | last1 = Robbins | first1 = H. | author-link = Герберт Роббінс| last2 = Monro | first2 = S. | doi = 10.1214/aoms/1177729586 | title = A Stochastic Approximation Method | url = https://archive.org/details/sim_annals-of-mathematical-statistics_1951-09_22_3/page/400 | journal = The Annals of Mathematical Statistics | volume = 22 | issue = 3 | pages = 400 | year = 1951 | doi-access = free }} {{ref-en}}</ref> опублікував 1967 року {{нп|Сун'їті Амарі|||Shun'ichi Amari}}.<ref name="Amari1967">{{cite journal |last1=Amari |first1=Shun'ichi |author-link=Сун'їті Амарі|title=A theory of adaptive pattern classifier|journal= IEEE Transactions |date=1967 |volume=EC |issue=16 |pages=279–307}} {{ref-en}}</ref> У комп'ютерних експериментах, проведених учнем Амарі Сайто, п'ятишаровий БШП із двома змінюваними шарами навчився корисних [[Подання знань|внутрішніх подань]] для класифікування нелінійно роздільних класів образів.<ref name="DLhistory" />

[[Самоорганізаційна карта|Самоорганізаційні карти]] ({{lang-en|self-organizing maps, SOM}}) описав [[Теуво Кохонен]] 1982 року.<ref name="KohonenMap">{{cite journal |title= Kohonen Network |last1= Kohonen |first1= Teuvo |last2= Honkela |first2= Timo |year= 2007 |journal= Scholarpedia |volume= 2 |issue= 1 |pages= 1568 |doi= 10.4249/scholarpedia.1568 |bibcode= 2007SchpJ...2.1568K |doi-access= free }} {{ref-en}}</ref><ref>{{cite journal |last= Kohonen |first= Teuvo |year= 1982 |title= Self-Organized Formation of Topologically Correct Feature Maps |journal= Biological Cybernetics |volume= 43 |number= 1 |pages= 59–69 |doi= 10.1007/bf00337288|s2cid= 206775459 }} {{ref-en}}</ref> Самоорганізаційні карти&nbsp;— це нейрофізіологічно натхнені<ref>{{cite journal | last1 = Von der Malsburg | first1 = C | year = 1973 | title = Self-organization of orientation sensitive cells in the striate cortex | journal = Kybernetik | volume = 14 | issue = 2| pages = 85–100 | doi=10.1007/bf00288907| pmid = 4786750 | s2cid = 3351573 }} {{ref-en}}</ref> нейронні мережі, які навчаються [[Зниження розмірності|низьковимірного]] подання високовимірних даних, зберігаючи при цьому [[Топологія|топологічну структуру]] цих даних. Вони тренуються за допомогою [[Конкурентне навчання|конкурентного навчання]].<ref name="KohonenMap" />

Архітектуру [[Згорткова нейронна мережа|згорткової нейронної мережі]] (ЗНМ, {{lang-en|convolutional neural network, CNN}}) зі згортковими шарами та шарами пониження дискретизації запропонував {{нп|Куніхіко Фукусіма|||Kunihiko Fukushima}} 1980 року.<ref name="intro">{{cite journal |last=Fukushima |first=Kunihiko |title=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position |journal=Biological Cybernetics |year=1980 |volume=36 |issue=4 |pages=193–202 |url=https://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf |access-date=16 листопада 2013 |doi=10.1007/BF00344251 |pmid=7370364 |s2cid=206775608}} {{ref-en}}</ref> Він назвав її [[неокогнітрон]]ом ({{lang-en|neocognitron}}). 1969 року він також запропонував [[Передавальна функція штучного нейрона|передавальну функцію]] ''[[ReLU]]'' ({{lang-en|rectified linear unit}}, випрямлений лінійний вузол).<ref name="Fukushima1969">{{cite journal |first1=K. |last1=Fukushima |title=Visual feature extraction by a multilayered network of analog threshold elements |journal=IEEE Transactions on Systems Science and Cybernetics |volume=5 |issue=4 |date=1969 |pages=322–333 |doi=10.1109/TSSC.1969.300225}} {{ref-en}}</ref> Цей випрямляч став найпопулярнішою передавальною функцією для ЗНМ та [[Глибоке навчання|глибоких нейронних мереж]] загалом.<ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=16 жовтня 2017 |title=Searching for Activation Functions |eprint=1710.05941 |class=cs.NE}} {{ref-en}}</ref> ЗНМ стали важливим інструментом [[Комп'ютерне бачення|комп'ютерного бачення]].

Алгоритм [[Зворотне поширення|зворотного поширення]] ({{lang-en|backpropagation}}) це ефективне застосування [[Ланцюгове правило|ланцюгового правила]] [[Готфрід Вільгельм Лейбніц|Лейбніца]] (1673)<ref name="leibniz1676">{{Cite book|last=Leibniz|first=Gottfried Wilhelm Freiherr von|url=https://books.google.com/books?id=bOIGAAAAYAAJ&q=leibniz+altered+manuscripts&pg=PA90|title=The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir)|date=1920|publisher=Open court publishing Company|language=en}} {{ref-en}}</ref> до мереж [[Диференційовність|диференційовних]] вузлів. Він також відомий як зворотний режим [[Автоматичне диференціювання|автоматичного диференціювання]] або {{нп|зворотне накопичення|||Reverse accumulation}}<!-- Проблема вікіфікації: Сторінка [[:en:Reverse accumulation]] (→ [[:en:Automatic differentiation#Reverse accumulation]]) перекладена як [[Автоматичне диференціювання]], хоча хотіли [[зворотне накопичення]] (SashkoR0B0T)-->, завдяки {{нп|Сеппо Ліннаінмаа|||Seppo Linnainmaa}} (1970).<ref name="lin1970">{{cite thesis|first=Seppo|last=Linnainmaa|author-link=Сеппо Ліннаінмаа|year=1970|type=Masters|title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors|language=fi|publisher=University of Helsinki|pages=6–7}}</ref><ref name="lin1976">{{cite journal|last1=Linnainmaa|first1=Seppo|author-link=Сеппо Ліннаінмаа|year=1976|title=Taylor expansion of the accumulated rounding error|journal=BIT Numerical Mathematics|volume=16|issue=2|pages=146–160|doi=10.1007/bf01931367|s2cid=122357351}} {{ref-en}}</ref><ref name="grie2012">{{cite book |last=Griewank |first=Andreas |year=2012 |chapter=Who Invented the Reverse Mode of Differentiation? |title=Optimization Stories |series=Documenta Matematica, Extra Volume ISMP |pages=389–400 |s2cid=15568746 }} {{ref-en}}</ref><ref name="grie2008">{{cite book|url={{google books |plainurl=y |id=xoiiLaRxcbEC}}|title=Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, Second Edition|last1=Griewank|first1=Andreas|last2=Walther|first2=Andrea|author2-link=Андреа Вальтер|publisher=SIAM|year=2008|isbn=978-0-89871-776-1}} {{ref-en}}</ref><ref name="DLhistory" /> Термін «похибки зворотного поширення» ({{lang-en|"back-propagating errors"}}) запровадив 1962 року [[Френк Розенблат]],<ref name="rosenblatt1962">{{cite book|last=Rosenblatt|first=Frank|author-link=Френк Розенблат|title=Principles of Neurodynamics|year=1962|publisher=Spartan, New York}} {{ref-en}}</ref><ref name="DLhistory" /> але він не мав втілення цієї процедури, хоча {{нп|Генрі Келлі|||Henry J. Kelley}}<ref name="kelley1960">{{cite journal|last1=Kelley|first1=Henry J.|author-link=Генрі Келлі|year=1960|title=Gradient theory of optimal flight paths|url=https://archive.org/details/sim_american-rocket-society-ars-journal_1960-10_30_10/page/947|journal=ARS Journal|volume=30|issue=10|pages=947–954|doi=10.2514/8.5282}} {{ref-en}}</ref> та {{нп|Артур Брайсон|Брайсон||Arthur E. Bryson}}<ref name="bryson1961">{{cite conference|date=April 1961|title=Proceedings of the Harvard Univ. Symposium on digital computers and their applications|chapter=A gradient method for optimizing multi-stage allocation processes}} {{ref-en}}</ref> мали безперервні попередники зворотного поширення на основі [[Динамічне програмування|динамічного програмування]].<ref name="SCHIDHUB2" /><ref name="scholarpedia2">{{cite journal|last1=Schmidhuber|first1=Jürgen|author-link=Юрген Шмідхубер|year=2015|title=Deep Learning|journal=Scholarpedia|volume=10|issue=11|pages=85–117|bibcode=2015SchpJ..1032832S|doi=10.4249/scholarpedia.32832|doi-access=free}} {{ref-en}}</ref><ref name=":5">{{Cite journal|last=Dreyfus|first=Stuart E.|date=1 вересня 1990|title=Artificial neural networks, back propagation, and the Kelley-Bryson gradient procedure|journal=Journal of Guidance, Control, and Dynamics|volume=13|issue=5|pages=926–928|bibcode=1990JGCD...13..926D|doi=10.2514/3.25422|issn=0731-5090}} {{ref-en}}</ref><ref name="mizutani2000">{{Cite journal|last1=Mizutani|first1=E.|last2=Dreyfus|first2=S.E.|last3=Nishio|first3=K.|date=2000|title=On derivation of MLP backpropagation from the Kelley-Bryson optimal-control gradient formula and its application|journal=Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks. IJCNN 2000. Neural Computing: New Challenges and Perspectives for the New Millennium|pages=167–172 vol.2|publisher=IEEE|doi=10.1109/ijcnn.2000.857892|isbn=0-7695-0619-4|s2cid=351146|author-link2=Стюарт Дрейфус}} {{ref-en}}</ref> вже в 1960—61 роках у контексті [[Теорія керування|теорії керування]].<ref name="DLhistory" />
1973 року Дрейфус використав [[зворотне поширення]] для пристосовування [[параметр]]ів контролерів пропорційно градієнтам похибок.<ref name="dreyfus1973">{{cite journal|last1=Dreyfus|first1=Stuart|author-link=Стюарт Дрейфус|year=1973|title=The computational solution of optimal control problems with time lag|journal=IEEE Transactions on Automatic Control|volume=18|issue=4|pages=383–385|doi=10.1109/tac.1973.1100330}} {{ref-en}}</ref>
1982 року {{нп|Пол Вербос|||Paul Werbos}} застосував зворотне поширення до БШП у спосіб, який став стандартним.<ref name="werbos1982">{{Cite book|title=System modeling and optimization|last=Werbos|first=Paul|publisher=Springer|year=1982|pages=762–770|chapter=Applications of advances in nonlinear sensitivity analysis|author-link=Пол Вербос|chapter-url=http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|access-date=2 липня 2017|archive-date=14 квітня 2016|archive-url=https://web.archive.org/web/20160414055503/http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|url-status=live}} {{ref-en}}</ref><ref name="scholarpedia2" /> 1986 року [[Девід Румельхарт|Румельхарт]], [[Джефрі Гінтон|Гінтон]] та [[Рональд Вільямс|Вільямс]] показали, що зворотне поширення навчається цікавих внутрішніх подань слів як векторів ознак, коли тренується передбачувати наступне слово в послідовності.<ref name="RUMEL1986">David E. Rumelhart, Geoffrey E. Hinton & Ronald J. Williams, "[https://www.nature.com/articles/323533a0 Learning representations by back-propagating errors ] {{Webarchive|url=https://web.archive.org/web/20210308045630/https://www.nature.com/articles/323533a0 |date=8 березня 2021 }}," ''Nature', 323, pages 533–536 1986. {{ref-en}}</ref>

[[Нейронна мережа з часовою затримкою]] ({{lang-en|time delay neural network, TDNN}}) {{нп|Алекс Вайбель|Алекса Вайбеля||Alex Waibel}} (1987) поєднала згортки, спільні ваги та [[зворотне поширення]].<ref name="Waibel1987">{{cite conference |title=Phoneme Recognition Using Time-Delay Neural Networks |last1=Waibel |first1=Alex |date=December 1987 |location=Tokyo, Japan |conference=Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE)}} {{ref-en}}</ref><ref name="speechsignal">{{нп|Алекс Вайбель|Alexander Waibel||Alex Waibel}} et al., ''[http://www.inf.ufrgs.br/~engel/data/media/file/cmp121/waibel89_TDNN.pdf Phoneme Recognition Using Time-Delay Neural Networks]'' IEEE Transactions on Acoustics, Speech, and Signal Processing, Volume 37, No. 3, pp. 328. – 339 March 1989. {{ref-en}}</ref> 1988 року Вей Чжан зі співавт. застосовували [[зворотне поширення]] до ЗНМ (спрощеного неокогнітрона зі згортковими взаємозв'язками між шарами ознак зображення та останнім повнозв'язним шаром) для абеткового розпізнавання.<ref name="wz1988">{{cite journal |last=Zhang |first=Wei |date=1988 |title=Shift-invariant pattern recognition neural network and its optical architecture |url=https://drive.google.com/file/d/1nN_5odSG_QVae54EsQN_qSz-0ZsX6wA0/view?usp=sharing |journal=Proceedings of Annual Conference of the Japan Society of Applied Physics}} {{ref-en}}</ref><ref name="wz1990">{{cite journal |last=Zhang |first=Wei |date=1990 |title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture |url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing |journal=Applied Optics |volume=29 |issue=32 |pages=4790–7 |doi=10.1364/AO.29.004790 |pmid=20577468 |bibcode=1990ApOpt..29.4790Z}} {{ref-en}}</ref> 1989 року [[Ян Лекун]] зі співавт. навчили ЗНМ [[Розпізнавання рукописного введення|розпізнавати рукописні поштові індекси]] на пошті.<ref name="LECUN1989">LeCun ''et al.'', "Backpropagation Applied to Handwritten Zip Code Recognition," ''Neural Computation'', 1, pp. 541–551, 1989. {{ref-en}}</ref> 1992 року Джуан Венг зі співавт. запропонували [[максимізувальне агрегування]] ({{lang-en|max-pooling}}) для ЗНМ, щоби допомогти з інваріантністю щодо найменшого зсуву та толерантністю до деформування для сприяння {{нп|Розпізнавання тривимірних об'єктів|розпізнаванню тривимірних об'єктів||3D object recognition}}.<ref name="Weng1992">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronIJCNN1992.pdf Cresceptron: a self-organizing neural network which grows adaptively] {{Webarchive|url=https://web.archive.org/web/20170921205838/http://www.cse.msu.edu/%7Eweng/research/CresceptronIJCNN1992.pdf |date=21 вересня 2017 }}," ''Proc. International Joint Conference on Neural Networks'', Baltimore, Maryland, vol I, pp. 576–581, June 1992. {{ref-en}}</ref><ref name="Weng19932">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronICCV1993.pdf Learning recognition and segmentation of 3-D objects from 2-D images] {{Webarchive|url=https://web.archive.org/web/20170921203756/http://www.cse.msu.edu/%7Eweng/research/CresceptronICCV1993.pdf |date=21 вересня 2017 }}," ''Proc. 4th International Conf. Computer Vision'', Berlin, Germany, pp. 121–128, May 1993. {{ref-en}}</ref><ref name="Weng1997">J. Weng, N. Ahuja and T. S. Huang, "[http://www.cse.msu.edu/~weng/research/CresceptronIJCV.pdf Learning recognition and segmentation using the Cresceptron] {{Webarchive|url=https://web.archive.org/web/20210125215527/http://www.cse.msu.edu/~weng/research/CresceptronIJCV.pdf |date=25 січня 2021 }}," ''International Journal of Computer Vision'', vol. 25, no. 2, pp. 105–139, Nov. 1997. {{ref-en}}</ref> ''LeNet''-5 (1998), 7-рівневу ЗНМ від [[Ян Лекун|Яна Лекуна]] зі співавт.,<ref name="lecun98">{{cite journal |last=LeCun |first=Yann |author2=Léon Bottou |author3=Yoshua Bengio |author4=Patrick Haffner |title=Gradient-based learning applied to document recognition |journal=Proceedings of the IEEE |year=1998 |volume=86 |issue=11 |pages=2278–2324 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf |access-date=7 жовтня 2016 |doi=10.1109/5.726791 |citeseerx=10.1.1.32.9552|s2cid=14542261 }} {{ref-en}}</ref> яка класифікує цифри, було застосовано кількома банками для розпізнавання рукописних чисел на чеках, оцифрованих у зображення 32×32 пікселів.

Починаючи з 1988 року<ref name="Qian1988">Qian, Ning, and Terrence J. Sejnowski. "Predicting the secondary structure of globular proteins using neural network models." ''Journal of molecular biology'' 202, no. 4 (1988): 865-884. {{ref-en}}</ref><ref name="Bohr1988">Bohr, Henrik, Jakob Bohr, Søren Brunak, Rodney MJ Cotterill, Benny Lautrup, Leif Nørskov, Ole H. Olsen, and Steffen B. Petersen. "Protein secondary structure and homology by neural networks The α-helices in rhodopsin." ''FEBS letters'' 241, (1988): 223-228 {{ref-en}}</ref> використання нейронних мереж перетворило галузь [[передбачування структур білків]], зокрема, коли перші каскадні мережі тренувалися на ''профілях'' (матрицях), створених численними [[Вирівнювання послідовностей|вирівнюваннями послідовностей]].<ref name="Rost1993">Rost, Burkhard, and Chris Sander. "Prediction of protein secondary structure at better than 70% accuracy." ''Journal of molecular biology'' 232, no. 2 (1993): 584-599. {{ref-en}}</ref>

У 1980-х роках [[зворотне поширення]] не працювало добре для глибоких НМПП та РНМ. Щоби подолати цю проблему, [[Юрген Шмідхубер]] (1992) запропонував ієрархію РНМ, попередньо тренованих по одному рівню [[Самокероване навчання|самокерованим навчанням]].<ref name="schmidhuber1992">{{cite journal |last1=Schmidhuber |first1=Jürgen |year=1992 |title=Learning complex, extended sequences using the principle of history compression |url=ftp://ftp.idsia.ch/pub/juergen/chunker.pdf |journal=Neural Computation |volume=4 |issue=2 |pages=234–242 |doi=10.1162/neco.1992.4.2.234 |s2cid=18271205 |url-status=dead }} {{ref-en}}</ref><ref>{{cite thesis|last=Клейн|first=О.&nbsp;М.|year=2023|title=Метод та засоби виявлення аномалій в кіберфізичних системах комп’ютерного зору|url=http://elar.khmnu.edu.ua/handle/123456789/13653|type=кваліфікаційна робота магістра|publisher=[[Хмельницький національний університет]]|location=Хмельницький|language=uk}}</ref> Вона використовує {{нп|передбачувальне кодування|||Predictive coding}} для навчання [[Подання знань|внутрішніх подань]] у кількох самоорганізованих масштабах часу. Це може істотно полегшувати подальше глибоке навчання. Цю ієрархію РНМ можливо ''згорнути'' ({{lang-en|collapse}}) в єдину РНМ шляхом {{нп|Дистилювання знань|дистилювання||Knowledge distillation}} ''фрагментувальної'' ({{lang-en|chunker}}) мережі вищого рівня в ''автоматизувальну'' ({{lang-en|automatizer}}) мережу нижчого рівня.<ref name="schmidhuber1992" /><ref name=DLhistory/> 1993 року фрагментувальник розв'язав завдання глибокого навчання, глибина якого перевищувала 1000.<ref name="schmidhuber1993">{{Cite book |url=ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf |title=Habilitation Thesis |last=Schmidhuber |first=Jürgen |year=1993 |url-status=dead }} {{ref-en}}</ref>

1992 року [[Юрген Шмідхубер]] також опублікував ''альтернативу РНМ'' ({{lang-en|alternative to RNNs}}),<ref name="transform1992">{{Cite journal |last1=Schmidhuber|first1=Jürgen|author-link1=Юрген Шмідхубер|date=1 листопада 1992|title=Learning to control fast-weight memories: an alternative to recurrent nets.|url=https://archive.org/details/sim_neural-computation_1992-01_4_1/page/131|journal=Neural Computation|volume=4|issue=1 |pages=131–139|doi=10.1162/neco.1992.4.1.131 |s2cid=16683347 }} {{ref-en}}</ref> яку зараз називають ''лінійним [[Трансформер (архітектура глибокого навчання)|трансформером]]'' ({{lang-en|linear Transformer}}) або трансформером з лінеаризованою [[Увага (машинне навчання)|самоувагою]]<ref name="schlag2021" /><ref name="choromanski2020">{{cite arXiv|eprint=2009.14794|class=cs.CL|last1=Choromanski |first1=Krzysztof |last2=Likhosherstov |first2=Valerii |last3=Dohan |first3=David |last4=Song |first4=Xingyou |last5=Gane |first5=Andreea |last6=Sarlos |first6=Tamas |last7=Hawkins |first7=Peter |last8=Davis |first8=Jared |last9=Mohiuddin |first9=Afroz |last10=Kaiser |first10=Lukasz |last11=Belanger |first11=David |last12=Colwell |first12=Lucy |last13=Weller |first13=Adrian |title=Rethinking Attention with Performers |year=2020 }} {{ref-en}}</ref><ref name=DLhistory/> (за винятком оператора нормування). Він навчається ''внутрішніх центрів уваги'' ({{lang-en|internal spotlights of attention}}):<ref name="attention1993">{{Cite conference | last1=Schmidhuber|first1=Jürgen|author-link1=Юрген Шмідхубер|title= Reducing the ratio between learning complexity and number of time-varying variables in fully recurrent nets|publisher=Springer|date=1993 |pages=460–463 |book-title=ICANN 1993}} {{ref-en}}</ref> повільна [[нейронна мережа прямого поширення]] вчиться за допомогою [[Градієнтний спуск|градієнтного спуску]] керувати швидкими вагами іншої нейронної мережі через [[Діадний добуток|тензорні добутки]] самопороджуваних шаблонів збудження ''FROM'' і ''TO'' (званих тепер ''ключем,'' {{lang-en|key}}, та ''значенням,'' {{lang-en|value}}, [[Увага (машинне навчання)|самоуваги]]).<ref name="schlag2021">{{Cite conference | last1=Schlag|first1=Imanol| last2=Irie|first2=Kazuki| last3=Schmidhuber|first3=Jürgen|author-link3=Юрген Шмідхубер|title=  Linear Transformers Are Secretly Fast Weight Programmers|publisher=Springer|date=2021 |pages=9355–9366 |book-title= ICML 2021}} {{ref-en}}</ref> Це ''відображення уваги'' ({{lang-en|attention mapping}}) швидких ваг застосовують до шаблону запиту.

Сучасний [[Трансформер (архітектура глибокого навчання)|трансформер]] ({{lang-en|Transformer}}) запропонували Ашиш Васвані зі співавт. у своїй праці 2017 року «Увага&nbsp;— це все, що вам треба».<ref name="vaswani2017">{{cite arXiv|last8=Polosukhin|first8=Illia|last7=Kaiser|first7=Lukasz|last6=Gomez|first6=Aidan N.|last5=Jones|first5=Llion|last4=Uszkoreit|first4=Jakob|last3=Parmar|first3=Niki|last2=Shazeer|first2=Noam|last1=Vaswani|first1=Ashish|date=2017-06-12|title=Attention Is All You Need|eprint=1706.03762|class=cs.CL}} {{ref-en}}</ref> Він поєднує це з оператором ''[[Нормована експоненційна функція|softmax]]'' та проєкційною матрицею.<ref name=DLhistory/> Трансформери все частіше обирають за модель для [[Обробка природної мови|обробки природної мови]].<ref name="wolf2020">{{cite book|last1=Wolf|first1=Thomas|last2=Debut|first2=Lysandre|last3=Sanh|first3=Victor|last4=Chaumond|first4=Julien|last5=Delangue|first5=Clement|last6=Moi|first6=Anthony|last7=Cistac|first7=Pierric|last8=Rault|first8=Tim|last9=Louf|first9=Remi|last10=Funtowicz|first10=Morgan|last11=Davison|first11=Joe|last12=Shleifer|first12=Sam|last13=von Platen|first13=Patrick|last14=Ma|first14=Clara|last15=Jernite|first15=Yacine|last16=Plu|first16=Julien|last17=Xu|first17=Canwen|last18=Le Scao|first18=Teven|last19=Gugger|first19=Sylvain|last20=Drame|first20=Mariama|last21=Lhoest|first21=Quentin|last22=Rush|first22=Alexander|title=Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations|chapter=Transformers: State-of-the-Art Natural Language Processing|year=2020|pages=38–45|doi=10.18653/v1/2020.emnlp-demos.6|s2cid=208117506}} {{ref-en}}</ref> Багато сучасних великих мовних моделей, таких як ''[[ChatGPT]]'', [[GPT-4|''GPT''-4]] та [[BERT (модель мови)|''BERT'']], використовують саме його. Трансформери також все частіше використовують у [[Комп'ютерне бачення|комп'ютернім баченні]].<ref>{{cite web |last1=He |first1=Cheng |title=Transformer in CV |url=https://towardsdatascience.com/transformer-in-cv-bbdb58bf335e |website=Transformer in CV |date=31 грудня 2021 |publisher=Towards Data Science}} {{ref-en}}</ref>

1991 року [[Юрген Шмідхубер]] також опублікував змагальні нейронні мережі ({{lang-en|adversarial neural networks}}), які змагаються між собою у формі [[Антагоністична гра|антагоністичної гри]], де виграш однієї мережі є програшем іншої.<ref name="curiosity1991">{{cite conference| title = A possibility for implementing curiosity and boredom in model-building neural controllers | last1 = Schmidhuber | first1 = Jürgen | author-link = Юрген Шмідхубер | date = 1991 | publisher = MIT Press/Bradford Books| book-title = Proc. SAB'1991| pages = 222–227}} {{ref-en}}</ref><ref name="fun2010">{{cite journal|last1=Schmidhuber|first1=Jürgen|author-link=Юрген Шмідхубер|year=2010|title=Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010)|journal= IEEE Transactions on Autonomous Mental Development|volume=2|issue=3|pages=230–247|doi=10.1109/TAMD.2010.2056368 |s2cid=234198 }} {{ref-en}}</ref><ref name="gancurpm2020">{{Cite journal|last=Schmidhuber|first=Jürgen| author-link = Юрген Шмідхубер |date=2020|title=Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)|journal=Neural Networks |language=en|volume=127|pages=58–66|doi=10.1016/j.neunet.2020.04.008 |pmid=32334341 |arxiv=1906.04493 |s2cid=216056336 }} {{ref-en}}</ref> Перша мережа є [[Породжувальна модель|породжувальною моделлю]], яка моделює [[Розподіл імовірностей|розподіл імовірності]] над образами на виході. Друга мережа навчається [[Градієнтний спуск|градієнтним спуском]] передбачувати реакцію середовища на ці образи. Це було названо «штучною цікавістю» ({{lang-en|"artificial curiosity"}}).

2014 року  [[Ян Ґудфелоу]] зі співавт. використали цей принцип у [[Породжувальна змагальна мережа|породжувальній змагальній мережі]] ({{lang-en|generative adversarial network, GAN}}).<ref name="GANnips">{{cite conference|last1=Goodfellow|first1=Ian|last2=Pouget-Abadie|first2=Jean|last3=Mirza|first3=Mehdi|last4=Xu|first4=Bing|last5=Warde-Farley|first5=David|last6=Ozair|first6=Sherjil|last7=Courville|first7=Aaron|last8=Bengio|first8=Yoshua|year=2014|title=Generative Adversarial Networks|url=https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|conference=Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014)|pages=2672–2680|access-date=20 серпня 2019|archive-date=22 листопада 2019|archive-url=https://web.archive.org/web/20191122034612/http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|url-status=live}} {{ref-en}}</ref> Тут реакція навколишнього середовища дорівнює 1 або 0 залежно від того, чи належить вихід першої мережі до заданого набору. Це можливо використовувати для створення реалістичних [[дипфейк]]ів.<ref>{{Cite web|url=https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|title=Prepare, Don't Panic: Synthetic Media and Deepfakes|publisher=witness.org|access-date=25 листопада 2020|archive-date=2 грудня 2020|archive-url=https://web.archive.org/web/20201202231744/https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|url-status=live}} {{ref-en}}</ref>
Відмінної якості зображення досягла ''{{нп|StyleGAN}}'' ''[[Nvidia]]'' (2018)<ref name="SyncedReview2018">{{Cite web |url=https://syncedreview.com/2018/12/14/gan-2-0-nvidias-hyperrealistic-face-generator/ |title=GAN 2.0: NVIDIA's Hyperrealistic Face Generator |date=14 грудня 2018 |website=SyncedReview.com|access-date=3 жовтня 2019}} {{ref-en}}</ref> на основі прогресивної породжувальної змагальної мережі ({{lang-en|Progressive GAN}}) Теро Карраса, Тімо Айли, Самулі Лайне та Яакко Лехтінена.<ref name="progressiveGAN2017">{{Cite journal |last1=Karras |first1=Tero |last2=Aila |first2=Timo |last3=Laine |first3=Samuli |last4=Lehtinen |first4=Jaakko |date=1 жовтня 2017 |title=Progressive Growing of GANs for Improved Quality, Stability, and Variation |arxiv=1710.10196 |url=https://ui.adsabs.harvard.edu/abs/2017arXiv171010196K}} {{ref-en}}</ref> Тут породжувач вирощується від малого до великого пірамідним чином.

Дипломну працю {{нп|Зепп Хохрайтер|Зеппа Хохрайтера||Sepp Hochreiter}} (1991)<ref name="HOCH1991">S. Hochreiter., "[http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf Untersuchungen zu dynamischen neuronalen Netzen] {{Webarchive|url=https://web.archive.org/web/20150306075401/http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf |date=2015-03-06 }}," ''Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber'', 1991. {{ref-de}}</ref> його керівник [[Юрген Шмідхубер]] назвав «одним із найважливіших документів в історії машинного навчання».<ref name=DLhistory/> Хохрайтер визначив і проаналізував [[Проблема зникання градієнту|проблему зникання градієнту]]<ref name="HOCH1991" /><ref name="HOCH2001">{{cite book|chapter-url={{google books |plainurl=y |id=NWOcMVA64aAC}}|title=A Field Guide to Dynamical Recurrent Networks|last=Hochreiter|first=S.|display-authors=etal|date=15 січня 2001|publisher=John Wiley & Sons|isbn=978-0-7803-5369-5|chapter=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|editor-last2=Kremer|editor-first2=Stefan C.|editor-first1=John F.|editor-last1=Kolen}} {{ref-en}}</ref> й запропонував для її розв'язання рекурентні залишкові з'єднання. Це призвело до появи методу глибокого навчання, званого [[Довга короткочасна пам'ять|довгою короткочасною пам'яттю]] (ДКЧП, {{lang-en|long short-term memory, LSTM}}), опублікованого в ''Neural Computation'' (1997).<ref>{{Cite journal|last1=Hochreiter|first1=Sepp|last2=Schmidhuber|first2=Jürgen|s2cid=1915014|date=1 листопада 1997|title=Long Short-Term Memory|journal=Neural Computation|volume=9|issue=8|pages=1735–1780|doi=10.1162/neco.1997.9.8.1735|issn=0899-7667|pmid=9377276}} {{ref-en}}</ref> [[Рекурентна нейронна мережа|Рекурентні нейронні мережі]] ДКЧП можуть навчатися задач «дуже глибокого навчання» ({{lang-en|"very deep learning"}})<ref name="SCHIDHUB">{{cite journal|last=Schmidhuber|first=J.|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003}} {{ref-en}}</ref> з довгими шляхами розподілу внеску, які вимагають спогадів про події, що відбулися за тисячі дискретних часових кроків до цього. «Стандартну ДКЧП» ({{lang-en|"vanilla LSTM"}}) із забувальним вентилем запропонували 1999 року {{нп|Фелікс Ґерс|||Felix Gers}}, [[Юрген Шмідхубер|Шмідхубер]] та Фред Каммінс.<ref name="lstm1999">{{Cite book |doi = 10.1049/cp:19991218|chapter = Learning to forget: Continual prediction with LSTM|title = 9th International Conference on Artificial Neural Networks: ICANN '99|volume = 1999|pages = 850–855|year = 1999|last1 = Gers|first1 = Felix| last2 = Schmidhuber|first2 = Jürgen| last3 = Cummins|first3 = Fred| isbn = 0-85296-721-7}} {{ref-en}}</ref> [[ДКЧП]] стала найцитованішою нейронною мережею XX століття.<ref name="DLhistory" /> 2015 року Рупеш Кумар Шрівастава, Клаус Ґрефф і Шмідхубер використали принцип [[ДКЧП]] для створення [[Магістралева мережа|магістралевої мережі]] ({{lang-en|Highway network}}), [[Нейронна мережа прямого поширення|нейронної мережі прямого поширення]] з сотнями шарів, набагато глибшої за попередні.<ref name="highway2015">{{cite arXiv|last1=Srivastava|first1=Rupesh Kumar|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Jürgen|title=Highway Networks|eprint=1505.00387|date=2 травня 2015|class=cs.LG}} {{ref-en}}</ref><ref name="highway2015neurips">{{cite journal|last1=Srivastava|first1=Rupesh K|last2=Greff|first2=Klaus|last3=Schmidhuber|first3=Juergen|title=Training Very Deep Networks|journal=Advances in Neural Information Processing Systems |date=2015|volume=28|pages=2377–2385|url=http://papers.nips.cc/paper/5850-training-very-deep-networks|publisher=Curran Associates, Inc.}} {{ref-en}}</ref> 7 місяців потому, Каймін Хе, Сян'ю Чжан; Шаоцін Рен та Цзянь Сунь виграли {{нп|Змагання ImageNet|змагання ''ImageNet''||ImageNet Competition}} 2015 року з відкритовентильним або безвентильним варіантом [[Магістралева мережа|магістралевої мережі]], названим [[Залишкова нейронна мережа|залишковою нейронною мережею]] ({{lang-en|Residual neural network}}).<ref name="resnet2015">{{Cite conference|last1=He|first1=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=2016|title=Deep Residual Learning for Image Recognition|url=https://ieeexplore.ieee.org/document/7780459|journal=2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|location=Las Vegas, NV, US|publisher=IEEE|pages=770–778|arxiv=1512.03385|doi=10.1109/CVPR.2016.90|isbn=978-1-4673-8851-1}} {{ref-en}}</ref> Вона стала найцитованішою нейронною мережею XXI століття.<ref name="DLhistory" />

Розвиток [[Транзистор метал-діелектрик-напівпровідник|метал-оксид-напівпровідникових]] (МОН) [[Схеми надвисокого рівня інтеграції|схем надвисокого рівня інтеграції]] (НВІС) у формі технології [[КМОН|комплементарних МОН]] (КМОН) дозволив збільшити {{нп|Кількість транзисторів|кількість||Transistor count}} МОН-транзисторів у [[Цифрова електроніка|цифровій електроніці]]. Це забезпечило більшу потужність обробки для розробки практичних штучних нейронних мереж у 1980-х роках.<ref name="Mead">{{cite book|url=http://fennetic.net/irc/Christopher%20R.%20Carroll%20Carver%20Mead%20Mohammed%20Ismail%20Analog%20VLSI%20Implementation%20of%20Neural%20Systems.pdf|title=Analog VLSI Implementation of Neural Systems|date=8 травня 1989|publisher={{нп|Kluwer Academic Publishers}}<!-- Проблема вікіфікації: Сторінка [[:en:Kluwer Academic Publishers]] (→ [[:en:Springer Science+Business Media#History]]) перекладена як [[Springer Science+Business Media]], хоча хотіли [[Kluwer Academic Publishers]] (SashkoR0B0T)-->|isbn=978-1-4613-1639-8|last1=Mead|first1=Carver A.|author1-link=Карвер Мід|last2=Ismail|first2=Mohammed|series=The Kluwer International Series in Engineering and Computer Science|volume=80|location=Norwell, MA|doi=10.1007/978-1-4613-1639-8|access-date=24 січня 2020|archive-date=2019-11-06|archive-url=https://web.archive.org/web/20191106154442/http://fennetic.net/irc/Christopher%20R.%20Ca|url-status=live}} {{ref-en}}</ref>

До ранніх успіхів нейронних мереж належали прогнозування фондового ринку, а 1995 року (переважно) безпілотний автомобіль.{{Efn|Для керування «{{нп|Історія автономних автомобілів#1990-ті|Без рук через Америку||History of autonomous cars#1990s}}» 1995-го року знадобилося «лише кілька випадків людської допомоги».}}<ref>{{cite book
| last = Domingos | first = Pedro | author-link = Педро Домінгос
| title =  The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World
| url = https://archive.org/details/masteralgorithmh0000domi_q9v1 | date = 22 September 2015
| publisher = [[Basic Books]]
| isbn = 978-0465065707
| chapter = chapter 4
}} {{ref-en}}</ref>

[[Джефрі Гінтон]] зі співавт. (2006) запропонували навчання високорівневих подань з використанням послідовних шарів двійкових або дійснозначних [[Латентна змінна|латентних змінних]] з [[Обмежена машина Больцмана|обмеженою машиною Больцмана]]<ref name="smolensky1986">{{cite book|chapter-url=http://portal.acm.org/citation.cfm?id=104290|title=Parallel Distributed Processing: Explorations in the Microstructure of Cognition|year=1986|editor=D. E. Rumelhart|editor2=J. L. McClelland|editor3=PDP Research Group|volume=1|pages=[https://archive.org/details/paralleldistribu00rume/page/194 194–281]|chapter=Information processing in dynamical systems: Foundations of harmony theory.|last1=Smolensky|first1=P.|author-link1=Пол Смоленський|isbn=978-0-262-68053-0|url=https://archive.org/details/paralleldistribu00rume/page/194}} {{ref-en}}</ref> для моделювання кожного шару. 2012 року [[Ендрю Ин|Ин]] та [[Джефф Дін (програміст)|Дін]] створили мережу, яка навчилася розпізнавати поняття вищого рівня, такі як коти, лише переглядаючи немічені зображення.<ref name="ng2012">{{cite arXiv|eprint=1112.6209|first2=Jeff|last2=Dean|title=Building High-level Features Using Large Scale Unsupervised Learning|last1=Ng|first1=Andrew|year=2012|class=cs.LG}} {{ref-en}}</ref> Попереднє некероване тренування та збільшення обчислювальної потужності [[ГП]] та [[Розподілені обчислення|розподілених обчислень]] дозволили використовувати більші мережі, зокрема в задачах розпізнавання зображень і бачення, які стали відомі як [[Глибоке навчання|«глибоке навчання»]].<ref>{{cite book|title=Deep Learning|author=Ian Goodfellow and Yoshua Bengio and Aaron Courville|publisher=MIT Press|url=http://www.deeplearningbook.org/|year=2016|access-date=1 червня 2016|archive-date=16 квітня 2016|archive-url=https://web.archive.org/web/20160416111010/http://www.deeplearningbook.org/|url-status=live}} {{ref-en}}</ref>

Чирешан із колегами (2010)<ref name=":3">{{Cite journal|last1=Cireşan|first1=Dan Claudiu|last2=Meier|first2=Ueli|last3=Gambardella|first3=Luca Maria|last4=Schmidhuber|first4=Jürgen|date=21 вересня 2010|title=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition|journal=Neural Computation|volume=22|issue=12|pages=3207–3220|doi=10.1162/neco_a_00052|pmid=20858131|issn=0899-7667|arxiv=1003.0358|s2cid=1918673}} {{ref-en}}</ref> показали, що, незважаючи на [[Проблема зникання градієнту|проблему зникання градієнта]], [[ГП]] роблять зворотне поширення придатним для багатошарових нейронних мереж прямого поширення.<ref name="Scherer2010">Dominik Scherer, Andreas C. Müller, and Sven Behnke: "[https://www.ais.uni-bonn.de/papers/icann2010_maxpool.pdf Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition] {{Webarchive|url=https://web.archive.org/web/20180403185041/http://ais.uni-bonn.de/papers/icann2010_maxpool.pdf |date=3 квітня 2018 }}," ''In 20th International Conference Artificial Neural Networks (ICANN)'', pp. 92–101, 2010. {{doi|10.1007/978-3-642-15825-4_10}}. {{ref-en}}</ref> У період між 2009 та 2012 роками ШНМ почали вигравати нагороди в конкурсах із розпізнавання зображень, наближаючись до людського рівня виконання різних завдань, спочатку в [[Теорія розпізнавання образів|розпізнаванні образів]] та [[Розпізнавання рукописного введення|розпізнаванні рукописного тексту]].<ref>[http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions Інтерв'ю ''Kurzweil AI'' 2012 року] {{Webarchive|url=https://web.archive.org/web/20180831075249/http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions |date=31 серпня 2018 }} з [[Юрген Шмідхубер|Юргеном Шмідхубером]] про вісім змагань, виграних його командою Глибокого навчання в 2009—2012 роках {{ref-en}}</ref><ref>{{Cite web|url=http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions|title=How bio-inspired deep learning keeps winning competitions {{!}} KurzweilAI|website=www.kurzweilai.net|access-date=16 червня 2017|archive-url=https://web.archive.org/web/20180831075249/http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions|archive-date=31 серпня 2018|url-status=dead}} {{ref-en}}</ref> Наприклад, двоспрямована та багатовимірна [[довга короткочасна пам'ять]] (ДКЧП)<ref name="graves20093">{{Cite book|url=https://papers.nips.cc/paper/2008 |chapter-url=http://www.idsia.ch/~juergen/nips2009.pdf
|last1=Graves|first1=Alex|last2=Schmidhuber|first2=Jürgen|chapter=Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks|publisher=Neural Information Processing Systems (NIPS) Foundation |date=2009 |pages=545–552 |editor-last1=Koller |editor-first1=D. |editor-last2=Schuurmans |editor-first2=Dale|editor-last3=Bengio|editor-first3=Yoshua|editor-last4=Bottou|editor-first4=L. |title=Advances in Neural Information Processing Systems 21 (NIPS 2008) |isbn=9781605609492}} {{ref-en}}</ref><ref name="graves 855" /> {{нп|Алекс Ґрейвс (інформатик)|Ґрейвса||Alex Graves (computer scientist)}} зі співавт. виграла три змагання з розпізнавання зв'язаного рукописного тексту 2009 року без будь-яких попередніх знань про три мови, яких потрібно було навчитися.<ref name="graves20093" /><ref name="graves 855">{{Cite journal|last1=Graves|first1=A.|last2=Liwicki|first2=M.|last3=Fernandez|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|date=May 2009|title=A Novel Connectionist System for Unconstrained Handwriting Recognition|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|issn=0162-8828|doi=10.1109/tpami.2008.137|pmid=19299860|citeseerx=10.1.1.139.4502|s2cid=14635907|url=http://www.idsia.ch/~juergen/tpami_2008.pdf|access-date=30 липня 2014|archive-date=2 січня 2014|archive-url=https://web.archive.org/web/20140102212756/http://www.idsia.ch/~juergen/tpami_2008.pdf|url-status=live}} {{ref-en}}</ref>

Чирешан із колегами створили перші розпізнавачі образів, які досягли людської/надлюдської продуктивності<ref>{{Cite book|last1=Ciresan|first1=Dan|last2=Meier|first2=U.|last3=Schmidhuber|first3=J. |date=June 2012 |title=Multi-column deep neural networks for image classification|journal=2012 IEEE Conference on Computer Vision and Pattern Recognition|pages=3642–3649|doi=10.1109/cvpr.2012.6248110 |isbn=978-1-4673-1228-8|arxiv=1202.2745 |citeseerx=10.1.1.300.3283|bibcode=2012arXiv1202.2745C |s2cid=2161592}} {{ref-en}}</ref> на таких перевірках як розпізнавання дорожніх знаків (''IJCNN'' 2012).

== Моделі ==
{{Плутано|розділ|дата=січень 2018}}
{{Further|Математика штучних нейронних мереж}}
[[Файл:Neuron3.png|праворуч|міні|Нейрон і мієлінований аксон із потоком сигналу від входів на дендритах до виходів на терміналах аксона]]

ШНМ почалися як спроба використати архітектуру людського мозку для виконання завдань, у яких звичайні алгоритми мали невеликий успіх. Незабаром вони переорієнтувалися на покращення емпіричних результатів, відмовившись від спроб залишатися вірними своїм біологічним попередникам. ШНМ мають здатність навчатися нелінійностей та складних зв'язків та моделювати їх. Це досягається тим, що нейрони з'єднуються за різними схемами, що дозволяє виходам одних нейронів стати входом інших. Ця мережа утворює [[Орієнтований граф|орієнтований]] [[зважений граф]].<ref name="Zell1994ch5.2">{{Cite book|title=Simulation neuronaler Netze|last=Zell |first=Andreas|date=2003|publisher=Addison-Wesley|isbn=978-3-89319-554-1|oclc=249017987|trans-title=Simulation of Neural Networks |language=de |edition=1st |chapter=chapter 5.2 }} {{ref-de}}</ref>

Штучна нейронна мережа складається з імітацій нейронів. Кожен нейрон з'єднано з іншими [[Вершина (теорія графів)|вузлами]] ({{lang-en|nodes}}) [[Дуга графа|ланками]] ({{lang-en|links}}), як біологічне з'єднання аксон—синапс—дендрит. Усі вузли, з'єднані ланками, отримують деякі дані й використовують їх для виконання певних операцій і завдань з даними. Кожна ланка має вагу ({{lang-en|weight}}), що визначає силу впливу одного вузла на інший,<ref name='Winston'>{{cite book |title=Artificial intelligence |publisher=Addison-Wesley Pub. Co |isbn=0-201-53377-4 |edition=3rd|year=1992 }} {{ref-en}}</ref> дозволяючи вагам обирати сигнал між нейронами.

=== Штучні нейрони ===

ШНМ складаються зі [[Штучний нейрон|штучних нейронів]], які концептуально походять від [[Нейрон|біологічних]]. Кожен штучний нейрон має входи та видає єдиний вихід, який можливо надсилати багатьом іншим нейронам.<ref name="Abbod2007">{{cite journal|last1=Abbod|first1=Maysam F.|year=2007|title=Application of Artificial Intelligence to the Management of Urological Cancer|journal=The Journal of Urology|volume=178|issue=4|pages=1150–1156|doi=10.1016/j.juro.2007.05.122|pmid=17698099}} {{ref-en}}</ref> Входи ({{lang-en|inputs}}) можуть бути значеннями ознак зразка зовнішніх даних, таких як зображення чи документи, або вони можуть бути виходами інших нейронів. Виходи кінцевих ''нейронів виходу'' ({{lang-en|output neurons}}) нейронної мережі завершують завдання, наприклад, розпізнавання об'єкта на зображенні.

Щоби знайти вихід нейрона, ми беремо зважену суму всіх входів, зважених за ''вагами'' ''з'єднань'' ({{lang-en|connection weights}}) від входів до нейрона. Ми додаємо до цієї суми ''зміщення'' ({{lang-en|bias}}).<ref name="DAWSON1998">{{cite journal|last1=Dawson|first1=Christian W.|year=1998|title=An artificial neural network approach to rainfall-runoff modelling|journal=Hydrological Sciences Journal|volume=43|issue=1|pages=47–66|doi=10.1080/02626669809492102}} {{ref-en}}</ref> Цю зважену суму іноді називають ''збудженням'' ({{lang-en|activation}}). Цю зважену суму потім пропускають крізь (зазвичай нелінійну) [[Передавальна функція штучного нейрона|передавальну функцію]] ({{lang-en|activation function}}) для отримання виходу. Первинними входами є зовнішні дані, наприклад зображення та документи. Кінцеві виходи завершують завдання, наприклад, розпізнавання об'єкта на зображенні.<ref>{{Cite web|url=http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn|title=The Machine Learning Dictionary|website=www.cse.unsw.edu.au|access-date=4 листопада 2009|archive-url=https://web.archive.org/web/20180826151959/http://www.cse.unsw.edu.au/~billw/mldict.html#activnfn|archive-date=26 серпня 2018|url-status=dead}} {{ref-en}}</ref>

=== Будова ===

Нейрони зазвичай впорядковано в кілька шарів ({{lang-en|layers}}), особливо в [[Глибоке навчання|глибокому навчанні]]. Нейрони одного шару з'єднуються лише з нейронами безпосередньо попереднього й наступного шарів. Шар, який отримує зовнішні дані, це ''шар входу'' ({{lang-en|input layer}}). Шар, який видає кінцевий результат, це ''шар виходу'' ({{lang-en|output layer}}). Між ними є нуль або більше ''прихованих шарів'' ({{lang-en|hidden layers}}). Використовують також одношарові ({{lang-en|single layer}}) та безшарові ({{lang-en|unlayered}}) мережі. Між двома шарами можливі кілька схем з'єднання. Вони можуть бути «повноз'єднаними» ({{lang-en|'fully connected'}}), коли кожен нейрон одного шару з'єднується з кожним нейроном наступного шару. Вони можуть бути ''агрегувальними'' ({{lang-en|pooling}}), коли група нейронів одного шару з'єднується з одним нейроном наступного шару, знижуючи таким чином кількість нейронів у цьому шарі.<ref name="flexible">{{cite journal|last=Ciresan|first=Dan|author2=Ueli Meier|author3=Jonathan Masci|author4=Luca M. Gambardella|author5=Jurgen Schmidhuber|year=2011|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|url=https://people.idsia.ch/~juergen/ijcai2011.pdf|journal=Proceedings of the Twenty-Second International Joint Conference on Artificial Intelligence-Volume Volume Two|volume=2|pages=1237–1242|access-date=7 липня 2022|url-status=live|archive-url=https://web.archive.org/web/20220405190128/https://people.idsia.ch/~juergen/ijcai2011.pdf|archive-date=5 квітня 2022}} {{ref-en}}</ref> Нейрони лише з такими зв'язками утворюють [[орієнтований ациклічний граф]] і відомі як [[Нейронна мережа прямого поширення|''мережі прямого поширення'']] ({{lang-en|feedforward networks}}).<ref name="Zell1994p73">{{cite book|title=Simulation Neuronaler Netze|last=Zell|first=Andreas|publisher=Addison-Wesley|year=1994|isbn=3-89319-554-8|edition=1st|page=73|language=de|trans-title=Simulation of Neural Networks}}</ref> Крім того, мережі, які дозволяють з'єднання до нейронів у тому же або попередніх шарах, відомі як [[Рекурентна нейронна мережа|''рекурентні мережі'']] ({{lang-en|recurrent networks}}).<ref>{{Cite journal|last=Miljanovic|first=Milos|date=February–March 2012|title=Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction|url=http://www.ijcse.com/docs/INDJCSE12-03-01-028.pdf|journal=Indian Journal of Computer and Engineering|volume=3|issue=1}} {{ref-en}}</ref>

=== Гіперпараметр ===
{{Main|Гіперпараметр (машинне навчання)}}

[[Гіперпараметр (машинне навчання)|Гіперпараметр]] ({{lang-en|hyperparameter}})&nbsp;— це сталий [[параметр]], чиє значення встановлюють перед початком процесу навчання. Значення же [[параметр]]ів ({{lang-en|parameters}}) виводять шляхом навчання. До прикладів гіперпараметрів належать [[темп навчання]] ({{lang-en|learning rate}}), кількість прихованих шарів і розмір пакета.<ref>{{Cite web|url=https://towardsdatascience.com/a-walkthrough-of-convolutional-neural-network-7f474f91d7bd|title=A Walkthrough of Convolutional Neural Network – Hyperparameter Tuning|last=Lau|first=Suki|date=10 липня 2017|website=Medium|access-date=23 серпня 2019|archive-date=4 лютого 2023|archive-url=https://web.archive.org/web/20230204153904/https://towardsdatascience.com/a-walkthrough-of-convolutional-neural-network-7f474f91d7bd?gi=95062e80a5b5|url-status=live}} {{ref-en}}</ref> Значення деяких гіперпараметрів можуть залежати від значень інших гіперпараметрів. Наприклад, розмір деяких шарів може залежати від загальної кількості шарів.

=== Навчання ===
{{Без виносок|section|date=липень 2023}}
{{Див. також|Математична оптимізація|Теорія оцінювання|Машинне навчання}}

Навчання ({{lang-en|learning}})&nbsp;— це пристосовування мережі для кращого виконання завдання шляхом розгляду вибіркових спостережень. Навчання включає підлаштовування ваг (і, можливо, порогів) мережі для підвищення точності результатів. Це здійснюється шляхом мінімізування спостережуваних похибок. Навчання завершено, якщо розгляд додаткових спостережень не знижує рівня похибки. Навіть після навчання рівень похибки зазвичай не досягає 0. Якщо навіть після навчання рівень похибки занадто високий, зазвичай потрібно змінити будову мережі. Практично це здійснюють шляхом визначення [[Функція втрат|функції витрат]] ({{lang-en|cost function}}), яку періодично оцінюють протягом навчання. Поки її результат знижується, навчання триває. Витрати часто визначають як [[Статистика (математика)|статистику]], значення якої можливо лише наближувати. Виходи насправді є числами, тож коли похибка низька, різниця між результатом (майже напевно кіт) і правильною відповіддю (кіт) невелика. Навчання намагається знизити загальну відмінність над спостереженнями. Більшість моделей навчання можливо розглядати як пряме застосування теорії [[Оптимізація (математика)|оптимізації]] та [[Теорія оцінювання|статистичного оцінювання]].<ref name="Zell1994ch5.2"/><ref>{{Cite book|last1=Kelleher|first1=John D. |last2=Mac Namee|first2=Brian|last3=D'Arcy|first3=Aoife |title=Fundamentals of machine learning for predictive data analytics: algorithms, worked examples, and case studies|date=2020|isbn=978-0-262-36110-1 |edition=2nd|location=Cambridge, MA|chapter=7-8|oclc=1162184998}} {{ref-en}}</ref>

==== Темп навчання ====
{{Main|Темп навчання}}

Темп навчання ({{lang-en|learning rate}}) визначає розмір коригувальних кроків, які здійснює модель для підлаштовування під похибку в кожному спостереженні.<ref>{{cite arXiv|last=Wei|first=Jiakai|date=26 квітня 2019|title=Forget the Learning Rate, Decay Loss|class=cs.LG|eprint=1905.00094}} {{ref-en}}</ref> Високий темп навчання скорочує тривалість тренування, але з меншою кінцевою точністю, тоді як нижчий темп навчання займає більше часу, але з потенціалом до більшої точності. Такі оптимізації, як ''{{нп|Quickprop}}'' ({{lang-uk|«швидпошир»}}), переважно спрямовані на прискорення мінімізування похибки, тоді як інші вдосконалення переважно намагаються підвищити надійність. Щоби запобігти [[Осциляція|циклічним коливанням]] усередині мережі, таким як чергування ваг з'єднань, і покращити швидкість збігання, удосконалення використовують [[адаптивний темп навчання]], який підвищується або знижується належним чином.<ref>{{Cite book|title=The Improved Training Algorithm of Back Propagation Neural Network with Self-adaptive Learning Rate|last1=Li|first1=Y.|last2=Fu|first2=Y.|last3=Li|first3=H.|last4=Zhang|first4=S. W.|s2cid=10557754|date=1 червня 2009|journal=2009 International Conference on Computational Intelligence and Natural Computing|isbn=978-0-7695-3645-3|volume=1|pages=73–76|doi=10.1109/CINC.2009.111}} {{ref-en}}</ref> Концепція імпульсу ({{lang-en|momentum}}) дозволяє зважувати баланс між градієнтом і попередньою зміною так, щоби підлаштовування ваги певною мірою залежало від попередньої зміни. Імпульс, близький до 0, додає ваги градієнтові, тоді як значення, близьке до 1, додає ваги крайній зміні.

==== Функція витрат ====

Хоча й можливо визначати функцію витрат ''[[ad hoc]]'', вибір часто визначається бажаними властивостями цієї функції (такими як [[Опукла функція|опуклість]]) або тим, що вона постає з моделі (наприклад, у ймовірнісній моделі [[Апостеріорна ймовірність|апостеріорну ймовірність]] моделі можливо використовувати як обернені витрати).

==== Зворотне поширення ====
{{Main|Зворотне поширення}}

Зворотне поширення ({{lang-en|backpropagation}})&nbsp;— це метод, який використовують для підлаштовування ваг з'єднань для компенсування кожної помилки, виявленої під час навчання. Величина помилки фактично розподіляється між з'єднаннями. Технічно зворотне поширення обчислює [[градієнт]] (похідну) [[Функція втрат|функції витрат]], пов'язаний із заданим станом, відносно ваг. Уточнювання ваг можливо здійснювати за допомогою [[Стохастичний градієнтний спуск|стохастичного градієнтного спуску]] ({{lang-en|stochastic gradient descent}}) або інших методів, таких як ''[[Машина екстремального навчання|машини екстремального навчання]]'',<ref>{{cite journal|last1=Huang|first1=Guang-Bin|last2=Zhu |first2=Qin-Yu|last3=Siew|first3=Chee-Kheong|year=2006|title=Extreme learning machine: theory and applications|journal=Neurocomputing|volume=70|issue=1 |pages=489–501|doi=10.1016/j.neucom.2005.12.126 |citeseerx=10.1.1.217.3692|s2cid=116858 }} {{ref-en}}</ref> «безпоширні» ({{lang-en|"no-prop"}}) мережі,<ref>{{cite journal|year=2013|title=The no-prop algorithm: A new learning algorithm for multilayer neural networks |journal=Neural Networks|volume=37 |pages=182–188|doi=10.1016/j.neunet.2012.09.020|pmid=23140797|last1=Widrow|first1=Bernard|display-authors=etal}} {{ref-en}}</ref> тренування без вертання,<ref>{{cite arXiv|eprint=1507.07680|first1=Yann |last1=Ollivier|first2=Guillaume|last2=Charpiat|title=Training recurrent networks without backtracking |year=2015|class=cs.NE}} {{ref-en}}</ref> «безвагові» ({{lang-en|"weightless"}}) мережі,<ref name="RBMTRAIN">{{Cite journal |last=Hinton |first=G. E. |date=2010 |title=A Practical Guide to Training Restricted Boltzmann Machines |url=https://www.researchgate.net/publication/221166159 |journal=Tech. Rep. UTML TR 2010-003 |access-date=27 червня 2017 |archive-date=9 травня 2021 |archive-url=https://web.archive.org/web/20210509123211/https://www.researchgate.net/publication/221166159_A_brief_introduction_to_Weightless_Neural_Systems |url-status=live }} {{ref-en}}</ref><ref>ESANN. 2009.</ref> та {{нп|Голографічна асоціативна пам'ять|не-конективістські нейронні мережі||Holographic associative memory}}.{{citation needed|date=липень 2023}}

=== Парадигми навчання ===
{{Без виносок|розділ|date=липень 2023}}

Машинне навчання зазвичай поділяють на три основні парадигми: [[кероване навчання]],<ref>{{cite book |last1=Bernard |first1=Etienne |title=Introduction to machine learning |date=2021 |location=Champaign |isbn=978-1579550486 |page=9 |url=https://www.wolfram.com/language/introduction-machine-learning/machine-learning-paradigms/#p-9 |access-date=22 березня 2023 |language=en}}</ref><ref name="Синєглазов2022">{{cite book|url=https://ela.kpi.ua/bitstream/123456789/52775/1/Metody.pdf|last1=Синєглазов|first=Віктор|last2=Чумаченко|first2=Олена|year=2022|title=Методи та технології напівкерованого навчання: Курс лекцій|editor-last1=Бідюк|editor-first1=П.&nbsp;І.|editor-link1=Бідюк Петро Іванович|editor-last2=Шугалей|editor-first2=Л.&nbsp;П.|publisher=[[НТУУ «КПІ ім. Ігоря Сікорського»]]|location=Київ|language=uk}}</ref><ref name="Дуда2018">{{cite conference|url=http://elibrary.kdpu.edu.ua/bitstream/123456789/2876/1/isdmci_2018.pdf#page=160|last1=Дуда|first1=О.&nbsp;М.|last2=Кунанець|first2=Н.&nbsp;Е.|last3=Мацюк|first3=О.&nbsp;В.|last4=Пасічник|first4=В.&nbsp;В.|title=Методи аналітичного опрацювання big data|conference=Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту|date=21—27 травня 2018|location=Залізний Порт|isbn=978-617-7573-17-2|pages=159|language=uk}}</ref><ref name="Копивницька2023">{{cite journal|last1=Кропивницька|first1=В.&nbsp;Б.|last2=Магас|first2=Д.&nbsp;М.|date=30 квітня 2023|title=Напівкероване машинне навчання для виявлення несправностей нафтогазопроводів|url=https://moderntechno.de/index.php/meit/article/view/meit26-01-010|journal=Modern engineering and innovative technologies|volume=1|issue=18|pages=33—36|doi=10.30890/2567-5273.2023-26-01-010|language=uk}}</ref> [[некероване навчання]]<ref>{{cite book |last1=Bernard |first1=Etienne |title=Introduction to machine learning |date=2021 |location=Champaign |isbn=978-1579550486 |page=12 |url=https://www.wolfram.com/language/introduction-machine-learning/machine-learning-paradigms/#p-9 |access-date=22 березня 2023 |language=en}}</ref><ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="В'юненко2021">{{cite conference|url=https://dspace.univd.edu.ua/bitstream/handle/123456789/10496/Aviatsiia_Promyslovist_Suspilstvo_1.09_2021.pdf?sequence=7&isAllowed=y#page=167|last=В'юненко|first1=О.&nbsp;Б.|last2=Виганяйло|first2=С.&nbsp;М.|title=Інновації та загальні проблеми підвищення рівня кібербезпеки|conference=II Міжнародна науково-практична конференція «Авіація, промисловість, суспільство»|editor-last1=Сокуренко|editor-first1=В.&nbsp;В.|editor-last2=Швець|editor-first2=Д.&nbsp;В.|editor-last3=Могілевський|editor-first3=Л.&nbsp;В.|editor-last4=Шульга|editor-first4=В.&nbsp;П.|editor-last5=Яковлєв|editor-first5=Р.&nbsp;П.|editor-last6=Шмельов|editor-first6=Ю.&nbsp;М.|volume=1|publisher=МВС України, [[Харківський національний університет внутрішніх справ]], [[Кременчуцький льотний коледж]]|date=12 травня 2021|isbn=978-966-610-243-3|pages=169|language=uk}}</ref><ref name="Копивницька2023" /> та [[навчання з підкріпленням]].<ref>{{cite book|url=https://www.wolfram.com/language/introduction-machine-learning/|title=Introduction to Machine Learning|first1=Etienne|publisher=Wolfram Media Inc|year=2021|isbn=978-1-579550-48-6|page=9|last1=Bernard}} {{ref-en}}</ref><ref name="Хорошилов2019">{{cite journal|last1=Хорошилов|first=С.&nbsp;В.|last2=Редька|first2=М.&nbsp;О.|year=2019|title=Інтелектуальне керування орієнтацією космічних апаратів із використанням навчання з підкріпленням|url=https://fragen.quest/blog/QY15idvdmL2VnYu5SZjFGczR2LvoDc0/xmlui/bitstream/123456789/174081/1/03-Khoroshylov.pdf|journal=Технічна механіка|issue=4|publisher=Інститут технічної механіки [[Національна академія наук України|Національної академії наук України]] та [[Державне космічне агентство України|Державного космічного агентства України]]|location=Дніпро|doi=10.15407/itm2019.04.029|language=uk}}</ref> Кожна відповідає певному навчальному завданню.

==== Кероване навчання ====

[[Кероване навчання]]<ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="Копивницька2023" /> ({{lang-en|supervised learning}}) використовує набір пар входів і бажаних виходів. Завдання навчання полягає в тому, щоби для кожного входу видавати бажаний вихід. У цьому випадку функція витрат пов'язана з усуненням неправильного висновування.<ref>{{Cite journal|last1=Ojha|first1=Varun Kumar|last2=Abraham|first2=Ajith|last3=Snášel|first3=Václav|date=1 квітня 2017|title=Metaheuristic design of feedforward neural networks: A review of two decades of research|journal=Engineering Applications of Artificial Intelligence|volume=60|pages=97–116|doi=10.1016/j.engappai.2017.01.013|arxiv=1705.05584|bibcode=2017arXiv170505584O|s2cid=27910748}} {{ref-en}}</ref> Витрати, які використовують зазвичай, це [[середньоквадратична похибка]], яка намагається мінімізувати середню квадратичну похибку виходу мережі відносно бажаного виходу. Для керованого навчання підходять завдання на [[розпізнавання образів]] (також відоме як класифікування) та [[Регресійний аналіз|регресію]] (також відоме як наближення функції). Кероване навчання також застосовне до послідовних даних (наприклад, для розпізнавання рукописного тексту, мовлення та {{нп|Розпізнавання жестів|жестів||Gesture recognition}}). Його можливо розглядати як навчання з «учителем» у вигляді функції, яка забезпечує безперервний зворотний зв'язок щодо якості отриманих на даний момент рішень.

==== Некероване навчання ====

У [[Некероване навчання|некерованім навчанні]]<ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="В'юненко2021" /><ref name="Копивницька2023" /> ({{lang-en|unsupervised learning}}) дані входу надаються разом із функцією витрат, деякою функцією від даних <math>\textstyle x</math> та виходу мережі. Функція витрат залежить від завдання (області моделі) та будь-яких [[A priori і a posteriori|апріорних]] припущень (неявних властивостей моделі, її параметрів та спостережуваних змінних). Як тривіальний приклад розгляньмо модель <math>\textstyle f(x) = a</math>, де <math>\textstyle a</math> стала, а витрати <math>\textstyle C=E[(x - f(x))^2]</math>. Мінімізація цих витрат дає значення <math>\textstyle a</math>, що дорівнює середньому значенню даних. Функція витрат може бути набагато складнішою. Її вигляд залежить від застосування: наприклад, у [[Стиснення даних|стисненні]] вона може бути пов'язаною із [[Взаємна інформація|взаємною інформацією]] між <math>\textstyle x</math> та <math>\textstyle f(x)</math>, тоді як у статистичному моделюванні вона може бути пов'язаною з [[Апостеріорна ймовірність|апостеріорною ймовірністю]] моделі за заданих даних (зверніть увагу, що в обох цих прикладах ці величини підлягають максимізуванню, а не мінімізуванню). Завдання, які підпадають під парадигму некерованого навчання, це зазвичай задачі [[Апроксимація|оцінювання]]; до цих застосувань належать [[кластерування]], оцінювання [[Статистичний розподіл|статистичних розподілів]], [[Стискання даних|стискання]] та [[Баєсове фільтрування спаму|фільтрування]].

==== Навчання з підкріпленням ====
{{Main|Навчання з підкріпленням}}
{{Див. також|{{нп|Стохастичне керування|||Stochastic control}}}}

У таких застосуваннях як гра у відеоігри, діяч ({{lang-en|actor}}) виконує низку дій ({{lang-en|actions}}), отримуючи загалом непередбачуваний відгук від середовища після кожної з них. Мета полягає в тому, щоби виграти гру, тобто породити найбільшу кількість позитивних (з найменшими витратами) відгуків. У [[Навчання з підкріпленням|навчанні з підкріпленням]] ({{lang-en|reinforcement learning}}) мета полягає в тому, щоби зважити мережу (розробити стратегію, {{lang-en|policy}}) для виконання дій, яка мінімізує довгострокові (очікувані сукупні) витрати. У кожен момент часу діяч виконує дію, а середовище породжує спостереження та [[Мить|миттєві]] витрати відповідно до деяких (зазвичай невідомих) правил. Зазвичай правила й довгострокові витрати можливо лише оцінювати. У будь-який момент діяч вирішує, чи дослідити нові дії, щоб розкрити свої витрати, а чи скористатися попереднім знанням для швидшого виконання.

Формально середовище моделюють як [[марковський процес вирішування]] (МПВ) зі станами <math>\textstyle {s_1,...,s_n}\in S </math> та діями <math>\textstyle {a_1,...,a_m} \in A</math>. Оскільки переходи станів невідомі, замість них використовують розподіли ймовірності: розподіл миттєвих витрат <math>\textstyle P(c_t|s_t)</math>, розподіл спостережень <math>\textstyle P(x_t|s_t)</math> та розподіл переходів <math>\textstyle P(s_{t+1}|s_t, a_t)</math>, тоді як стратегію визначають як умовний розподіл дій за даних спостережень. Взяті разом, вони визначають [[марковський ланцюг]] (МЛ). Мета полягає у виявленні МЛ із найменшими витратами.

ШНМ у таких застосуваннях слугують складовою, яка забезпечує навчання.<ref>{{cite conference | author = Dominic, S. | author2 = Das, R. | author3 = Whitley, D. | author4 = Anderson, C. | date = July 1991 | title = Genetic reinforcement learning for neural networks | pages = 71–76 | conference = IJCNN-91-Seattle International Joint Conference on Neural Networks | book-title = IJCNN-91-Seattle International Joint Conference on Neural Networks | publisher = IEEE | location = Seattle, Washington, US | doi = 10.1109/IJCNN.1991.155315 | isbn = 0-7803-0164-1 | url-access = registration | url = https://archive.org/details/ijcnn91seattlein01ieee }} {{ref-en}}</ref><ref>{{cite journal |last=Hoskins |first=J.C. |author2=Himmelblau, D.M. |title=Process control via artificial neural networks and reinforcement learning |url=https://archive.org/details/sim_computers-chemical-engineering_1992-04_16_4/page/241 |journal=Computers & Chemical Engineering |year=1992 |volume=16 |pages=241–251 |doi=10.1016/0098-1354(92)80045-B |issue=4}} {{ref-en}}</ref> [[Динамічне програмування]] у поєднанні з ШНМ (що дає [[Нейронне осцилювання|нейродинамічне]] програмування)<ref>{{cite book|url=https://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images|title=Neuro-dynamic programming|first1=D.P.|first2=J.N.|publisher=Athena Scientific|year=1996|isbn=978-1-886529-10-6|page=512|last1=Bertsekas|last2=Tsitsiklis|access-date=17 червня 2017|archive-date=29 червня 2017|archive-url=https://web.archive.org/web/20170629172039/http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images|url-status=live}} {{ref-en}}</ref> було застосовано до таких задач як ті, що стосуються {{нп|маршрутизуваня транспорту|||Vehicle routing}},<ref>{{cite journal |last=Secomandi |first=Nicola |title=Comparing neuro-dynamic programming algorithms for the vehicle routing problem with stochastic demands |journal=Computers & Operations Research |year=2000 |volume=27 |pages=1201–1225 |doi=10.1016/S0305-0548(99)00146-X |issue=11–12|citeseerx=10.1.1.392.4034 }} {{ref-en}}</ref> відеоігор, [[природокористування]]<ref>{{cite conference | author = de Rigo, D. | author2 = Rizzoli, A. E. | author3 = Soncini-Sessa, R. | author4 = Weber, E. | author5 = Zenesi, P. | year = 2001 | title = Neuro-dynamic programming for the efficient management of reservoir networks | conference = MODSIM 2001, International Congress on Modelling and Simulation | url = http://www.mssanz.org.au/MODSIM01/MODSIM01.htm | book-title = Proceedings of MODSIM 2001, International Congress on Modelling and Simulation | publisher = Modelling and Simulation Society of Australia and New Zealand | location = Canberra, Australia | doi = 10.5281/zenodo.7481 | isbn = 0-86740-525-2 | access-date = 29 July 2013 | archive-date = 7 August 2013 | archive-url = https://web.archive.org/web/20130807223658/http://mssanz.org.au/MODSIM01/MODSIM01.htm | url-status = live }} {{ref-en}}</ref><ref>{{cite conference| author = Damas, M. |author2=Salmeron, M. |author3=Diaz, A. |author4=Ortega, J. |author5=Prieto, A. |author6=Olivares, G.| year = 2000 | title = Genetic algorithms and neuro-dynamic programming: application to water supply networks |volume=1 |pages=7–14 | conference = 2000 Congress on Evolutionary Computation | book-title = Proceedings of 2000 Congress on Evolutionary Computation | publisher = IEEE | location = La Jolla, California, US | doi = 10.1109/CEC.2000.870269 | isbn = 0-7803-6375-2  }} {{ref-en}}</ref> та [[Медицина|медицини]],<ref>{{Cite book |last=Deng |first=Geng |author2=Ferris, M.C. |title=Neuro-dynamic programming for fractionated radiotherapy planning |year=2008 |volume=12 |pages=47–70 |doi=10.1007/978-0-387-73299-2_3|citeseerx=10.1.1.137.8288 |series=Springer Optimization and Its Applications |isbn=978-0-387-73298-5 }} {{ref-en}}</ref> через здатність ШНМ пом'якшувати втрати точності навіть при зменшенні щільності ґратки {{нп|дискретування|||Discretization}} для чисельного наближення розв'язків задач керування. Завдання, які підпадають під парадигму навчання з підкріпленням, це завдання керування, [[Гра|ігри]] та інші послідовні завдання ухвалювання рішень.

==== Самонавчання ====

Самонавчання ({{lang-en|self-learning}}) в нейронних мережах було запропоновано 1982 року разом із нейронною мережею, здатною до самонавчання, названою ''поперечинним адаптивним масивом'' (ПАМ, {{lang-en|crossbar adaptive array, CAA}}).<ref>Bozinovski, S. (1982). "A self-learning system using secondary reinforcement". In R. Trappl (ed.) Cybernetics and Systems Research: Proceedings of the Sixth European Meeting on Cybernetics and Systems Research. North Holland. pp. 397–402. {{ISBN|978-0-444-86488-8}}. {{ref-en}}</ref> Це система лише з одним входом, ситуацією ''s'', й лише одним виходом, дією (або поведінкою) ''a''. Вона не має ані входу зовнішніх порад, ані входу зовнішнього підкріплення з боку середовища. ПАМ обчислює поперечним чином як рішення щодо дій, так і емоції (почуття) щодо виниклих ситуацій. Ця система керується взаємодією між пізнанням та емоціями.<ref>Bozinovski, S. (2014) "[https://core.ac.uk/download/pdf/81973924.pdf Modeling mechanisms of cognition-emotion interaction in artificial neural networks, since 1981] {{Webarchive|url=https://web.archive.org/web/20190323204838/https://core.ac.uk/download/pdf/81973924.pdf |date=23 березня 2019 }}." Procedia Computer Science p. 255-263 {{ref-en}}</ref> За заданої матриці пам'яті, W =||w(a, s)||, поперечинний алгоритм самонавчання на кожній ітерації виконує наступне обчислення:

  У ситуації s виконати дію a;
  Отримати наслідкову ситуацію s';
  Обчислити емоцію перебування в наслідковій ситуації v(s');
  Уточнити поперечинну пам'ять w'(a,s) = w(a,s) + v(s').

Поширюване зворотно значення (вторинне підкріплення, {{lang-en|secondary reinforcement}})&nbsp;— це емоція щодо наслідків ситуації. ПАМ існує у двох середовищах: одне&nbsp;— поведінкове середовище, де вона поводиться, а інше&nbsp;— генетичне середовище, де вона спочатку й лише один раз отримує початкові емоції щодо ситуацій, з якими можливо зіткнутися в поведінковому середовищі. Отримавши геномний вектор (видовий вектор, {{lang-en|genome vector, species vector}}) із генетичного середовища, ПАМ навчатиметься цілеспрямованої поведінки в поведінковому середовищі, що містить як бажані, так і небажані ситуації.<ref>{{cite journal | last1 = Bozinovski | first1 = Stevo | last2 = Bozinovska | first2 = Liljana | year = 2001 | title = Self-learning agents: A connectionist theory of emotion based on crossbar value judgment | journal = Cybernetics and Systems | volume = 32 | issue = 6| pages = 637–667 | doi = 10.1080/01969720118145 | s2cid = 8944741 }} {{ref-en}}</ref>

==== Нейроеволюція ====
{{Main|Нейроеволюція}}

[[Нейроеволюція]] ({{lang-en|neuroevolution}}) може створювати топології та ваги нейронної мережі за допомогою [[Еволюційне обчислення|еволюційного обчислення]]. Завдяки сучасним вдосконаленням нейроеволюція конкурує зі складними підходами градієнтного спуску.<ref>{{Cite web |date=2017-12-18 |title=Welcoming the Era of Deep Neuroevolution |url=https://www.uber.com/blog/deep-neuroevolution/ |access-date=2023-04-15 |website=Uber Blog}} {{ref-en}}</ref> Одна з переваг нейроеволюції полягає в тому, що вона може бути менш схильною потрапляти в «глухий кут».<ref>{{cite news|date=10 січня 2018|title=Artificial intelligence can 'evolve' to solve problems|
work=Science {{!}} AAAS|url=https://www.science.org/content/article/artificial-intelligence-can-evolve-solve-problems|access-date=7 лютого 2018|archive-date=9 грудня 2021|archive-url=https://web.archive.org/web/20211209231714/https://www.science.org/content/article/artificial-intelligence-can-evolve-solve-problems|url-status=live}} {{ref-en}}</ref>

=== Стохастична нейронна мережа ===

'''Стохастичні нейронні мережі''' ({{lang-en|stochastic neural networks}}), що походять від {{нп|Модель Шеррінгтона — Кіркпатріка|моделей Шеррінгтона&nbsp;— Кіркпатріка||Sherrington-Kirkpatrick model}}<!-- Проблема вікіфікації: Сторінка [[:en:Sherrington-Kirkpatrick model]] (→ [[:en:Spin glass#Sherrington–Kirkpatrick model]]) перекладена як [[Спінове скло]], хоча хотіли [[Модель Шеррінгтона — Кіркпатріка]] (SashkoR0B0T)-->, це один з типів штучних нейронних мереж, побудований шляхом введення випадкових варіацій у мережу, або надаванням [[Штучний нейрон|штучним нейронам]] мережі [[Випадковий процес|стохастичних]] передавальних функцій, або надаванням їм стохастичних ваг. Це робить їх корисними інструментами для розв'язування задач [[Оптимізація (математика)|оптимізації]], оскільки випадкові флуктуації допомагають мережі уникати [[Локальний мінімум|локальних мінімумів]].<ref>{{citation|title=Stochastic Models of Neural Networks|volume=102|series=Frontiers in artificial intelligence and applications: Knowledge-based intelligent engineering systems|first=Claudio|last=Turchetti|publisher=IOS Press|year=2004|isbn=9781586033880}} {{ref-en}}</ref> Стохастичні нейронні мережі, треновані за допомогою баєсового підходу, відомі як '''баєсові нейронні мережі''' ({{lang-en|Bayesian neural network}}).<ref>{{Cite journal |last1=Jospin |first1=Laurent Valentin |last2=Laga |first2=Hamid |last3=Boussaid |first3=Farid |last4=Buntine |first4=Wray |last5=Bennamoun |first5=Mohammed |date=2022 |title=Hands-On Bayesian Neural Networks—A Tutorial for Deep Learning Users |url=http://dx.doi.org/10.1109/mci.2022.3155327 |journal=IEEE Computational Intelligence Magazine |volume=17 |issue=2 |pages=29–48 |doi=10.1109/mci.2022.3155327 |arxiv=2007.06823 |s2cid=220514248 |issn=1556-603X |access-date=19 листопада 2022 |archive-date=4 лютого 2023 |archive-url=https://web.archive.org/web/20230204153904/https://ieeexplore.ieee.org/document/9756596/ |url-status=live }} {{ref-en}}</ref>

=== Інші ===

У [[Баєсова ймовірність|баєсовій]] системі обирають розподіл над набором дозволених моделей таким чином, щоби мінімізувати витрати. Іншими алгоритмами навчання є [[еволюційні методи]],<ref>{{cite conference |author1=de Rigo, D. |author2=Castelletti, A. |author3=Rizzoli, A. E. |author4=Soncini-Sessa, R. |author5=Weber, E. |date=January 2005 |title=A selective improvement technique for fastening Neuro-Dynamic Programming in Water Resources Network Management |conference=16th IFAC World Congress |publisher=IFAC |location=Prague, Czech Republic |conference-url=http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2005/Index.html |book-title=Proceedings of the 16th IFAC World Congress – IFAC-PapersOnLine |editor=Pavel Zítek |volume=16 |pages=7–12 |url=http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2005/Papers/Paper4269.html |access-date=30 грудня 2011 |doi=10.3182/20050703-6-CZ-1902.02172 |isbn=978-3-902661-75-3 |hdl=11311/255236 |hdl-access=free |archive-date=26 квітня 2012 |archive-url=https://web.archive.org/web/20120426012450/http://www.nt.ntnu.no/users/skoge/prost/proceedings/ifac2005/Papers/Paper4269.html |url-status=live }} {{ref-en}}</ref> {{нп|генно-експресійне програмування|||Gene expression programming}},<ref>{{cite book |last=Ferreira |first=C. |year=2006 |contribution=Designing Neural Networks Using Gene Expression Programming |url=http://www.gene-expression-programming.com/webpapers/Ferreira-ASCT2006.pdf |editor=A. Abraham |editor2=B. de Baets |editor3=M. Köppen |editor4=B. Nickolay |title=Applied Soft Computing Technologies: The Challenge of Complexity |pages=517–536 |publisher=Springer-Verlag |access-date=8 жовтня 2012 |archive-date=19 грудня 2013 |archive-url=https://web.archive.org/web/20131219022806/http://www.gene-expression-programming.com/webpapers/Ferreira-ASCT2006.pdf |url-status=live }} {{ref-en}}</ref> [[імітування відпалювання]],<ref>{{cite conference |author=Da, Y. |author2=Xiurun, G. |date=July 2005 |title=An improved PSO-based ANN with simulated annealing technique |volume=63 |pages=527–533 |editor=T. Villmann |book-title=New Aspects in Neurocomputing: 11th European Symposium on Artificial Neural Networks |url=http://www.dice.ucl.ac.be/esann/proceedings/electronicproceedings.htm |publisher=Elsevier |doi=10.1016/j.neucom.2004.07.002 |access-date=30 грудня 2011 |archive-date=25 квітня 2012 |archive-url=https://web.archive.org/web/20120425233611/http://www.dice.ucl.ac.be/esann/proceedings/electronicproceedings.htm}} {{ref-en}}</ref> [[очікування-максимізація]], {{нп|непараметричні методи|||Non-parametric methods}} та [[метод рою частинок]].<ref>{{cite conference |author=Wu, J. |author2=Chen, E. |date=May 2009 |title=A Novel Nonparametric Regression Ensemble for Rainfall Forecasting Using Particle Swarm Optimization Technique Coupled with Artificial Neural Network |series=Lecture Notes in Computer Science |volume=5553 |pages=49–58 |book-title=6th International Symposium on Neural Networks, ISNN 2009 |url=http://www2.mae.cuhk.edu.hk/~isnn2009/ |editor=Wang, H. |editor2=Shen, Y. |editor3=Huang, T. |editor4=Zeng, Z. |publisher=Springer |doi=10.1007/978-3-642-01513-7_6 |isbn=978-3-642-01215-0 |access-date=1 січня 2012 |archive-date=31 грудня 2014 |archive-url=https://web.archive.org/web/20141231221755/http://www2.mae.cuhk.edu.hk/~isnn2009/ |url-status=dead}} {{ref-en}}</ref> Збіжна рекурсія ({{lang-en|convergent recursion}})&nbsp;— це алгоритм навчання для нейронних мереж {{нп|Артикуляційний контролер мозочкової моделі|артикуляційних контролерів мозочкової моделі||Cerebellar model articulation controller}} (АКММ, {{lang-en|cerebellar model articulation controller, CMAC}}).<ref name="Qin1">{{cite journal |author1=Ting Qin |author2=Zonghai Chen |author3=Haitao Zhang |author4=Sifu Li |author5=Wei Xiang |author6=Ming Li |url=http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_998.pdf |title=A learning algorithm of CMAC based on RLS |journal=Neural Processing Letters |volume=19 |issue=1 |date=2004 |pages=49–61 |doi=10.1023/B:NEPL.0000016847.18175.60 |s2cid=6233899 |access-date=30 січня 2019 |archive-date=14 квітня 2021 |archive-url=https://web.archive.org/web/20210414103815/http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_998.pdf |url-status=live }} {{ref-en}}</ref><ref name="Qin2">{{cite journal |author1=Ting Qin |author2=Haitao Zhang |author3=Zonghai Chen |author4=Wei Xiang |url=http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf |title=Continuous CMAC-QRLS and its systolic array |journal=Neural Processing Letters |volume=22 |issue=1 |date=2005 |pages=1–16 |doi=10.1007/s11063-004-2694-0 |s2cid=16095286 |access-date=30 січня 2019 |archive-date=18 листопада 2018 |archive-url=https://web.archive.org/web/20181118122850/http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf |url-status=live }} {{ref-en}}</ref>

==== Режими ====
{{Без виносок|розділ|дата=липень 2023}}

Є два режими навчання: [[Стохастичний градієнтний спуск|стохастичний]] ({{lang-en|stochastic}}) та пакетний ({{lang-en|batch}}). У стохастичному навчанні кожен вхід створює підлаштовування ваг. У пакетному навчанні ваги підлаштовують на основі пакету входів, накопичуючи похибки в пакеті. Стохастичне навчання вносить «шум» до процесу, використовуючи локальний градієнт, розрахований з однієї точки даних; це знижує шанс застрягання мережі в локальних мінімумах. Проте пакетне навчання зазвичай дає швидший і стабільніший спуск до локального мінімуму, оскільки кожне уточнення виконується в напрямку усередненої похибки пакета. Поширеним компромісом є використання «мініпакетів» ({{lang-en|"mini-batches"}}), невеликих пакетів зі зразками в кожному пакеті, обраними стохастично з усього набору даних.

== Типи ==
<!-- Відділено [[Типи штучних нейронних мереж]] -->
{{Main|Типи штучних нейронних мереж}}

ШНМ еволюціювали у широке сімейство методик, які вдосконалили рівень останніх досягнень у багатьох областях. Найпростіші типи мають один або кілька статичних складових, включно з кількістю вузлів, кількістю шарів, вагами вузлів і [[Топологія|топологією]]. Динамічні типи дозволяють одному або декільком із них еволюціювати шляхом навчання. Останнє набагато складніше, але може скорочувати періоди навчання й давати кращі результати. Деякі типи дозволяють/вимагають навчання «під керуванням» оператора, тоді як інші працюють незалежно. Деякі типи працюють виключно апаратно, тоді як інші є суто програмними й працюють на комп'ютерах загального призначення.

До деяких з основних проривів належать: [[Згорткова нейронна мережа|згорткові нейронні мережі]], які виявилися особливо успішними в обробці візуальних та інших двовимірних даних;<ref>{{cite journal |vauthors=LeCun Y, Boser B, Denker JS, Henderson D, Howard RE, Hubbard W, Jackel LD |title=Backpropagation Applied to Handwritten Zip Code Recognition |url=https://archive.org/details/sim_neural-computation_winter-1989_1_4/page/541 |journal=Neural Computation |volume=1 |issue=4 |pages=541–551 |date=1989 |doi=10.1162/neco.1989.1.4.541|s2cid=41312633 }} {{ref-en}}</ref><ref name="lecun2016slides">[[Ян ЛеКун|Yann LeCun]] (2016). Slides on Deep Learning [https://indico.cern.ch/event/510372/ Online] {{Webarchive|url=https://web.archive.org/web/20160423021403/https://indico.cern.ch/event/510372/ |date=23 квітня 2016 }} {{ref-en}}</ref> довга короткочасна пам'ять, що дозволяє уникати [[Проблема зникання градієнту|проблеми зникання градієнта]]<ref name=":03">{{Cite journal |last1=Hochreiter|first1=Sepp|author-link=Зепп Хохрайтер|last2=Schmidhuber|first2=Jürgen|s2cid=1915014|author-link2=Юрген Шмідхубер|date=1 листопада 1997|title=Long Short-Term Memory|journal=Neural Computation|volume=9|issue=8 |pages=1735–1780 |doi=10.1162/neco.1997.9.8.1735|pmid=9377276|issn=0899-7667}} {{ref-en}}</ref> й може обробляти сигнали, які містять суміш низько- та високочастотних складових, що допомагає в розпізнаванні мовлення з великим словниковим запасом,<ref name="sak2014">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf |title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling |last1=Sak|first1=Hasim |last2=Senior|first2=Andrew|date=2014|last3=Beaufays|first3=Francoise|archive-url=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|archive-date=24 квітня 2018|url-status=dead}} {{ref-en}}</ref><ref name="liwu2015">{{cite arXiv|last1=Li|first1=Xiangang|last2=Wu|first2=Xihong|date=15 жовтня 2014|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|eprint=1410.4281 |class=cs.CL}} {{ref-en}}</ref> [[Синтез мовлення|синтезуванні мовлення]] з тексту<ref>{{Cite journal|title=TTS synthesis with bidirectional LSTM based Recurrent Neural Networks|pages=1964–1968|last1=Fan|first1=Y. |last2=Qian|first2=Y.|date=2014 |journal=Proceedings of the Annual Conference of the International Speech Communication Association, Interspeech|url=https://www.researchgate.net/publication/287741874|access-date=13 червня 2017 |last3=Xie |first3=F.|last4=Soong|first4=F. K.}} {{ref-en}}</ref><ref name="scholarpedia2" /><ref name="zen2015">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|title=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis|last1=Zen|first1=Heiga|last2=Sak|first2=Hasim|date=2015|website=Google.com|publisher=ICASSP|pages=4470–4474|access-date=27 червня 2017|archive-date=9 травня 2021|archive-url=https://web.archive.org/web/20210509123113/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|url-status=live}} {{ref-en}}</ref> та фотореалістичних головах, що розмовляють;<ref name="fan2015">{{Cite journal|last1=Fan|first1=Bo|last2=Wang|first2=Lijuan|last3=Soong|first3=Frank K.|last4=Xie|first4=Lei|date=2015|title=Photo-Real Talking Head with Deep Bidirectional LSTM|url=https://www.microsoft.com/en-us/research/wp-content/uploads/2015/04/icassp2015_fanbo_1009.pdf|journal=Proceedings of ICASSP|access-date=27 червня 2017|archive-date=1 листопада 2017|archive-url=https://web.archive.org/web/20171101052317/https://www.microsoft.com/en-us/research/wp-content/uploads/2015/04/icassp2015_fanbo_1009.pdf|url-status=live}} {{ref-en}}</ref> конкурентні мережі ({{lang-en|competitive networks}}), такі як [[Породжувальна змагальна мережа|породжувальні змагальні мережі]],<ref name="preprint">{{Cite arXiv |eprint=1712.01815|class=cs.AI|first1=David|last1=Silver|first2=Thomas|last2=Hubert|author-link1=David Silver (programmer)|title=Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm|date=5 грудня 2017|first3=Julian|last3=Schrittwieser|first4=Ioannis|last4=Antonoglou |first5=Matthew|last5=Lai |first6=Arthur|last6=Guez|first7=Marc|last7=Lanctot|first8=Laurent|last8=Sifre |first9=Dharshan|last9=Kumaran|author-link9=Dharshan Kumaran|first10=Thore|last10=Graepel|first11=Timothy |last11=Lillicrap|first12=Karen |last12=Simonyan|first13=Demis|last13=Hassabis|author-link13=Demis Hassabis}} {{ref-en}}</ref> в яких численні мережі (різної структури) змагаються одна з одною в таких завданнях як перемога в грі, або введення опонента в оману щодо автентичності входу.<ref name="GANnips" />

== Побудова мереж ==
{{Main|Пошук нейроархітектури}}

Пошук нейронної архітектури (ПНА, {{lang-en|neural architecture search, NAS}}) використовує машинне навчання для автоматизування побудови ШНМ. Різні підходи до ПНА побудували мережі, добре порівнянні з системами, розробленими вручну. Основним алгоритмом цього пошуку є пропонувати модель-кандидатку, оцінювати її за набором даних, і використовувати результати як зворотний зв'язок для навчання мережі ПНА.<ref>{{cite arXiv|last1=Zoph|first1=Barret|last2=Le|first2=Quoc V.|date=4 листопада 2016|title=Neural Architecture Search with Reinforcement Learning|eprint=1611.01578|class=cs.LG}} {{ref-en}}</ref> Серед доступних систем&nbsp;— [[АвтоМН]] та ''AutoKeras''.<ref>{{cite journal |author1=Haifeng Jin |author2=Qingquan Song |author3=Xia Hu |title=Auto-keras: An efficient neural architecture search system |journal=Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining |publisher=ACM |date=2019 |arxiv=1806.10282 |url=https://autokeras.com/ |via=autokeras.com |access-date=21 серпня 2019 |archive-date=21 серпня 2019 |archive-url=https://web.archive.org/web/20190821163310/https://autokeras.com/ |url-status=live }} {{ref-en}}</ref>

До проблем побудови належать визначення кількості, типу та з'єднаності рівнів мережі, а також розміру кожного, та типу з'єднання (повне, агрегувальне, …).

[[Гіперпараметр]]и також слід визначати як частину побудови (їх не навчаються), керуючи такими питаннями як кількість нейронів у кожному шарі, темп навчання, крок, крок фільтрів ({{lang-en|stride}}), глибина, рецептивне поле та доповнення (для [[ЗНМ]]) тощо.<ref name="abs1502.02127">{{cite arXiv|eprint=1502.02127|last1=Claesen|first1=Marc|last2=De Moor|first2=Bart |title=Hyperparameter Search in Machine Learning |date=2015|class=cs.LG }} {{bibcode|2015arXiv150202127C}} {{ref-en}}</ref>

== Використання ==
{{Розділ без джерел|дата=липень 2023}}
Використання штучних нейронних мереж вимагає розуміння їхніх характеристик.

* Вибір моделі: Це залежить від подання даних та застосування. Надмірно складні моделі навчаються повільно.
* Алгоритм навчання: Існують численні компроміси між алгоритмами навчання. Майже кожен алгоритм працюватиме добре з правильними [[гіперпараметр]]ами<ref>{{cite journal |last1=Probst |first1=Philipp |last2=Boulesteix |first2=Anne‐Laure |last3=Bischl |first3=Bernd |title=Tunability: Importance of Hyperparameters of Machine Learning Algorithms |journal=J. Mach. Learn. Res. |date=26 лютого 2018 |volume=20 |page=53:1–53:32 |s2cid=88515435 |url=https://www.semanticscholar.org/paper/Tunability%3A-Importance-of-Hyperparameters-of-Probst-Boulesteix/64f6dab6b4bcf5cd792e352ea15aeca05572e21e#citing-papers |access-date=18 березня 2023}} {{ref-en}}</ref> для тренування на певному наборі даних. Проте обрання та налаштування алгоритму для навчання на небачених даних вимагає значного експериментування.
* Робастність: Якщо модель, функцію витрат та алгоритм навчання обрано належним чином, то отримана ШНМ може стати робастною.

Можливості ШНМ підпадають під наступні широкі категорії:<ref>{{cite book |last1=Zou |first1=Jinming |last2=Han |first2=Yi |last3=So |first3=Sung-Sau |title=Artificial Neural Networks: Methods and Applications |series=Methods in Molecular Biology |date=2009 |volume=458 |pages=15–23 |publisher=Humana Press |location=Totowa, NJ |isbn=978-1-60327-101-1 |doi=10.1007/978-1-60327-101-1_2 |pmid=19065803 |edition=Livingstone, David J. |url=https://doi.org/10.1007/978-1-60327-101-1_2 |access-date=18 березня 2023}} {{ref-en}}</ref>

* {{нп|Наближування функцій|||Function approximation}},<ref>{{cite book |last1=Esch |first1=Robin |title=Handbook of Applied Mathematics: Selected Results and Methods |date=1990 |publisher=Springer US |location=Boston, MA |isbn=978-1-4684-1423-3 |pages=928–987 |doi=10.1007/978-1-4684-1423-3_17 |edition=Springer US |url=https://doi.org/10.1007/978-1-4684-1423-3_17 |access-date=18 березня 2023}} {{ref-en}}</ref> або [[регресійний аналіз]],<ref>{{cite book |last1=Sarstedt |first1=Marko |last2=Moo |first2=Erik |title=A Concise Guide to Market Research |chapter=Regression Analysis |series=Springer Texts in Business and Economics |date=2019 |publisher=Springer Berlin Heidelberg |pages=209–256 |doi=10.1007/978-3-662-56707-4_7 |isbn=978-3-662-56706-7 |s2cid=240396965 |chapter-url=https://link.springer.com/chapter/10.1007/978-3-662-56707-4_7#Sec1}} {{ref-en}}</ref> включно з [[Передбачування часових рядів|передбачуванням часових рядів]], {{нп|Наближування допасованості|наближуванням допасованості||Fitness approximation}}<ref>{{cite journal |last1=Tian |first1=Jie |last2=Tan |first2=Yin |last3=Sun |first3=Chaoli |last4=Zeng |first4=Jianchao |last5=Jin |first5=Yaochu |title=A self-adaptive similarity-based fitness approximation for evolutionary optimization |journal=2016 IEEE Symposium Series on Computational Intelligence (SSCI) |date=December 2016 |pages=1–8 |doi=10.1109/SSCI.2016.7850209 |isbn=978-1-5090-4240-1 |s2cid=14948018 |url=https://ieeexplore.ieee.org/document/7850209}} {{ref-en}}</ref> та моделюванням.
* [[Статистичне класифікування|Класифікування]], включно з розпізнаванням [[Теорія розпізнавання образів|образів]] та послідовностей, {{нп|Виявляння новизни|виявлянням новизни||Novelty detection}} та послідовним ухвалюванням рішень.<ref name="TurekNeuralNet">{{cite journal|author=Turek, Fred D.|title=Introduction to Neural Net Machine Vision|url=http://www.vision-systems.com/articles/print/volume-12/issue-3/features/introduction-to-neural-net-machine-vision.html|access-date=5 березня 2013|journal=Vision Systems Design|date=March 2007|volume=12|number=3|archive-date=16 травня 2013|archive-url=https://web.archive.org/web/20130516124148/http://www.vision-systems.com/articles/print/volume-12/issue-3/features/introduction-to-neural-net-machine-vision.html|url-status=live}} {{ref-en}}</ref>
* [[Обробка даних]],<ref>{{cite book |last1=Alaloul |first1=Wesam Salah |last2=Qureshi |first2=Abdul Hannan |title=Dynamic Data Assimilation - Beating the Uncertainties |chapter=Data Processing Using Artificial Neural Networks |date=2019 |doi=10.5772/intechopen.91935 |isbn=978-1-83968-083-0 |s2cid=219735060 |chapter-url=https://www.intechopen.com/chapters/71673}} {{ref-en}}</ref> включно з фільтруванням, кластеруванням, {{нп|Сліпе виокремлювання сигналу|сліпим виокремлюванням сигналу||Blind source separation}}<ref>{{cite book |last1=Pal |first1=Madhab |last2=Roy |first2=Rajib |last3=Basu |first3=Joyanta |last4=Bepari |first4=Milton S. |title=2013 International Conference Oriental COCOSDA held jointly with 2013 Conference on Asian Spoken Language Research and Evaluation (O-COCOSDA/CASLRE) |chapter=Blind source separation: A review and analysis |date=2013 |publisher=IEEE |pages=1–5 |doi=10.1109/ICSDA.2013.6709849 |isbn=978-1-4799-2378-6 |s2cid=37566823 |chapter-url=https://ieeexplore.ieee.org/document/6709849}} {{ref-en}}</ref> та стисканням.
* [[Робототехніка]], включно зі скеровуванням маніпуляторів та [[Протези|протезів]].

== Застосування ==

Завдяки своїй здатності відтворювати та моделювати нелінійні процеси штучні нейронні мережі знайшли застосування в багатьох дисциплінах. До сфер застосування належать {{нп|ідентифікування систем|||System identification}} та керування ними (керування транспортними засобами, передбачування траєкторії,<ref>{{cite journal|last1=Zissis|first1=Dimitrios|title=A cloud based architecture capable of perceiving and predicting multiple vessel behaviour|journal=Applied Soft Computing|date=October 2015|volume=35|doi=10.1016/j.asoc.2015.07.002|pages=652–661|url=https://zenodo.org/record/848743|access-date=18 липня 2019|archive-date=26 липня 2020|archive-url=https://web.archive.org/web/20200726091505/https://zenodo.org/record/848743|url-status=live}} {{ref-en}}</ref> [[Керування виробничими процесами|керування процесами]], [[природокористування]]), [[квантова хімія]],<ref name="Balabin_2009">{{Cite journal|journal=[[J. Chem. Phys.]] |volume=131 |issue=7 |page=074104 |doi=10.1063/1.3206326 |title=Neural network approach to quantum-chemistry data: Accurate prediction of density functional theory energies |year=2009 |author1=Roman M. Balabin |author2=Ekaterina I. Lomakina |pmid=19708729|bibcode=2009JChPh.131g4104B}} {{ref-en}}</ref> {{нп|Універсальна ігрова програма|універсальна гра в ігри||General game playing}},<ref>{{cite journal |last1=Silver |first1=David |display-authors=etal |year=2016 |title=Mastering the game of Go with deep neural networks and tree search |url=http://web.iitd.ac.in/~sumeet/Silver16.pdf |journal=Nature |volume=529 |issue=7587 |pages=484–489 |doi=10.1038/nature16961 |pmid=26819042 |bibcode=2016Natur.529..484S |s2cid=515925 |access-date=31 січня 2019 |archive-date=23 листопада 2018 |archive-url=https://web.archive.org/web/20181123112812/http://web.iitd.ac.in/~sumeet/Silver16.pdf |url-status=live }} {{ref-en}}</ref> [[розпізнавання образів]] (радарні системи, [[Система розпізнавання облич|встановлювання облич]], класифікування сигналів,<ref>{{cite journal|last=Sengupta |first=Nandini|author2=Sahidullah, Md|author3=Saha, Goutam|title=Lung sound classification using cepstral-based statistical features|journal=Computers in Biology and Medicine|date=August 2016|volume=75|issue=1 |pages=118–129|doi=10.1016/j.compbiomed.2016.05.013 |pmid=27286184}} {{ref-en}}</ref> [[тривимірна відбудова]],<ref>Choy, Christopher B., et al. "[https://arxiv.org/abs/1604.00449 3d-r2n2: A unified approach for single and multi-view 3d object reconstruction] {{Webarchive|url=https://web.archive.org/web/20200726091721/https://arxiv.org/abs/1604.00449 |date=26 липня 2020 }}." European conference on computer vision. Springer, Cham, 2016. {{ref-en}}</ref> розпізнавання об'єктів тощо), аналіз даних давачів,<ref>{{cite journal|last=Gessler|first=Josef|title=Sensor for food analysis applying impedance spectroscopy and artificial neural networks|journal=RiuNet UPV|date=August 2021|issue=1|pages=8–12|url=https://riunet.upv.es/handle/10251/174498|access-date=21 жовтня 2021|archive-date=21 жовтня 2021|archive-url=https://web.archive.org/web/20211021115443/https://riunet.upv.es/handle/10251/174498|url-status=live}} {{ref-en}}</ref> розпізнавання послідовностей (розпізнавання жестів, мовлення, [[Розпізнавання рукописного введення|рукописного]] та друкованого тексту<ref>{{Cite journal|last1=Maitra|first1=D. S. |last2=Bhattacharya|first2=U.|last3=Parui|first3=S. K.|date=August 2015|title=CNN based common approach to handwritten character recognition of multiple scripts |url=https://ieeexplore.ieee.org/document/7333916|journal=2015 13th International Conference on Document Analysis and Recognition (ICDAR)|pages=1021–1025|doi=10.1109/ICDAR.2015.7333916|isbn=978-1-4799-1805-8 |s2cid=25739012}} {{ref-en}}</ref>), [[медична діагностика]], фінанси<ref>{{cite journal|last1=French |first1=Jordan |title=The time traveller's CAPM|journal=Investment Analysts Journal|volume=46|issue=2|pages=81–96 |doi=10.1080/10293523.2016.1255469|year=2016|s2cid=157962452}} {{ref-en}}</ref> (наприклад, {{нп|ex-ante|передподійні||Ex-ante}} моделі для окремих фінансових довготривалих прогнозів та {{нп|Штучний фінансовий ринок|штучні фінансові ринки||Artificial financial market}}), [[добування даних]], унаочнювання, [[машинний переклад]], соціальномережне фільтрування<ref>{{Cite news|url=https://www.wsj.com/articles/facebook-boosts-a-i-to-block-terrorist-propaganda-1497546000 |title=Facebook Boosts A.I. to Block Terrorist Propaganda|last=Schechner|first=Sam|date=15 червня 2017 |work=[[The Wall Street Journal]]|access-date=16 червня 2017|issn=0099-9660}} {{ref-en}}</ref> та фільтрування {{нп|Спам електронної пошти|спаму електронної пошти||Email spam}}. ШНМ використовували для діагностування кількох типів раку<ref>{{cite journal|last=Ganesan|first=N |title=Application of Neural Networks in Diagnosing Cancer Disease Using Demographic Data |journal=International Journal of Computer Applications|volume=1|issue=26|pages=81–97 |bibcode=2010IJCA....1z..81G|year=2010|doi=10.5120/476-783|doi-access=free}} {{ref-en}}</ref><ref>{{cite journal |url=http://www.lcc.uma.es/~jja/recidiva/042.pdf|title=Artificial Neural Networks Applied to Outcome Prediction for Colorectal Cancer Patients in Separate Institutions|journal=Lancet|volume=350|issue=9076 |pages=469–72|last=Bottaci|first=Leonardo|publisher=The Lancet|pmid=9274582|year=1997|doi=10.1016/S0140-6736(96)11196-X|s2cid=18182063|access-date=2 травня 2012|url-status=dead|archive-date=23 листопада 2018|archive-url=https://web.archive.org/web/20181123170444/http://www.lcc.uma.es/~jja/recidiva/042.pdf}} {{ref-en}}</ref> та для відрізнювання високоінвазивних ліній ракових клітин від менш інвазивних з використанням лише інформації про форму клітин.<ref>{{cite journal|last1=Alizadeh|first1=Elaheh|last2=Lyons|first2=Samanthe M|last3=Castle|first3=Jordan M |last4=Prasad|first4=Ashok|date=2016|title=Measuring systematic changes in invasive cancer cell shape using Zernike moments|url=http://pubs.rsc.org/en/Content/ArticleLanding/2016/IB/C6IB00100A|journal=Integrative Biology|volume=8|issue=11 |pages=1183–1193|doi=10.1039/C6IB00100A|pmid=27735002}} {{ref-en}}</ref><ref>{{cite journal |last1=Lyons|first1=Samanthe|date=2016|title=Changes in cell shape are correlated with metastatic potential in murine|journal=Biology Open|volume=5|issue=3|pages=289–299|doi=10.1242/bio.013409|pmid=26873952 |pmc=4810736}} {{ref-en}}</ref>

ШНМ використовували для прискорювання аналізу надійності інфраструктури, що піддається стихійним лихам,<ref>{{Cite journal|last1=Nabian|first1=Mohammad Amin|last2=Meidani|first2=Hadi|date=28 серпня 2017|title=Deep Learning for Accelerated Reliability Analysis of Infrastructure Networks|journal=Computer-Aided Civil and Infrastructure Engineering|volume=33|issue=6|pages=443–458|arxiv=1708.08551|doi=10.1111/mice.12359 |bibcode=2017arXiv170808551N |s2cid=36661983}} {{ref-en}}</ref><ref>{{Cite journal|last1=Nabian|first1=Mohammad Amin|last2=Meidani|first2=Hadi|date=2018|title=Accelerating Stochastic Assessment of Post-Earthquake Transportation Network Connectivity via Machine-Learning-Based Surrogates|url=https://trid.trb.org/view/1496617|journal=Transportation Research Board 97th Annual Meeting|access-date=14 березня 2018|archive-date=9 березня 2018|archive-url=https://web.archive.org/web/20180309120108/https://trid.trb.org/view/1496617|url-status=live}} {{ref-en}}</ref> і для прогнозування просідання фундаментів.<ref>{{Cite journal|last1=Díaz|first1=E.|last2=Brotons|first2=V. |last3=Tomás|first3=R.|date=September 2018|title=Use of artificial neural networks to predict 3-D elastic settlement of foundations on soils with inclined bedrock|journal=Soils and Foundations|volume=58|issue=6 |pages=1414–1422 |doi=10.1016/j.sandf.2018.08.001|bibcode=2018SoFou..58.1414D |issn=0038-0806|hdl=10045/81208|doi-access=free}} {{ref-en}}</ref> Також може бути корисним пом'якшувати повені шляхом використання ШНМ для моделювання дощового стоку.<ref>{{Cite journal |last1=Tayebiyan |first1=A. |last2=Mohammad |first2=T. A. |last3=Ghazali |first3=A. H. |last4=Mashohor |first4=S. |title=Artificial Neural Network for Modelling Rainfall-Runoff |url=http://www.pertanika.upm.edu.my/pjtas/browse/regular-issue?article=JST-0566-2015 |journal=Pertanika Journal of Science & Technology |volume=24 |issue=2 |pages=319–330}} {{ref-en}}</ref> ШНМ також використовували для побудови [[Чорна скринька|чорноскринькових]] моделей в [[Науки про Землю|геонауках]]: [[Гідрологія|гідрології]],<ref>{{Cite journal |first=Rao S.|last=Govindaraju |date=1 квітня 2000|title=Artificial Neural Networks in Hydrology. I: Preliminary Concepts|url=https://archive.org/details/sim_journal-of-hydrologic-engineering_2000-04_5_2/page/115|journal=Journal of Hydrologic Engineering|volume=5|issue=2|pages=115–123|doi=10.1061/(ASCE)1084-0699(2000)5:2(115)|citeseerx=<!--10.1.1.127.3861-->}} {{ref-en}}</ref><ref>{{Cite journal|first=Rao S.|last=Govindaraju|date=1 квітня 2000|title=Artificial Neural Networks in Hydrology. II: Hydrologic Applications|journal=Journal of Hydrologic Engineering|volume=5|issue=2 |pages=124–137 |doi=10.1061/(ASCE)1084-0699(2000)5:2(124)}} {{ref-en}}</ref> моделюванні океану та {{нп|Прибережна інженерія|прибережній інженерії||Coastal engineering}},<ref>{{Cite journal|last1=Peres|first1=D. J.|last2=Iuppa|first2=C.|last3=Cavallaro|first3=L.|last4=Cancelliere |first4=A. |last5=Foti|first5=E.|date=1 жовтня 2015|title=Significant wave height record extension by neural networks and reanalysis wind data|journal=Ocean Modelling|volume=94|pages=128–140 |doi=10.1016/j.ocemod.2015.08.002 |bibcode=2015OcMod..94..128P}} {{ref-en}}</ref><ref>{{Cite journal|last1=Dwarakish|first1=G. S.|last2=Rakshith|first2=Shetty|last3=Natesan|first3=Usha|date=2013|title=Review on Applications of Neural Network in Coastal Engineering|journal=Artificial Intelligent Systems and Machine Learning|url=http://www.ciitresearch.org/dl/index.php/aiml/article/view/AIML072013007|volume=5|issue=7|pages=324–331|access-date=5 липня 2017|archive-date=15 серпня 2017|archive-url=https://web.archive.org/web/20170815185634/http://www.ciitresearch.org/dl/index.php/aiml/article/view/AIML072013007|url-status=live}} {{ref-en}}</ref> та [[Геоморфологія|геоморфології]].<ref>{{Cite journal |last1=Ermini|first1=Leonardo|last2=Catani |first2=Filippo|last3=Casagli|first3=Nicola|date=1 березня 2005|title=Artificial Neural Networks applied to landslide susceptibility assessment|journal=Geomorphology|series=Geomorphological hazard and human impact in mountain environments|volume=66|issue=1|pages=327–343|doi=10.1016/j.geomorph.2004.09.025 |bibcode=2005Geomo..66..327E}} {{ref-en}}</ref> ШНМ використовують у [[Комп'ютерна безпека|кібербезпеці]] з метою розмежовування законної діяльності від зловмисної. Наприклад, машинне навчання використовували для класифікування зловмисного програмного забезпечення під ''[[Android]]'',<ref>{{Cite journal|last1=Nix|first1=R.|last2=Zhang |first2=J.|date=May 2017 |title=Classification of Android apps and malware using deep neural networks |journal=2017 International Joint Conference on Neural Networks (IJCNN)|pages=1871–1878|s2cid=8838479 |doi=10.1109/IJCNN.2017.7966078|isbn=978-1-5090-6182-2}} {{ref-en}}</ref> для визначання [[Домен (інтернет)|доменів]], що належать суб'єктам загрози, і для виявляння ''[[URL]]''-адрес, які становлять загрозу безпеці.<ref>{{Cite web|title=Detecting Malicious URLs |website=The systems and networking group at UCSD |url=http://www.sysnet.ucsd.edu/projects/url/|access-date=15 лютого 2019|url-status=dead|archive-date=14 липня 2019|archive-url=https://web.archive.org/web/20190714201955/http://www.sysnet.ucsd.edu/projects/url/}} {{ref-en}}</ref> Ведуться дослідження систем ШНМ, призначених для [[випробування на проникнення]], для виявляння [[Бот-мережа|бот-мереж]],<ref>{{Citation |last1=Homayoun|first1=Sajad|title=BoTShark: A Deep Learning Approach for Botnet Traffic Detection |date=2018|work=Cyber Threat Intelligence|pages=137–153|editor-last=Dehghantanha|editor-first=Ali |series=Advances in Information Security|publisher=Springer International Publishing|doi=10.1007/978-3-319-73951-9_7|isbn=978-3-319-73951-9|last2=Ahmadzadeh |first2=Marzieh|last3=Hashemi|first3=Sattar |last4=Dehghantanha|first4=Ali|last5=Khayami|first5=Raouf|editor2-last=Conti|editor2-first=Mauro|editor3-last=Dargahi|editor3-first=Tooska}} {{ref-en}}</ref> шахрайства з кредитними картками<ref>{{Cite journal |last1=Ghosh|last2=Reilly |name-list-style=and|s2cid=13260377 |date=January 1994|title=Credit card fraud detection with a neural-network|journal=1994 Proceedings of the Twenty-Seventh Hawaii International Conference on System Sciences |volume=3|pages=621–630|doi=10.1109/HICSS.1994.323314|isbn=978-0-8186-5090-1}} {{ref-en}}</ref> та мережних вторгнень.

ШНМ пропонували як інструмент для розв'язування [[Диференціальне рівняння з частинними похідними|частинних диференціальних рівнянь]] у фізиці<ref>{{cite web|last=Ananthaswamy|first=Anil|date=19 квітня 2021|title=Latest Neural Nets Solve World's Hardest Equations Faster Than Ever Before|url=https://www.quantamagazine.org/new-neural-networks-solve-hardest-equations-faster-than-ever-20210419/|access-date=12 травня 2021|website=Quanta Magazine}} {{ref-en}}</ref><ref>{{cite web|title=AI has cracked a key mathematical puzzle for understanding our world|url=https://www.technologyreview.com/2020/10/30/1011435/ai-fourier-neural-network-cracks-navier-stokes-and-partial-differential-equations/|access-date=19 листопада 2020|website=MIT Technology Review}} {{ref-en}}</ref><ref>{{cite web|title=Caltech Open-Sources AI for Solving Partial Differential Equations|url=https://www.infoq.com/news/2020/12/caltech-ai-pde/|access-date=20 січня 2021|website=InfoQ|archive-date=25 січня 2021|archive-url=https://web.archive.org/web/20210125233952/https://www.infoq.com/news/2020/12/caltech-ai-pde/|url-status=live}} {{ref-en}}</ref> та моделювання властивостей багаточастинкових {{нп|Відкрита квантова система|відкритих квантових систем||Open quantum system}}.<ref>{{cite journal |last1=Nagy |first1=Alexandra |title=Variational Quantum Monte Carlo Method with a Neural-Network Ansatz for Open Quantum Systems |journal=[[Physical Review Letters]] |volume=122 |issue=25 |pages=250501 |date=28 червня 2019 |doi=10.1103/PhysRevLett.122.250501 |pmid=31347886 |bibcode=2019PhRvL.122y0501N |arxiv=1902.09483 |s2cid=119074378 }} {{ref-en}}</ref><ref>{{Cite journal|last1=Yoshioka|first1=Nobuyuki|last2=Hamazaki|first2=Ryusuke|date=28 червня 2019|title=Constructing neural stationary states for open quantum many-body systems|journal=Physical Review B|volume=99|issue=21 |pages=214306|doi=10.1103/PhysRevB.99.214306|bibcode=2019PhRvB..99u4306Y|arxiv=1902.07006|s2cid=119470636}} {{ref-en}}</ref><ref>{{Cite journal|last1=Hartmann|first1=Michael J.|last2=Carleo|first2=Giuseppe |date=28 червня 2019|title=Neural-Network Approach to Dissipative Quantum Many-Body Dynamics|journal=Physical Review Letters|volume=122|issue=25|pages=250502|doi=10.1103/PhysRevLett.122.250502|pmid=31347862 |bibcode=2019PhRvL.122y0502H|arxiv=1902.05131|s2cid=119357494}} {{ref-en}}</ref><ref>{{Cite journal|last1=Vicentini |first1=Filippo|last2=Biella|first2=Alberto|last3=Regnault|first3=Nicolas|last4=Ciuti|first4=Cristiano|date=28 червня 2019 |title=Variational Neural-Network Ansatz for Steady States in Open Quantum Systems |journal=Physical Review Letters|volume=122|issue=25|pages=250503|doi=10.1103/PhysRevLett.122.250503 |pmid=31347877 |bibcode=2019PhRvL.122y0503V |arxiv=1902.10104|s2cid=119504484}} {{ref-en}}</ref> У дослідженні мозку ШНМ вивчали короткочасну поведінку [[Модель біологічного нейрона|окремих нейронів]],<ref>{{cite journal |author=Forrest MD |title=Simulation of alcohol action upon a detailed Purkinje neuron model and a simpler surrogate model that runs >400 times faster |journal=BMC Neuroscience |volume=16 |issue=27 |pages=27 |date=April 2015 |doi=10.1186/s12868-015-0162-6 |pmid=25928094 |pmc=4417229}} {{ref-en}}</ref> динаміку нейронних ланцюгів, що виникає через взаємодію між окремими нейронами, та те, як поведінка може виникати з абстрактних нейронних модулів, які подають цілі підсистеми. Дослідження розглядали довгострокову та короткочасну пластичність нейронних систем та їхній зв'язок із навчанням і пам'яттю від окремого нейрона до системного рівня.

== Теоретичні властивості ==

=== Обчислювальна потужність ===

Як доведено [[Теорема Цибенка|теоремою Цибенка]], [[багатошаровий перцептрон]] це {{нп|Теорема УМТ|універсальний||UTM theorem}} наближувач функцій. Проте це доведення не конструктивне щодо кількості необхідних нейронів, топології мережі, ваг, та параметрів навчання.

Особлива рекурентна архітектура з [[Раціональне число|раціональнозначними]] вагами (на противагу до повноточнісних [[Дійсне число|дійснозначних]] ваг) має потужність [[Універсальна машина Тюрінга|універсальної машини Тюрінга]],<ref>{{Cite journal| title =  Turing computability with neural nets | url = http://www.math.rutgers.edu/~sontag/FTPDIR/aml-turing.pdf | year = 1991 | journal = Appl. Math. Lett. | pages = 77–80 | volume = 4 | issue = 6 | last1 = Siegelmann | first1 =  H.T. | last2 =  Sontag | first2 =  E.D. | doi =  10.1016/0893-9659(91)90080-F }} {{ref-en}}</ref> використовуючи скінченну кількість нейронів та стандартні лінійні з'єднання. Крім того, використання [[Ірраціональні числа|ірраціональних]] значень для ваг дає в результаті машину з [[Гіперобчислення|надтюрінговою]] потужністю.<ref>{{cite news |title=Analog computer trumps Turing model |first=Sunny |last=Bains  |date=1998-11-03 |work=EE Times |url=https://www.eetimes.com/analog-computer-trumps-turing-model/ |access-date=2023-05-11}} {{ref-en}}</ref><ref>{{cite journal |last1=Balcázar |first1=José |title=Computational Power of Neural Networks: A Kolmogorov Complexity Characterization |journal=IEEE Transactions on Information Theory|date=July 1997 |volume=43 |issue=4 |pages=1175–1183 |doi=10.1109/18.605580 |citeseerx=10.1.1.411.7782 }} {{ref-en}}</ref>{{Нема в джерелі|дата=липень 2023}}

=== Ємність ===

Властивість «ємності»<ref>{{Cite journal|last=Надригайло|first=Т.Ж.|last2=Молчанова|first2=К.А.|year=2011|title=Аналіз нейронних алгоритмів|url=https://www.dstu.dp.ua/Portal/Data/74/68/13-st13.pdf|journal=Мат. мод.|volume=2|issue=25|pages=5—6 (50—51)}}</ref><ref>{{Cite web|url=https://ep3.nuwm.edu.ua/16969/1/04-01-76%20%281%29.pdf|title=Робоча програма навчальної дисципліни «Нейронні мережі та нейро-нечіткі технології»|last=Демчук|first=О.С.|publisher=[[Національний університет водного господарства та природокористування|НУВГП]]|accessdate=4 червня 2023|year=2019|location=Рівне}}</ref> ({{lang-en|"capacity"}}) моделі відповідає її здатності моделювати будь-яку задану функцію. Вона пов'язана з обсягом інформації, який можливо зберегти в мережі, та з поняттям складності. Серед спільноти відомі два поняття ємності: інформаційна ємність та ВЧ-розмірність. Інформаційну ємність ({{lang-en|information capacity}}) перцептрона ретельно обговорено в книзі сера Девіда Маккея,<ref name="auto">{{cite book| last=MacKay| first=David, J.C.| author-link=Девід МакКей| year=2003| publisher=[[Cambridge University Press]]| isbn=978-0-521-64298-9| title=Information Theory, Inference, and Learning Algorithms| url=http://www.inference.phy.cam.ac.uk/itprnn/book.pdf| access-date=11 June 2016| archive-date=19 October 2016| archive-url=https://web.archive.org/web/20161019163258/http://www.inference.phy.cam.ac.uk/itprnn/book.pdf| url-status=live}} {{ref-en}}</ref> яка підсумовує роботу Томаса Ковера.<ref>{{cite journal|last=Cover|first=Thomas|author-link=Томас Ковер|year=1965|publisher=[[IEEE]]|url=http://www-isl.stanford.edu/people/cover/papers/paper2.pdf|title=Geometrical and Statistical Properties of Systems of Linear Inequalities with Applications in Pattern Recognition|journal=IEEE Transactions on Electronic Computers|issue=3|pages=326–334|volume=EC-14|doi=10.1109/PGEC.1965.264137|access-date=10 березня 2020|archive-date=5 березня 2016|archive-url=https://web.archive.org/web/20160305031348/http://www-isl.stanford.edu/people/cover/papers/paper2.pdf|url-status=live}} {{ref-en}}</ref> Ємність мережі стандартних нейронів (не згорткових) можливо отримувати за чотирма правилами,<ref>{{cite journal| last=Gerald | first=Friedland| author-link=Ґеральд Фрідланд|year=2019|publisher=[[Association for Computing Machinery|ACM]]|title=Reproducibility and Experimental Design for Machine Learning on Audio and Multimedia Data|journal=MM '19: Proceedings of the 27th ACM International Conference on Multimedia| pages=2709–2710| doi=10.1145/3343031.3350545| isbn=978-1-4503-6889-6| s2cid=204837170}} {{ref-en}}</ref> які випливають із розуміння нейрона як [[ADALINE|електричного елемента]]. Інформаційна ємність охоплює функції, які можливо змоделювати мережею, за довільних даних входу. Друге поняття&nbsp;— [[Розмірність Вапника — Червоненкіса|ВЧ-розмірність]] ({{lang-en|VC Dimension}}). ВЧ-розмірність використовує принципи [[Теорія міри|теорії міри]] та знаходить максимальну ємність за найкращих можливих обставин. Це за даних входу певного вигляду. Як зазначено у&nbsp;<ref name="auto" />, ВЧ-розмірність для довільних входів становить половину інформаційної ємності перцептрона. ВЧ-розмірність для довільних точок іноді називають ємністю пам'яті ({{lang-en|Memory Capacity}}).<ref>{{cite web| url=http://tfmeter.icsi.berkeley.edu/| title=Stop tinkering, start measuring! Predictable experimental design of Neural Network experiments| website=The Tensorflow Meter| access-date=10 March 2020| archive-date=18 April 2022| archive-url=https://web.archive.org/web/20220418025904/http://tfmeter.icsi.berkeley.edu/| url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20220418025904/http://tfmeter.icsi.berkeley.edu/ |date=2022-04-18 }} {{ref-en}}</ref>

=== Збіжність ===

Моделі можуть не збігатися послідовно на єдиному розв'язку, по-перше, через можливість існування локальних мінімумів, залежно від функції витрат та моделі. По-друге, вживаний метод оптимізації може не гарантувати збіжності, якщо він починається далеко від будь-якого локального мінімуму. По-третє, для досить великих даних або параметрів деякі методи стають непрактичними.

Інша варта згадки проблема полягає в тому, що навчання може проходити крізь деяку [[Сідлова точка|сідлову точку]], що може призводити до збігання в неправильному напрямку.

Поведінка збіжності певних типів архітектур ШНМ зрозуміліша, ніж інших. Коли ширина мережі наближається до нескінченності, ШНМ добре описується своїм розвиненням у ряд Тейлора першого порядку протягом навчання, і тому успадковує поведінку збіжності [[Лінійна модель|афінних моделей]].<ref>{{Cite journal|last1=Lee|first1=Jaehoon|last2=Xiao|first2=Lechao|last3=Schoenholz|first3=Samuel S.|last4=Bahri |first4=Yasaman|last5=Novak |first5=Roman|last6=Sohl-Dickstein|first6=Jascha|last7=Pennington |first7=Jeffrey|title=Wide neural networks of any depth evolve as linear models under gradient descent |journal=Journal of Statistical Mechanics: Theory and Experiment|year=2020|volume=2020|issue=12|page=124002 |doi=10.1088/1742-5468/abc62b|arxiv=1902.06720|bibcode=2020JSMTE2020l4002L|s2cid=62841516}} {{ref-en}}</ref><ref>{{cite conference |conference=32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montreal, Canada |author1=Arthur Jacot |author2=Franck Gabriel |author3=Clement Hongler |date=2018 |url=https://proceedings.neurips.cc/paper/2018/file/5a4be1fa34e62bb8a6ec6b91d2462f5a-Paper.pdf |title=Neural Tangent Kernel: Convergence and Generalization in Neural Networks |access-date=4 червня 2022 |archive-date=22 червня 2022 |archive-url=https://web.archive.org/web/20220622033100/https://proceedings.neurips.cc/paper/2018/file/5a4be1fa34e62bb8a6ec6b91d2462f5a-Paper.pdf |url-status=live }} {{ref-en}}</ref> Інший приклад: коли параметри малі, спостерігається, що ШНМ часто допасовуються до цільових функцій від низьких до високих частот. Таку поведінку називають спектральним зміщенням ({{lang-en|spectral bias}}) або частотним принципом ({{lang-en|frequency principle}}) нейронних мереж.<ref>{{cite book |vauthors=Xu ZJ, Zhang Y, Xiao Y |date=2019 |veditors=Gedeon T, Wong K, Lee M |title=Neural Information Processing. ICONIP 2019. |series=Lecture Notes in Computer Science |volume=11953 |publisher=Springer, Cham |doi=10.1007/978-3-030-36708-4_22 |chapter=Training Behavior of Deep Neural Network in Frequency Domain |pages=264–274 |arxiv=1807.01251 |isbn=978-3-030-36707-7 |s2cid=49562099 }} {{ref-en}}</ref><ref>{{cite journal |author1=Nasim Rahaman |author2=Aristide Baratin |author3=Devansh Arpit |author4=Felix Draxler |author5=Min Lin |author6=Fred Hamprecht |author7=Yoshua Bengio |author8=Aaron Courville |journal=Proceedings of the 36th International Conference on Machine Learning |volume=97 |pages=5301–5310 |date=2019 |title=On the Spectral Bias of Neural Networks |arxiv=1806.08734 |url=http://proceedings.mlr.press/v97/rahaman19a/rahaman19a.pdf |access-date=4 червня 2022 |archive-date=22 жовтня 2022 |archive-url=https://web.archive.org/web/20221022155951/http://proceedings.mlr.press/v97/rahaman19a/rahaman19a.pdf |url-status=live }} {{ref-en}}</ref><ref>{{cite journal |arxiv=1901.06523 |author1=Zhi-Qin John Xu |author2=Yaoyu Zhang |author3=Tao Luo |author4=Yanyang Xiao |author5=Zheng Ma |title=Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks|journal=Communications in Computational Physics |year=2020 |volume=28 |issue=5 |pages=1746–1767 |doi=10.4208/cicp.OA-2020-0085 |bibcode=2020CCoPh..28.1746X |s2cid=58981616 }} {{ref-en}}</ref><ref>{{cite arXiv |eprint=1906.09235 |author1=Tao Luo |author2=Zheng Ma |author3=Zhi-Qin John Xu |author4=Yaoyu Zhang |date=2019 |title=Theory of the Frequency Principle for General Deep Neural Networks|class=cs.LG }} {{ref-en}}</ref> Це явище протилежне поведінці деяких добре вивчених ітераційних числових схем, таких як [[метод Якобі]]. Було виявлено, що глибші нейронні мережі схильніші до низькочастотних функцій.<ref>{{Cite journal|last1=Xu|first1=Zhiqin John|last2=Zhou|first2=Hanxu|date=18 травня 2021|title=Deep Frequency Principle Towards Understanding Why Deeper Learning Is Faster|url=https://ojs.aaai.org/index.php/AAAI/article/view/17261|journal=Proceedings of the AAAI Conference on Artificial Intelligence|volume=35|issue=12|pages=10541–10550|doi=10.1609/aaai.v35i12.17261|arxiv=2007.14313|s2cid=220831156|issn=2374-3468|access-date=5 жовтня 2021|archive-date=5 жовтня 2021|archive-url=https://web.archive.org/web/20211005142300/https://ojs.aaai.org/index.php/AAAI/article/view/17261|url-status=live}} {{ref-en}}</ref>

=== Узагальнювальність та статистика ===
{{Без виносок|розділ|дата=липень 2023}}

Застосування, метою яких є створення системи, що добре узагальнюється до невідомих зразків, стикаються з можливістю [[перетренування]]. Воно виникає в заплутаних або надмірно визначених системах, коли ємність мережі значно перевищує потребу у вільних параметрах. Існує два підходи, як впоруватися з перетренуванням. Перший полягає у використанні [[Перехресне затверджування|перехресного затверджування]] та подібних методів для перевірки наявності перенавчання, та обиранні [[гіперпараметр]]ів для зведення похибки узагальнення до мінімуму.

Другий полягає у використанні якогось із видів ''[[Регуляризація (математика)|регуляризації]]''. Це поняття виникає в імовірнісній (баєсовій) системі, де регуляризацію можливо виконувати шляхом обирання більшої апріорної ймовірності над простішими моделями, але також і в теорії статистичного навчання, де метою є зводити до мінімуму дві величини: «емпіричний ризик» та «структурний ризик», що грубо відповідають похибці над тренувальним набором та передбачуваній похибці в небачених даних через перенавчання.
[[Файл:Synapse deployment.jpg|праворуч|міні|Довірчий аналіз нейронної мережі]]
Нейронні мережі керованого навчання, які використовують як функцію витрат [[Середньоквадратична похибка|середньоквадратичну похибку]] (СКП), для визначення довіри до тренованої моделі можуть використовувати формальні статистичні методи. СКП на затверджувальному наборі можливо використовувати як оцінку дисперсії. Це значення потім можливо використовувати для обчислення [[Довірчий інтервал|довірчого інтервалу]] виходу мережі, виходячи з [[Нормальний розподіл|нормального розподілу]]. Здійснений таким чином аналіз довіри статистично чинний, поки [[Розподіл імовірностей|розподіл імовірності]] виходу залишається незмінним, і не вноситься змін до мережі.

Призначення [[Нормована експоненційна функція|нормованої експоненційної функції]], узагальнення [[Логістична функція|логістичної функції]], як [[Передавальна функція штучного нейрона|передавальної функції]] шару виходу нейронної мережі (або нормованої експоненційної складової в нейронній мережі на основі складових) для [[Категорійна змінна|категорійних]] цільових змінних, дає можливість інтерпретувати виходи як апостеріорні ймовірності. Це корисно для класифікування, оскільки дає міру впевненості в класифікаціях.

Нормована експоненційна функція ({{lang-en|softmax}}) це

: <math>y_i=\frac{e^{x_i}}{\sum_{j=1}^c e^{x_j}}</math>

<section end="theory" />

== Критика ==

=== Тренування ===

Поширена критика нейронних мереж, особливо в робототехніці, полягає в тому, що для роботи в реальному світі вони вимагають забагато тренування.<ref>{{cite journal |last1=Parisi |first1=German I. |last2=Kemker |first2=Ronald |last3=Part |first3=Jose L. |last4=Kanan |first4=Christopher |last5=Wermter |first5=Stefan |date=1 травня 2019 |title=Continual lifelong learning with neural networks: A review |url=https://www.sciencedirect.com/science/article/pii/S0893608019300231 |journal=Neural Networks |volume=113 |pages=54–71 |doi=10.1016/j.neunet.2019.01.012 |pmid=30780045 |issn=0893-6080}} {{ref-en}}</ref> До потенційних розв'язань належить випадкове переставляння тренувальних зразків, застосування алгоритму чисельної оптимізації, який не вимагає завеликих кроків при зміні з'єднань мережі слідом за зразком, групування зразків до так званих міні-пакетів ({{lang-en|mini-batches}}) та/або запровадження алгоритму рекурсивних найменших квадратів для {{нп|Артикуляційний контролер мозочкової моделі|АКММ||Cerebellar model articulation controller}}.<ref name="Qin1"/>

=== Теорія ===

Головна претензія{{Джерело|дата=липень 2023}} ШНМ полягає в тому, що вони втілюють нові потужні загальні принципи обробки інформації. Ці принципи погано визначені. Часто стверджують,{{Хто|дата=липень 2023}} що вони [[Емерджентність|виникають]] із самої мережі. Це дозволяє описувати просту статистичну асоціацію (основну функцію штучних нейронних мереж) як навчання або розпізнавання. 1997 року {{нп|Олександр Дьюдні|||Alexander Dewdney}} зауважив, що, в результаті, штучні нейронні мережі мають «риси чогось дармового, чогось наділеного особливою аурою ледарства та виразної відсутності зацікавлення хоч би тим, наскільки добрими ці комп'ютерні системи є. Жодного втручання людської руки (та розуму), розв'язки знаходяться мов чарівною силою, і ніхто, схоже, так нічого й не навчився».<ref>{{cite book|url={{google books |plainurl=y |id=KcHaAAAAMAAJ|page=82}}|title=Yes, we have no neutrons: an eye-opening tour through the twists and turns of bad science|last=Dewdney|first=A. K.|date=1 квітня 1997|publisher=Wiley|isbn=978-0-471-10806-1|pages=82}} {{ref-en}}</ref> Однією з відповідей Дьюдні є те, що нейронні мережі розв'язують багато складних і різноманітних завдань, починаючи від автономного літального апарата<ref>[http://www.nasa.gov/centers/dryden/news/NewsReleases/2003/03-49.html NASA – Dryden Flight Research Center – News Room: News Releases: NASA NEURAL NETWORK PROJECT PASSES MILESTONE] {{Webarchive|url=https://web.archive.org/web/20100402065100/http://www.nasa.gov/centers/dryden/news/NewsReleases/2003/03-49.html |date=2 квітня 2010 }}. Nasa.gov. Retrieved on 20 November 2013. {{ref-en}}</ref> до виявляння шахрайства з кредитними картками, й завершуючи опануванням гри в [[Ґо (гра)|Ґо]].

Письменник у галузі технологій Роджер Бріджмен прокоментував це так:

{{Quote|Нейронні мережі, наприклад, знаходяться на лаві підсудних не лише через те, що їх розрекламували до небес (хіба ні?), а й через те, що ви можете створити успішну мережу, не розуміючи, як вона працює: купа чисел, які фіксують її поведінку, ймовірно, буде «непрозорою, нечитабельною таблицею... нічого не вартою як науковий ресурс».
Незважаючи на свою експресивну заяву про те, що наука — це не технологія, Дьюдні, здається, ганьбить нейронні мережі як погану науку, тоді як більшість із тих, хто їх розробляє, просто намагаються бути добрими інженерами. Нечитабельна таблиця, яку може читати корисна машина,  все одно буде вельми варта того, щоби її мати.<ref>{{Cite web |url=http://members.fortunecity.com/templarseries/popper.html |title=Roger Bridgman's defence of neural networks |access-date=12 липня 2010 |archive-url=https://web.archive.org/web/20120319163352/http://members.fortunecity.com/templarseries/popper.html |archive-date=19 березня 2012 |url-status=dead}} {{ref-en}}</ref>
{{Oq||Neural networks, for instance, are in the dock not only because they have been hyped to high heaven, (what hasn't?) but also because you could create a successful net without understanding how it worked: the bunch of numbers that captures its behaviour would in all probability be "an opaque, unreadable table...valueless as a scientific resource".<br/><br/>In spite of his emphatic declaration that science is not technology, Dewdney seems here to pillory neural nets as bad science when most of those devising them are just trying to be good engineers. An unreadable table that a useful machine could read would still be well worth having.}}}}

Біологічний мозок використовує як неглибокі, так і глибокі схеми, як повідомляє анатомія мозку,<ref name="VanEssen1991">D. J. Felleman and D. C. Van Essen, "[https://archive.today/20150120022056/http://cercor.oxfordjournals.org/content/1/1/1.1.full.pdf+html Distributed hierarchical processing in the primate cerebral cortex]," ''Cerebral Cortex'', 1, pp. 1–47, 1991. {{ref-en}}</ref> демонструючи широкий спектр інваріантності. Венг<ref name="Weng2012">J. Weng, "[https://www.amazon.com/Natural-Artificial-Intelligence-Introduction-Computational/dp/0985875720 Natural and Artificial Intelligence: Introduction to Computational Brain-Mind]," BMI Press, {{ISBN|978-0-9858757-2-5}}, 2012. {{ref-en}}</ref> стверджував, що мозок самостійно встановлює зв'язки в основному відповідно до статистики сигналів, і тому послідовний каскад не може вловити всі основні статистичні залежності.

=== Апаратне забезпечення ===

Великі й ефективні нейронні мережі вимагають значних обчислювальних ресурсів.<ref name=":0">{{cite journal|last1=Edwards|first1=Chris|s2cid=11026540|title=Growing pains for deep learning|journal=Communications of the ACM|date=25 червня 2015|volume=58|issue=7|pages=14–16|doi=10.1145/2771283}} {{ref-en}}</ref> У той час як мозок має апаратне забезпечення, ідеально пристосоване для задачі обробки сигналів [[Граф (математика)|графом]] нейронів, імітація навіть спрощеного нейрону на [[Архітектура фон Неймана|архітектурі фон Неймана]] може споживати величезну кількість [[Пам'ять з довільним доступом|пам'яті]] та дискового простору. Крім того, розробникові часто потрібно передавати сигнали багатьма цими з'єднаннями та пов'язаними з ними нейронами, що вимагає величезної обчислювальної потужності та часу [[Центральний процесор|ЦП]].

[[Юрген Шмідхубер|Шмідхубер]] зазначив, що відродження нейронних мереж у двадцять першому сторіччі значною мірою обумовлено досягненнями в апаратному забезпеченні: з 1991 до 2015 року обчислювальна потужність, особливо забезпечувана [[ГПЗП]] (на [[ГП]]), зросла приблизно в мільйон разів, зробивши стандартний алгоритм зворотного поширення придатним для навчання мереж, на кілька рівнів глибших, ніж раніше.<ref name="SCHIDHUB2" /> Використання прискорювачів, таких як [[ПКВМ]] та ГП, може скорочувати тривалість тренування з місяців до днів. {{R|:0}}

[[Нейроморфна інженерія]] або {{нп|фізична нейронна мережа|||Physical neural network}} розв'язує проблему апаратного забезпечення безпосередньо, створюючи мікросхеми, відмінні від фон нейманових, для безпосереднього втілення нейронних мереж у схемах. Ще одна мікросхема, оптимізована для обробки нейронних мереж, зветься [[Тензорний блок обробки|тензорним процесором]] або ТП ({{lang-en|Tensor Processing Unit, TPU}}).<ref>{{cite news |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |newspaper=Wired |date=18 травня 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots |access-date=5 березня 2017 |archive-date=13 січня 2018 |archive-url=https://web.archive.org/web/20180113150305/https://www.wired.com/2016/05/google-tpu-custom-chips/ |url-status=live }} {{ref-en}}</ref>

=== Практичні контрприклади ===

Аналізувати те, чого навчилася ШНМ, набагато легше, ніж аналізувати те, чого навчилася біологічна нейронна мережа. Крім того, дослідники, які беруть участь у пошуку алгоритмів навчання для нейронних мереж, поступово розкривають загальні принципи, що дозволяють машині, що вчиться, бути успішною. Наприклад, локальне й нелокальне навчання, та неглибока й глибока архітектура.<ref>{{Cite web|title=Scaling Learning Algorithms towards AI|url=http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf|access-date=6 липня 2022|archive-date=12 серпня 2022|archive-url=https://web.archive.org/web/20220812081157/http://yann.lecun.com/exdb/publis/pdf/bengio-lecun-07.pdf|url-status=live}} {{ref-en}}</ref>

=== Гібридні підходи ===

Прибічники {{нп|Гібридна нейронна мережа|гібридних||Hybrid neural network}} моделей (що поєднують нейронні мережі та символьні підходи) стверджують, що така суміш може краще вловлювати механізми людського розуму.<ref>{{Cite journal| last1=Tahmasebi| last2=Hezarkhani| title=A hybrid neural networks-fuzzy logic-genetic algorithm for grade estimation| year=2012| journal=Computers & Geosciences| pages=18–27 |volume=42| doi=10.1016/j.cageo.2012.02.004| pmid=25540468| pmc=4268588| bibcode=2012CG.....42...18T}} {{ref-en}}</ref>

== Галерея ==
<gallery widths="260">
Файл:Single layer ann.svg|Одношарова штучна нейронна мережа прямого поширення. Стрілки, що виходять з <math>\scriptstyle x_2</math>, для наочності опущено. Є ''p'' входів до цієї мережі, й ''q'' виходів. У цій системі значення ''q''-того виходу <math>\scriptstyle y_q</math> обчислюватиметься як <math>\scriptstyle y_q = K*(\sum(x_i*w_{iq})-b_q)</math>.
Файл:Two layer ann.svg|Двошарова штучна нейронна мережа прямого поширення.
Файл:Artificial neural network uk.svg|Штучна нейронна мережа.
Файл:Ann dependency (graph).svg|Граф залежностей ШНМ.
Файл:Single-layer feedforward artificial neural network.png|Одношарова штучна нейронна мережа прямого поширення з 4 входами, 6 прихованими вузлами, та 2 виходами. Для заданого стану положення та напряму виводить значення керування для коліс.
Файл:Two-layer feedforward artificial neural network.png|Двошарова штучна нейронна мережа прямого поширення з 8 входами, 2×8 прихованими вузлами, та 2 виходами. Для заданого стану положення, напряму та інших змінних середовища, видає значення керування для маневрових двигунів.
Файл:cmac.jpg|Паралельно-конвеєрна структура нейронної мережі {{нп|Артикуляційний контролер мозочкової моделі|АКММ||Cerebellar model articulation controller}}. Цей алгоритм навчання здатен збігатися за один крок.
</gallery>

== Див. також ==

{{cols|colwidth=18em}}
* [[Автокодувальник]]
* ''[[ADALINE]]''
* {{нп|Біологічно натхнені обчислення|||Biologically inspired computing}}
* {{нп|Гіпервимірні обчислення|||Hyperdimensional computing}}
* {{нп|Границі великої ширини нейронних мереж|||Large width limits of neural networks}}
* {{нп|Катастрофічна інтерференція|||Catastrophic interference}}
* [[Квантова нейронна мережа]]
* {{нп|Когнітивна архітектура|||Cognitive architecture}}
* {{нп|Конективістська експертна система|||Connectionist expert system}}
* {{нп|Конектоміка|||Connectomics}}
* [[Нейронний газ]]
* [[Оптична нейронна мережа]]
* [[Паралельно розподілена обробка]]
* {{нп|Перелік понять машинного навчання|Поняття машинного навчання||List of machine learning concepts}}
* [[Проєкт Blue Brain|Проєкт ''Blue Brain'']]
* {{нп|Програмне забезпечення нейронних мереж|||Neural network software}}
* [[Рекурентні нейронні мережі]]
* {{нп|Спайкова нейронна мережа|||Spiking neural network}}
* {{нп|Стохастичний папуга|||Stochastic parrot}}
* {{нп|Тензорно-добуткова мережа|||Tensor product network}}
* [[Філософія штучного інтелекту]]
{{colend}}

== Виноски ==
{{notelist}}

== Примітки ==
{{примітки|30em}}

== Література ==
{{colbegin|colwidth=30em}}
* {{Cite journal |author=Bhadeshia H. K. D. H. |year=1999 |title=Neural Networks in Materials Science |journal=ISIJ International |volume=39 |pages=966–979 |doi=10.2355/isijinternational.39.966 |url=http://www.msm.cam.ac.uk/phase-trans/abstracts/neural.review.pdf |issue=10}} {{ref-en}}
* {{Cite book |title=Neural networks for pattern recognition |url=https://archive.org/details/neuralnetworksfo0000bish |last=Bishop |first=Christopher M. |date=1995 |publisher=Clarendon Press |isbn=978-0-19-853849-3 |oclc=33101074}} {{ref-en}}
* {{Cite book |title=Neuro-Fuzzy-Systeme : von den Grundlagen künstlicher Neuronaler Netze zur Kopplung mit Fuzzy-Systemen |first=Christian |last=Borgelt |year=2003 |publisher=Vieweg |isbn=978-3-528-25265-6 |oclc=76538146}} {{ref-de}}
* {{cite book |title=Mathematics of Control, Signals, and Systems |author1-link=Джордж Цибенко |last=Cybenko |first=G.V. |publisher=Springer International |year=2006 |editor-last=van Schuppen |editor-first=Jan H. |chapter=Approximation by Superpositions of a Sigmoidal function |chapter-url={{google books |plainurl=y |id=4RtVAAAAMAAJ|page=303}} |pages=303–314 |title-link=Mathematics of Control, Signals, and Systems}} [https://web.archive.org/web/20110719183058/http://actcomm.dartmouth.edu/gvc/papers/approx_by_superposition.pdf PDF] {{ref-en}}
* {{Cite book |title=Yes, we have no neutrons : an eye-opening tour through the twists and turns of bad science |last=Dewdney |first=A. K. |isbn=978-0-471-10806-1 |oclc=35558945 |year=1997 |publisher=Wiley |location=New York}} {{ref-en}}
* {{Cite book |title=Pattern classification |first1=Richard O. |last1=Duda |last2=Hart |first2=Peter Elliot |last3=Stork |first3=David G. |year=2001 |publisher=Wiley |isbn=978-0-471-05669-0 |oclc=41347061 |edition=2}} {{ref-en}}
* {{Cite journal |last1=Egmont-Petersen |first1=M. |last2=de Ridder |first2=D. |last3=Handels |first3=H. |year=2002 |title=Image processing with neural networks – a review |journal=Pattern Recognition |volume=35 |pages=2279–2301 |doi=10.1016/S0031-3203(01)00178-9 |issue=10 |citeseerx=10.1.1.21.5444}} {{ref-en}}
* {{cite web |last1=Fahlman |first1=S. |last2=Lebiere |first2=C |year=1991 |title=The Cascade-Correlation Learning Architecture |url=http://www.cs.iastate.edu/~honavar/fahlman.pdf |access-date=28 серпня 2006 |archive-date=3 травня 2013 |archive-url=https://web.archive.org/web/20130503184045/http://www.cs.iastate.edu/~honavar/fahlman.pdf |url-status=dead}} {{ref-en}}
**created for [[National Science Foundation]], Contract Number EET-8716324, and [[Defense Advanced Research Projects Agency]] (DOD), ARPA Order No. 4976 under Contract F33615-87-C-1499. 
* {{Cite book |title=An introduction to neural networks |url=https://archive.org/details/introductiontone0000gurn |last=Gurney |first=Kevin |year=1997 |publisher=UCL Press |isbn=978-1-85728-673-1 |oclc=37875698}} {{ref-en}}
* {{Cite book |title=Neural networks : a comprehensive foundation |url=https://archive.org/details/neuralnetworksco0000hayk_2ed |last=Haykin |first=Simon S. |year=1999 |publisher=Prentice Hall |isbn=978-0-13-273350-2 |oclc=38908586}} {{ref-en}}
* {{Cite book |title=Introduction to the theory of neural computation |last1=Hertz |first1=J. |last3=Krogh |first3=Anders S. |first2=Richard G. |last2=Palmer |year=1991 |publisher=Addison-Wesley |isbn=978-0-201-51560-2 |oclc=21522159}} {{ref-en}}
* {{Cite book |title=Information theory, inference, and learning algorithms |url=https://archive.org/details/informationtheor0000mack |publisher=Cambridge University Press |isbn=978-0-521-64298-9 |oclc=52377690 |date=25 вересня 2003 |bibcode=2003itil.book.....M}} {{ref-en}}
* {{Cite book |title=Computational intelligence : a methodological introduction |first1=Rudolf |last1=Kruse |first2=Christian |last2=Borgelt |first3=F. |last3=Klawonn |first4=Christian |last4=Moewes |first5=Matthias |last5=Steinbrecher |first6=Pascal |last6=Held |year=2013 |publisher=Springer |isbn=978-1-4471-5012-1 |oclc=837524179}} {{ref-en}}
* {{Cite book |title=Introduction to neural networks : design, theory and applications |url=https://archive.org/details/introductiontone0000lawr |last=Lawrence |first=Jeanette |year=1994 |publisher=California Scientific Software |isbn=978-1-883157-00-5 |oclc=32179420}} {{ref-en}}
* {{cite book |last=MacKay |first=David, J.C. |author-link=Девід МакКей |year=2003 |publisher=[[Cambridge University Press]] |isbn=978-0-521-64298-9 |url=http://www.inference.phy.cam.ac.uk/itprnn/book.pdf |title=Information Theory, Inference, and Learning Algorithms}} {{ref-en}}
* {{Cite book |title=Signal and image processing with neural networks : a C++ sourcebook |url=https://archive.org/details/signalimageproce0000mast |first=Timothy |last=Masters |year=1994 |publisher=J. Wiley |isbn=978-0-471-04963-0 |oclc=29877717}} {{ref-en}}
* {{Cite book |title=Cognitive science : integrative synchronization mechanisms in cognitive neuroarchitectures of the modern connectionism |last=Maurer |first=Harald |year=2021 |publisher=CRC Press |isbn=978-1-351-04352-6 |doi=10.1201/9781351043526 |s2cid=242963768}} {{ref-en}}
* {{cite book |url={{google books |plainurl=y |id=m12UR8QmLqoC}} |title=Pattern Recognition and Neural Networks |last=Ripley |first=Brian D. |author-link=Браян Ріплі |publisher=Cambridge University Press |year=2007 |isbn=978-0-521-71770-0}} {{ref-en}}
* {{cite journal |last1=Siegelmann |first1=H.T. |first2=Eduardo D. |last2=Sontag |s2cid=2456483 |year=1994 |title=Analog computation via neural networks |journal=Theoretical Computer Science |volume=131 |issue=2 |pages=331–360 |doi=10.1016/0304-3975(94)90178-3}} {{ref-en}} 
* {{Cite book |title=Neural networks for statistical modeling |url=https://archive.org/details/neuralnetworksfo0000smit |last1=Smith |first1=Murray |date=1993 |publisher=Van Nostrand Reinhold |isbn=978-0-442-01310-3 |oclc=27145760}} {{ref-en}}
* {{Cite book |title=Advanced methods in neural computing |url=https://archive.org/details/advancedmethodsi0000wass |last=Wasserman |first=Philip D. |year=1993 |publisher=Van Nostrand Reinhold |isbn=978-0-442-00461-3 |oclc=27429729}} {{ref-en}}
* {{cite book |last1=Wilson |first1=Halsey |title=Artificial intelligence |date=2018 |publisher=Grey House Publishing |isbn=978-1-68217-867-6}} {{ref-en}}
{{colend}}

{{Штучний інтелект}}
{{Диференційовні обчислення}}
{{Бібліоінформація}}

[[Категорія:Нейронні мережі| ]]
[[Категорія:Штучний інтелект]]
[[Категорія:Машинне навчання]]
[[Категорія:Обчислювальна статистика]]
[[Категорія:Штучні нейронні мережі| ]]
[[Категорія:Алгоритми класифікації]]
[[Категорія:Обчислювальна нейробіологія]]
[[Категорія:Математична психологія]]
[[Категорія:Маркетингові дослідження]]