"Искусственные нейронные сети. Теория и практика." - читать интересную книгу автора (Круглов В.В., Борисов В.В.)

╩юэЄхъёЄэ√х эхщЁюэ√
┬їюф
┬√їюф
┬√їюфэющ ёыющ
╤ъЁ√Є√щ ёыющ
ў
╩юэЄхъёЄэ√х эхщЁюэ√
┬їюф
╩юэЄхъёЄэ√х эхщЁюэ√
с)
╨шё 1 6 ╫рёЄшўэю-ЁхъєЁЁхэЄэ√х ёхЄш р - ▌ыьрэр, с - ╞юЁфрэр
17
┬ ёырсюёт чэ√ї эхщЁюээ√ї ёхЄ ї эхщЁюэ√ Ёрёяюырур■Єё  т єчырї яЁ ьюєуюы№эющ шыш ухъёруюэры№эющ Ёх°хЄъш ╩рцф√щ эхщЁюэ ёт чрэ ё ўхЄ√Ё№ь  (юъЁхёЄэюёЄ№ Їюэ ═хщьрэр), °хёЄ№■ (юъЁхёЄэюёЄ№ ├юых ) шыш тюёхь№■ (юъЁхёЄэюёЄ№ ╠єЁр) ётюшьш сышцрщ°шьш ёюёхф ьш.
╚чтхёЄэ√х эхщЁюээ√х ёхЄш ьюцэю ЁрчфхышЄ№ яю Єшярь ёЄЁєъЄєЁ эхщЁюэют эр уюьюухээ√х (юфэюЁюфэ√х) ш ухЄхЁюухээ√х. ├юьюухээ√х ёхЄш ёюёЄю Є шч эхщЁюэют юфэюую Єшяр ё хфшэющ ЇєэъЎшхщ ръЄштрЎшш, р т ухЄхЁюухээє■ ёхЄ№ тїюф Є эхщЁюэ√ ё Ёрчышўэ√ьш ЇєэъЎш ьш ръЄштрЎшш.
╤є∙хёЄтє■Є сшэрЁэ√х ш рэрыюуют√х ёхЄш. ╧хЁт√х шч эшї юяхЁшЁє■Є Єюы№ъю фтюшўэ√ьш ёшуэрырьш, ш т√їюф ърцфюую эхщЁюэр ьюцхЄ яЁшэшьрЄ№ чэрўхэшх ышсю ыюушўхёъюую эюы  (чрЄюЁьюцхээюх ёюёЄю эшх) ышсю ыюушўхёъющ хфшэшЎ√ (тючсєцфхээюх ёюёЄю эшх).
┼∙х юфэр ъырёёшЇшърЎш  фхышЄ эхщЁюээ√х ёхЄш эр ёшэїЁюээ√х ш рёшэїЁюээ√х. ┬ яхЁтюь ёыєўрх т ърцф√щ ьюьхэЄ тЁхьхэш ыш°№ юфшэ эхщЁюэ ьхэ хЄ ётюх ёюёЄю эшх, тю тЄюЁюь - ёюёЄю эшх ьхэ хЄё  ёЁрчє є Ўхыющ уЁєяя√ эхщЁюэют, ъръ яЁртшыю, є тёхую ёыю . └ыуюЁшЄьшўхёъш їюф тЁхьхэш т эхщЁюээ√ї ёхЄ ї чрфрхЄё  шЄхЁрЎшюээ√ь т√яюыэхэшхь юфэюЄшяэ√ї фхщёЄтшщ эрф эхщЁюэрьш ─рыхх сєфєЄ ЁрёёьрЄЁштрЄ№ё  Єюы№ъю ёшэїЁюээ√х ёхЄш
╤хЄш ьюцэю ъырёёшЇшЎшЁютрЄ№ Єръцх яю ўшёыє ёыюхт. ╥хюЁхЄшўхёъш ўшёыю ёыюхт ш ўшёыю эхщЁюэют т ърцфюь ёыюх ьюцхЄ с√Є№ яЁюшчтюы№э√ь, юфэръю ЇръЄшўхёъш юэю юуЁрэшўхэю ЁхёєЁёрьш ъюья№■ЄхЁр шыш ёяхЎшрышчшЁютрээ√ї ьшъЁюёїхь, эр ъюЄюЁ√ї юс√ўэю ЁхрышчєхЄё  эхщЁюээр  ёхЄ№. ╫хь ёыюцэхх ёхЄ№, Єхь сюыхх ёыюцэ√х чрфрўш юэр ьюцхЄ Ёх°рЄ№.
┬√сюЁ ёЄЁєъЄєЁ√ эхщЁюээющ ёхЄш юёє∙хёЄты хЄё  т ёююЄтхЄёЄтшш ё юёюсхээюёЄ ьш ш ёыюцэюёЄ№■ чрфрўш. ─ы  Ёх°хэш  юЄфхы№э√ї Єшяют чрфрў єцх ёє∙хёЄтє■Є юяЄшьры№э√х ъюэЇшуєЁрЎшш, юяшёрээ√х т яЁшыюцхэшш. ┼ёыш цх чрфрўр эх ьюцхЄ с√Є№ ётхфхэр эш ъ юфэюьє шч шчтхёЄэ√ї Єшяют, яЁшїюфшЄё  Ёх°рЄ№ ёыюцэє■ яЁюсыхьє ёшэЄхчр эютющ ъюэЇшуєЁрЎшш. ╧Ёш ¤Єюь эхюсїюфшью ЁєъютюфёЄтютрЄ№ё  ёыхфє■∙шьш юёэютэ√ьш яЁртшырьш:
Х тючьюцэюёЄш ёхЄш тючЁрёЄр■Є ё єтхышўхэшхь ўшёыр эхщЁюэют ёхЄш, яыюЄэюёЄш ёт чхщ ьхцфє эшьш ш ўшёыюь ёыюхт;
Х ттхфхэшх юсЁрЄэ√ї ёт чхщ эрЁ фє ё єтхышўхэшхь тючьюцэюёЄхщ ёхЄш яюфэшьрхЄ тюяЁюё ю фшэрьшўхёъющ єёЄющўштюёЄш ёхЄш;
Х ёыюцэюёЄ№ рыуюЁшЄьют ЇєэъЎшюэшЁютрэш  ёхЄш, ттхфхэшх эхёъюы№ъшї Єшяют ёшэряёют ёяюёюсёЄтєхЄ єёшыхэш■ ью∙эюёЄш эхщЁюээющ ёхЄш.
18
┬юяЁюё ю эхюсїюфшь√ї ш фюёЄрЄюўэ√ї ётющёЄтрї ёхЄш фы  Ёх°хэш  чрфрў Єюую шыш шэюую Ёюфр яЁхфёЄрты хЄ ёюсющ Ўхыюх эряЁртыхэшх эхщЁюъюья№■ЄхЁэющ эрєъш. ╥ръ ъръ яЁюсыхьр ёшэЄхчр эхщЁюээющ ёхЄш ёшы№эю чртшёшЄ юЄ Ёх°рхьющ чрфрўш, фрЄ№ юс∙шх яюфЁюсэ√х ЁхъюьхэфрЎшш чрЄЁєфэшЄхы№эю ┬ сюы№°шэёЄтх ёыєўрхт юяЄшьры№э√щ трЁшрэЄ яюыєўрхЄё  эр юёэютх шэЄєшЄштэюую яюфсюЁр, їюЄ  т ышЄхЁрЄєЁх яЁштхфхэ√ фюърчрЄхы№ёЄтр Єюую, ўЄю фы  ы■сюую рыуюЁшЄьр ёє∙хёЄтєхЄ эхщЁюээр  ёхЄ№, ъюЄюЁр  ьюцхЄ хую ЁхрышчютрЄ№. ╬ёЄрэютшьё  эр ¤Єюь яюфЁюсэхх.
╠эюушх чрфрўш Ёрёяючэртрэш  юсЁрчют (чЁшЄхы№э√ї, Ёхўхт√ї), т√яюыэхэш  ЇєэъЎшюэры№э√ї яЁхюсЁрчютрэшщ яЁш юсЁрсюЄъх ёшуэрыют, єяЁртыхэш , яЁюуэючшЁютрэш , шфхэЄшЇшърЎшш ёыюцэ√ї ёшёЄхь, ётюф Єё  ъ ёыхфє■∙хщ ьрЄхьрЄшўхёъющ яюёЄрэютъх. ═хюсїюфшью яюёЄЁюшЄ№ Єръюх юЄюсЁрцхэшх X -> ╙, ўЄюс√ эр ърцф√щ тючьюцэ√щ тїюфэющ ёшуэры X ЇюЁьшЁютрыё  яЁртшы№э√щ т√їюфэющ ёшуэры ╙. ╬ЄюсЁрцхэшх чрфрхЄё  ъюэхўэ√ь эрсюЁюь ярЁ (<тїюф>, <шчтхёЄэ√щ т√їюф>). ╫шёыю ¤Єшї ярЁ (юсєўр■∙шї яЁшьхЁют) ёє∙хёЄтхээю ьхэ№°х юс∙хую ўшёыр тючьюцэ√ї ёюўхЄрэшщ чэрўхэшщ тїюфэ√ї ш т√їюфэ√ї ёшуэрыют. ╤ютюъєяэюёЄ№ тёхї юсєўр■∙шї яЁшьхЁют эюёшЄ эрчтрэшх юсєўр■∙хщ т√сюЁъш.
┬ чрфрўрї Ёрёяючэртрэш  юсЁрчют X - эхъюЄюЁюх яЁхфёЄртыхэшх юсЁрчр (шчюсЁрцхэшх, тхъЄюЁ), ╙ - эюьхЁ ъырёёр, ъ ъюЄюЁюьє яЁшэрфыхцшЄ тїюфэющ юсЁрч.
┬ чрфрўрї єяЁртыхэш  X - эрсюЁ ъюэЄЁюышЁєхь√ї ярЁрьхЄЁют єяЁрты хьюую юс·хъЄр, ╙ - ъюф, юяЁхфхы ■∙шщ єяЁрты ■∙хх тючфхщёЄтшх, ёююЄтхЄёЄтє■∙хх Єхъє∙шь чэрўхэш ь ъюэЄЁюышЁєхь√ї ярЁрьхЄЁют.
┬ чрфрўрї яЁюуэючшЁютрэш  т ърўхёЄтх тїюфэ√ї ёшуэрыют шёяюы№чє■Єё  тЁхьхээ√х Ё ф√, яЁхфёЄрты ■∙шх чэрўхэш  ъюэЄЁюышЁєхь√ї яхЁхьхээ√ї эр эхъюЄюЁюь шэЄхЁтрых тЁхьхэш. ┬√їюфэющ ёшуэры - ьэюцхёЄтю яхЁхьхээ√ї, ъюЄюЁюх  ты хЄё  яюфьэюцхёЄтюь яхЁхьхээ√ї тїюфэюую ёшуэрыр.
╧Ёш шфхэЄшЇшърЎшш X ш ╙ яЁхфёЄрты ■Є тїюфэ√х ш т√їюфэ√х ёшуэры√ ёшёЄхь√ ёююЄтхЄёЄтхээю.
┬ююс∙х уютюЁ , сюы№°р  ўрёЄ№ яЁшъырфэ√ї чрфрў ьюцхЄ с√Є№ ётхфхэр ъ ЁхрышчрЎшш эхъюЄюЁюую ёыюцэюую ЇєэъЎшюэры№эюую ьэюуюьхЁэюую яЁхюсЁрчютрэш .
┬ Ёхчєы№ЄрЄх юЄюсЁрцхэш  X -> ╙ эхюсїюфшью юсхёяхўшЄ№ ЇюЁьшЁютрэшх яЁртшы№э√ї т√їюфэ√ї ёшуэрыют т ёююЄтхЄёЄтшш:
Х ёю тёхьш яЁшьхЁрьш юсєўр■∙хщ т√сюЁъш;
Х ёю тёхьш тючьюцэ√ьш тїюфэ√ьш ёшуэрырьш, ъюЄюЁ√х эх тю°ыш т юсєўр■∙є■ т√сюЁъє.
19
┬ЄюЁюх ЄЁхсютрэшх т чэрўшЄхы№эющ ёЄхяхэш єёыюцэ хЄ чрфрўє ЇюЁьшЁютрэш  юсєўр■∙хщ т√сюЁъш ┬ юс∙хь тшфх ¤Єр чрфрўр т эрёЄю ∙хх тЁхь  х∙х эх Ёх°хэр юфэръю тю тёхї шчтхёЄэ√ї ёыєўр ї ьюцхЄ с√Є№ эрщфхэю ўрёЄэюх Ёх°хэшх
1.3.1. ╥хюЁхьр ╩юыьюуюЁютр-└Ёэюы№фр
╧юёЄЁюшЄ№ ьэюуюьхЁэюх юЄюсЁрцхэшх X -> ╙ - ¤Єю чэрўшЄ яЁхфёЄртшЄ№ хую ё яюью∙№■ ьрЄхьрЄшўхёъшї юяхЁрЎшщ эрф эх сюыхх, ўхь фтєь  яхЁхьхээ√ьш
╧Ёюсыхьр яЁхфёЄртыхэш  ЇєэъЎшщ ьэюушї яхЁхьхээ√ї т тшфх ёєяхЁяючшЎшш ЇєэъЎшщ ьхэ№°хую ўшёыр яхЁхьхээ√ї тюёїюфшЄ 13-щ яЁюсыхьх ├шы№схЁЄр ┬ Ёхчєы№ЄрЄх ьэюуюыхЄэхщ эрєўэющ яюыхьшъш ьхцфє └ ═ ╩юыьюуюЁют√ь ш ┬ ╚ └Ёэюы№фюь с√ы яюыєўхэ Ё ф трцэ√ї ЄхюЁхЄшўхёъшї Ёхчєы№ЄрЄют, юяЁютхЁур■∙шї Єхчшё эхяЁхфёЄртшьюёЄш ЇєэъЎшш ьэюушї яхЁхьхээ√ї ЇєэъЎш ьш ьхэ№°хую ўшёыр яхЁхьхээ√ї
Х ЄхюЁхьр ю тючьюцэюёЄш яЁхфёЄртыхэш  эхяЁхЁ√тэ√ї ЇєэъЎшщ эхёъюы№ъшї яхЁхьхээ√ї ёєяхЁяючшЎш ьш эхяЁхЁ√тэ√ї ЇєэъЎшщ ьхэ№°хую ўшёыр яхЁхьхээ√ї (1956 у),
Х ЄхюЁхьр ю яЁхфёЄртыхэшш ы■сющ эхяЁхЁ√тэющ ЇєэъЎшш ЄЁхї яхЁхьхээ√ї т тшфх ёєьь√ ЇєэъЎшщ эх сюыхх фтєї яхЁхьхээ√ї (1957 у),
Х ЄхюЁхьр ю яЁхфёЄртыхэшш эхяЁхЁ√тэ√ї ЇєэъЎшщ эхёъюы№ъшї яхЁхьхээ√ї т тшфх ёєяхЁяючшЎшщ эхяЁхЁ√тэ√ї ЇєэъЎшщ юфэюую яхЁхьхээюую ш ёыюцхэш  (1957 у)
1.3.2. ╨рсюЄр ╒хїЄ-═шы№ёхэр
╥хюЁхьр ю яЁхфёЄртыхэшш эхяЁхЁ√тэ√ї ЇєэъЎшщ эхёъюы№ъшї яхЁхьхээ√ї т тшфх ёєяхЁяючшЎшщ эхяЁхЁ√тэ√ї ЇєэъЎшщ юфэюую яхЁхьхээюую ш ёыюцхэш  т 1987 уюфє с√ыр яхЁхыюцхэр ╒хїЄ-═шы№ёхэюь фы  эхщЁюээ√ї ёхЄхщ
╥хюЁхьр ╒хїЄ-═шы№ёхэр фюърч√трхЄ яЁхфёЄртшьюёЄ№ ЇєэъЎшш ьэюушї яхЁхьхээ√ї фюёЄрЄюўэю юс∙хую тшфр ё яюью∙№■ фтєїёыющэющ эхщЁюээющ ёхЄш ё яЁ ь√ьш яюыэ√ьш ёт ч ьш ё я эхщЁюэрьш тїюфэюую ёыю , (2я+1) эхщЁюэрьш ёъЁ√Єюую ёыю  ё чрЁрэхх шчтхёЄэ√ьш юуЁрэшўхээ√ьш ЇєэъЎш ьш ръЄштрЎшш (эряЁшьхЁ, ёшу-ьюшфры№э√ьш) ш Є эхщЁюэрьш т√їюфэюую ёыю  ё эхшчтхёЄэ√ьш ЇєэъЎш ьш ръЄштрЎшш
╥хюЁхьр, Єръшь юсЁрчюь, т эхъюэёЄЁєъЄштэющ ЇюЁьх фюърч√трхЄ Ёх°рхьюёЄ№ чрфрўш яЁхфёЄртыхэш  ЇєэъЎшш яЁюшчтюы№эюую тшфр эр эхщЁюээющ ёхЄш ш єърч√трхЄ фы  ърцфющ чрфрўш ьшэшьры№э√х ўшёыр эхщЁюэют ёхЄш, эхюсїюфшь√ї фы  хх Ёх°хэш 
20
1.3.3. ╤ыхфёЄтш  шч ЄхюЁхь√ ╩юыьюуюЁютр-└Ёэюы№фр - ╒хїЄ-═шы№ёхэр
╤ыхфёЄтшх 1 ╚ч ЄхюЁхь√ ╒хїЄ-═шы№ёхэр ёыхфєхЄ яЁхфёЄртшьюёЄ№ ы■сющ ьэюуюьхЁэющ ЇєэъЎшш эхёъюы№ъшї яхЁхьхээ√ї ё яюью∙№■ эхщЁюээющ ёхЄш ЇшъёшЁютрээющ ЁрчьхЁэюёЄш ═хшчтхёЄэ√ьш юёЄр■Єё  ёыхфє■∙шх їрЁръЄхЁшёЄшъш ЇєэъЎшщ ръЄштрЎшш эхщЁюэют
Х юуЁрэшўхэш  юсырёЄш чэрўхэшщ (ъююЁфшэрЄ√ рёшьяЄюЄ) ёшуьюшфры№э√ї ЇєэъЎшщ ръЄштрЎшш эхщЁюэют ёъЁ√Єюую ёыю ,
Х эръыюэ ёшуьюшфры№э√ї ЇєэъЎшщ ръЄштрЎшш,
Х тшф ЇєэъЎшщ ръЄштрЎшш эхщЁюэют т√їюфэюую ёыю