"Искусственные нейронные сети. Теория и практика." - читать интересную книгу автора (Круглов В.В., Борисов В.В.)

╧Ёхфёърчрэшх/яЁюуэюч. ╧єёЄ№ чрфрэ√ N фшёъЁхЄэ√ї юЄёўхЄют {y(f0. V(fe), ХХХ. ╙(╠} т яюёыхфютрЄхы№э√х ьюьхэЄ√ тЁхьхэш U, t2, ..., tN . ╟рфрўр ёюёЄюшЄ т яЁхфёърчрэшш чэрўхэш  y(fw+i) т ьюьхэЄ W ╧Ёюуэюч шьх■Є чэрўшЄхы№эюх тыш эшх эр яЁшэ Єшх Ёх°хэшщ т сшчэхёх, эрєъх ш Єхїэшъх.
5
╬яЄшьшчрЎш . ╠эюуюўшёыхээ√х яЁюсыхь√ т ьрЄхьрЄшъх, ёЄрЄшёЄшъх, Єхїэшъх, эрєъх, ьхфшЎшэх ш ¤ъюэюьшъх ьюуєЄ ЁрёёьрЄЁштрЄ№ё  ъръ яЁюсыхь√ юяЄшьшчрЎшш. ╟рфрўхщ юяЄшьшчрЎшш  ты хЄё  эрїюцфхэшх Ёх°хэш , ъюЄюЁюх єфютыхЄтюЁ хЄ ёшёЄхьх юуЁрэшўхэшщ ш ьръёшьшчшЁєхЄ шыш ьшэшьшчшЁєхЄ Ўхыхтє■ ЇєэъЎш■.
╧рь Є№, рфЁхёєхьр  яю ёюфхЁцрэш■. ┬ ьюфхыш т√ўшёыхэшщ Їюэ ═хщьрэр юсЁр∙хэшх ъ ярь Єш фюёЄєяэю Єюы№ъю яюёЁхфёЄтюь рфЁхёр, ъюЄюЁ√щ эх чртшёшЄ юЄ ёюфхЁцрэш  ярь Єш. ┴юыхх Єюую, хёыш фюяє∙хэр ю°шсър т т√ўшёыхэшш рфЁхёр, Єю ьюцхЄ с√Є№ эрщфхэр ёютхЁ°хээю шэр  шэЇюЁьрЎш . ╧рь Є№, рфЁхёєхьр  яю ёюфхЁцрэш■, шыш рёёюЎшрЄштэр  ярь Є№, фюёЄєяэр яю єърчрэш■ чрфрээюую ёюфхЁцрэш . ╤юфхЁцшьюх ярь Єш ьюцхЄ с√Є№ т√чтрэю фрцх яю ўрёЄшўэюьє шыш шёърцхээюьє ёюфхЁцрэш■. └ёёюЎшрЄштэр  ярь Є№ ўЁхчт√ўрщэю цхырЄхы№эр яЁш ёючфрэшш яхЁёяхъЄштэ√ї шэЇюЁьрЎшюээю-т√ўшёышЄхы№э√ї ёшёЄхь.
╙яЁртыхэшх. ╨рёёьюЄЁшь фшэрьшўхёъє■ ёшёЄхьє, чрфрээє■ ёютюъєяэюёЄ№■ {ш(0, є(0}> уфх u(t)  ты хЄё  тїюфэ√ь єяЁрты ■∙шь тючфхщёЄтшхь, р є(у) - т√їюфюь ёшёЄхь√ т ьюьхэЄ тЁхьхэш у. ┬ ёшёЄхьрї єяЁртыхэш  ё ¤Єрыюээющ ьюфхы№■ Ўхы№■ єяЁртыхэш   ты хЄё  ЁрёўхЄ Єръюую тїюфэюую тючфхщёЄтш  u(t), яЁш ъюЄюЁюь ёшёЄхьр ёыхфєхЄ яю цхырхьющ ЄЁрхъЄюЁшш, фшъЄєхьющ ¤Єрыюээющ ьюфхы№■.
╩ръшь юсЁрчюь эхщЁюээр  ёхЄ№ Ёх°рхЄ тёх ¤Єш, ўрёЄю эх-ЇюЁьрышчєхь√х шыш ЄЁєфэю ЇюЁьрышчєхь√х чрфрўш? ╩ръ шчтхёЄэю, фы  Ёх°хэш  Єръшї чрфрў ЄЁрфшЎшюээю яЁшьхэ ■Єё  фтр юёэютэ√ї яюфїюфр. ╧хЁт√щ, юёэютрээ√щ эр яЁртшырї (rule-based), їрЁръЄхЁхэ фы  ¤ъёяхЁЄэ√ї ёшёЄхь. ╬э срчшЁєхЄё  эр юяшёрэшш яЁхфьхЄэющ юсырёЄш т тшфх эрсюЁр яЁртшы (ръёшюь) лхёыш ..., Єю ...╗ ш яЁртшы т√тюфр. ╚ёъюьюх чэрэшх яЁхфёЄрты хЄё  т ¤Єюь ёыєўрх ЄхюЁхьющ, шёЄшээюёЄ№ ъюЄюЁющ фюърч√трхЄё  яюёЁхфёЄтюь яюёЄЁюхэш  Ўхяюўъш т√тюфр. ╧Ёш ¤Єюь яюфїюфх, юфэръю, эхюсїюфшью чрЁрэхх чэрЄ№ тхё№ эрсюЁ чръюэюьхЁэюёЄхщ, юяшё√тр■∙шї яЁхфьхЄэє■ юсырёЄ№. ╧Ёш шёяюы№чютрэшш фЁєуюую яюфїюфр, юёэютрээюую эр яЁшьхЁрї (case-based), эрфю ыш°№ шьхЄ№ фюёЄрЄюўэюх ъюышўхёЄтю яЁшьхЁют фы  эрёЄЁющъш рфряЄштэющ ёшёЄхь√ ё чрфрээющ ёЄхяхэ№■ фюёЄютхЁэюёЄш ═хщЁюээ√х ёхЄш яЁхфёЄрты ■Є ёюсющ ъырёёшўхёъшщ яЁшьхЁ Єръюую яюфїюфр.
╩эшур ёюёЄюшЄ шч ЄЁхї ўрёЄхщ ш яЁшыюцхэшщ. ╧хЁтр  ўрёЄ№ яюёт ∙хэр тюяЁюёрь ЄхюЁшш шёъєёёЄтхээ√ї эхщЁюээ√ї ёхЄхщ, тЄюЁр  - яЁюуЁрььэ√ь юсюыюўърь-шьшЄрЄюЁрь эхщЁюээ√ї ёхЄхщ, т ЄЁхЄ№хщ яЁштхфхэ√ ъюэъЁхЄэ√х яЁшьхЁ√ яЁшьхэхэш  эхщЁюёхЄхтю-ую яюфїюфр фы  Ёх°хэш  яЁръЄшўхёъшї чрфрў. ╧Ёшыюцхэшх ёюфхЁцрЄ фрээ√х ёяЁртюўэюую їрЁръЄхЁр.
6
═хёьюЄЁ  эр юуЁюьэ√щ шэЄхЁхё, яЁю ты хь√щ ъ шёъєёёЄтхээ√ь эхщЁюээ√ь ёхЄ ь, ышЄхЁрЄєЁр яю ¤Єюьє эряЁртыхэш■ т эр°хщ ёЄЁрэх шчфрхЄё  тхё№ьр ьры√ьш ЄшЁрцрьш ш  ты хЄё  фхЇшЎшЄэющ, р чрўрёЄє■ ёыш°ъюь єчъюёяхЎшрышчшЁютрээющ ш яю¤Єюьє ЄЁєфэющ фы  яюэшьрэш . ╓хы№■ эрёЄю ∙хщ ъэшуш, т ёт чш ё ¤Єшь,  ты хЄё  чэръюьёЄтю °шЁюъюую ъЁєур чршэЄхЁхёютрээ√ї ышЎ ё юёэютэ√ьш яюэ Єш ьш ш ьхЄюфрьш шёёыхфютрэш  ш яЁшьхэхэш  эхщЁюээ√ї ёхЄхщ.
└тЄюЁ√ яюфўхЁъштр■Є, ўЄю шчфрэшхь фрээющ ъэшуш юэш эх яЁхёыхфє■Є ъюььхЁўхёъшх шэЄхЁхё√ ш т√Ёрцр■Є уыєсюъє■ сыруюфрЁэюёЄ№ тёхь, ў№ш ьрЄхЁшры√ с√ыш шёяюы№чютрэ√ т ЁрсюЄх.
╫рёЄ№ I
╥┼╬╨╚▀
├ыртр 1
╬╤═╬┬═█┼ ╧╬╦╬╞┼═╚▀ ╥┼╬╨╚╚ ╚╤╩╙╤╤╥┬┼══█╒ ═┼╔╨╬══█╒ ╤┼╥┼╔
╧юф эхщЁюээ√ьш ёхЄ ьш яюфЁрчєьхтр■Єё  т√ўшёышЄхы№э√х ёЄЁєъЄєЁ√, ъюЄюЁ√х ьюфхышЁє■Є яЁюёЄ√х сшюыюушўхёъшх яЁюЎхёё√, юс√ўэю рёёюЎшшЁєхь√х ё яЁюЎхёёрьш ўхыютхўхёъюую ьючур. ╬эш яЁхфёЄрты ■Є ёюсющ ЁрёяЁхфхыхээ√х ш ярЁрыыхы№э√х ёшёЄхь√, ёяюёюсэ√х ъ рфряЄштэюьє юсєўхэш■ яєЄхь рэрышчр яюыюцшЄхы№э√ї ш юЄЁшЎрЄхы№э√ї тючфхщёЄтшщ. ▌ыхьхэЄрЁэ√ь яЁхюсЁрчютрЄхыхь т фрээ√ї ёхЄ ї  ты хЄё  шёъєёёЄтхээ√щ эхщЁюэ шыш яЁюёЄю эхщЁюэ, эрчтрээ√щ Єръ яю рэрыюушш ё сшюыюушўхёъшь яЁюЄюЄшяюь.
╩ эрёЄю ∙хьє тЁхьхэш яЁхфыюцхэю ш шчєўхэю сюы№°юх ъюышўхёЄтю ьюфхыхщ эхщЁюяюфюсэ√ї ¤ыхьхэЄют ш эхщЁюээ√ї ёхЄхщ, Ё ф шч ъюЄюЁ√ї ЁрёёьюЄЁхэ т эрёЄю ∙хщ уыртх.
1.1. ┴шюыюушўхёъшщ эхщЁюэ
═хЁтэр  ёшёЄхьр ш ьючу ўхыютхър ёюёЄю Є шч эхщЁюэют, ёюхфшэхээ√ї ьхцфє ёюсющ эхЁтэ√ьш тюыюъэрьш. ═хЁтэ√х тюыюъэр ёяюёюсэ√ яхЁхфртрЄ№ ¤ыхъЄЁшўхёъшх шьяєы№ё√ ьхцфє эхщЁюэрьш. ┬ёх яЁюЎхёё√ яхЁхфрўш ЁрчфЁрцхэшщ юЄ ъюцш, є°хщ ш уырч ъ ьючує, яЁюЎхёё√ ь√°ыхэш  ш єяЁртыхэш  фхщёЄтш ьш - тёх ¤Єю Ёхрышчю-
8
╨шё. 1.1 ┬чршьюёт ч№ сшюыюушўхёъшї эхщЁюэют
трэю т цштюь юЁурэшчьх ъръ яхЁхфрўр ¤ыхъЄЁшўхёъшї шьяєы№ёют ьхцфє эхщЁюэрьш.
═хщЁюэ (эхЁтэр  ъыхЄър)  ты хЄё  юёюсющ сшюыюушўхёъющ ъыхЄъющ, ъюЄюЁр  юсЁрсрЄ√трхЄ шэЇюЁьрЎш■ (Ёшё. 1.1). ╬э ёюёЄюшЄ шч Єхыр (cell body), шыш ёюь√ (soma), ш юЄЁюёЄъют эхЁтэ√ї тюыюъюэ фтєї Єшяют - фхэфЁшЄют (dendrites), яю ъюЄюЁ√ь яЁшэшьр■Єё  шьяєы№ё√, ш хфшэёЄтхээюую ръёюэр (axon), яю ъюЄюЁюьє эхщЁюэ ьюцхЄ яхЁхфртрЄ№ шьяєы№ё. ╥хыю эхщЁюэр тъы■ўрхЄ  фЁю (nucleus), ъюЄюЁюх ёюфхЁцшЄ шэЇюЁьрЎш■ ю эрёыхфёЄтхээ√ї ётющёЄтрї, ш яырчьє, юсырфр■∙є■ ьюыхъєы Ёэ√ьш ёЁхфёЄтрьш фы  яЁюшчтюфёЄтр эхюсїюфшь√ї эхщЁюэє ьрЄхЁшрыют. ═хщЁюэ яюыєўрхЄ ёшуэры√ (шьяєы№ё√) юЄ ръёюэют фЁєушї эхщЁюэют ўхЁхч фхэфЁшЄ√ (яЁшхьэшъш) ш яхЁхфрхЄ ёшуэры√, ёухэхЁшЁютрээ√х Єхыюь ъыхЄъш, тфюы№ ётюхую ръёюэр (яхЁхфрЄўшър), ъюЄюЁ√щ т ъюэЎх ЁрчтхЄты хЄё  эр тюыюъэр (strands). ═р юъюэўрэш ї ¤Єшї тюыюъюэ эрїюф Єё  ёяхЎшры№э√х юсЁрчютрэш  - ёшэряё√ (synapses), ъюЄюЁ√х тыш ■Є эр тхышўшэє шьяєы№ёют.
╤шэряё  ты хЄё  ¤ыхьхэЄрЁэющ ёЄЁєъЄєЁющ ш ЇєэъЎшюэры№э√ь єчыюь ьхцфє фтєь  эхщЁюэрьш (тюыюъэю ръёюэр юфэюую эхщЁюэр ш фхэфЁшЄ фЁєуюую). ╩юуфр шьяєы№ё фюёЄшурхЄ ёшэряЄшўхёъюую юъюэўрэш , т√ётюсюцфр■Єё  їшьшўхёъшх тх∙хёЄтр, эрч√трхь√х эхщЁюЄЁрэёьшЄЄхЁрьш. ═хщЁюЄЁрэёьшЄЄхЁ√ фшЇЇєэфшЁє■Є ўхЁхч ёшэряЄшўхёъє■ ∙хы№, тючсєцфр  шыш чрЄюЁьрцштр , т чртшёшьюёЄш юЄ Єшяр ёшэряёр, ёяюёюсэюёЄ№ эхщЁюэр-яЁшхьэшър ухэхЁшЁютрЄ№
9
¤ыхъЄЁшўхёъшх шьяєы№ё√ ╨хчєы№ЄрЄштэюёЄ№ яхЁхфрўш шьяєы№ёр ёшэряёюь ьюцхЄ эрёЄЁрштрЄ№ё  яЁюїюф ∙шьш ўхЁхч эхую ёшуэрырьш Єръ, ўЄю ёшэряё√ ьюуєЄ юсєўрЄ№ё  т чртшёшьюёЄш юЄ ръЄштэюёЄш яЁюЎхёёют, т ъюЄюЁ√ї юэш єўрёЄтє■Є. ▌Єр чртшёшьюёЄ№ юЄ яЁхф√ёЄюЁшш фхщёЄтєхЄ ъръ ярь Є№, ъюЄюЁр , тючьюцэю, юЄтхЄёЄтхээр чр ярь Є№ ўхыютхър. ┬рцэю юЄьхЄшЄ№, ўЄю тхёр ёшэряёют ьюуєЄ шчьхэ Є№ё  ёю тЁхьхэхь, р чэрўшЄ, ьхэ хЄё  ш яютхфхэшх ёююЄтхЄёЄтє■∙шї эхщЁюэют.
╩юЁр уюыютэюую ьючур ўхыютхър ёюфхЁцшЄ юъюыю 1011 эхщЁюэют ш яЁхфёЄрты хЄ ёюсющ яЁюЄ цхээє■ яютхЁїэюёЄ№ Єюы∙шэющ юЄ 2 фю 3 ьь ё яыю∙рф№■ юъюыю 2200 ёь2. ╩рцф√щ эхщЁюэ ёт чрэ ё 103Ч104 фЁєушьш эхщЁюэрьш. ┬ Ўхыюь ьючу ўхыютхър ёюфхЁцшЄ яЁшсышчшЄхы№эю юЄ 1014 фю 1015 тчршьюёт чхщ
═хщЁюэ√ тчршьюфхщёЄтє■Є ъюЁюЄъшьш ёхЁш ьш шьяєы№ёют яЁюфюыцшЄхы№эюёЄ№■, ъръ яЁртшыю, эхёъюы№ъю ьшыышёхъєэф. ╤ююс∙хэшх яхЁхфрхЄё  яюёЁхфёЄтюь ўрёЄюЄэю-шьяєы№ёэющ ьюфєы Ўшш. ╫рёЄюЄр ьюцхЄ шчьхэ Є№ё  юЄ эхёъюы№ъшї хфшэшЎ фю ёюЄхэ ухЁЎ, ўЄю т ьшыышюэ Ёрч ьхфыхээхх, ўхь с√ёЄЁюфхщёЄтє■∙шх яхЁхъы■ўрЄхы№э√х ¤ыхъЄЁюээ√х ёїхь√ ╥хь эх ьхэхх ёыюцэ√х чрфрўш Ёрёяючэртрэш  ўхыютхъ Ёх°рхЄ чр эхёъюы№ъю ёюЄхэ ьшыышёхъєэф. ▌Єш Ёх°хэш  ъюэЄЁюышЁє■Єё  ёхЄ№■ эхщЁюэют, ъюЄюЁ√х шьх■Є ёъюЁюёЄ№ т√яюыэхэш  юяхЁрЎшщ тёхую эхёъюы№ъю ьшыышёхъєэф. ▌Єю ючэрўрхЄ, ўЄю т√ўшёыхэш  ЄЁхсє■Є эх сюыхх 100 яюёыхфютрЄхы№э√ї ёЄрфшщ. ─Ёєушьш ёыютрьш, фы  Єръшї ёыюцэ√ї чрфрў ьючу лчряєёърхЄ╗ ярЁрыыхы№э√х яЁюуЁрьь√, ёюфхЁцр∙шх юъюыю 100 °руют ╨рёёєцфр  рэрыюушўэ√ь юсЁрчюь, ьюцэю юсэрЁєцшЄ№, ўЄю ъюышўхёЄтю шэЇюЁьрЎшш, яюё√ырхьюх юЄ юфэюую эхщЁюэр фЁєуюьє, фюыцэю с√Є№ юўхэ№ ьры√ь (эхёъюы№ъю сшЄ). ╬Єё■фр ёыхфєхЄ, ўЄю юёэютэр  шэЇюЁьрЎш  эх яхЁхфрхЄё  эхяюёЁхфёЄтхээю, р чрїтрЄ√трхЄё  ш ЁрёяЁхфхы хЄё  т ёт ч ї ьхцфє эхщЁюэрьш.
1.2. ╤ЄЁєъЄєЁр ш ётющёЄтр шёъєёёЄтхээюую эхщЁюэр
═хщЁюэ  ты хЄё  ёюёЄртэющ ўрёЄ№■ эхщЁюээющ ёхЄш. ═р Ёшё. 1 2 яюърчрэр хую ёЄЁєъЄєЁр ╬э ёюёЄюшЄ шч ¤ыхьхэЄют ЄЁхї Єшяют: єьэюцшЄхыхщ (ёшэряёют), ёєььрЄюЁр ш эхышэхщэюую яЁхюсЁрчютрЄхы . ╤шэряё√ юёє∙хёЄты ■Є ёт ч№ ьхцфє эхщЁюэрьш, єьэюцр■Є тїюфэющ ёшуэры эр ўшёыю, їрЁръЄхЁшчє■∙хх ёшыє ёт чш, (тхё ёшэряёр). ╤єььрЄюЁ т√яюыэ хЄ ёыюцхэшх ёшуэрыют, яюёЄєяр■∙шї яю ёшэряЄшўхёъшь ёт ч ь юЄ фЁєушї эхщЁюэют, ш тэх°эшї тїюфэ√ї ёшуэрыют. ═хышэхщэ√щ яЁхюсЁрчютрЄхы№ ЁхрышчєхЄ эхышэхщэє■ ЇєэъЎш■ юфэюую рЁуєьхэЄр - т√їюфр ёєььрЄюЁр. ▌Єр ЇєэъЎш  эрч√трхЄё  ЇєэъЎшхщ ръЄштрЎшш шыш яхЁхфрЄюўэющ ЇєэъЎшхщ эхщ-
10
w,
w
w
╨шё. 1.2 ╤ЄЁєъЄєЁр шёъєёёЄтхээюую эхщЁюэр
Ёюэр. ═хщЁюэ т Ўхыюь ЁхрышчєхЄ ёъры Ёэє■ ЇєэъЎш■ тхъЄюЁэюую рЁуєьхэЄр. ╠рЄхьрЄшўхёър  ьюфхы№ эхщЁюэр:
s=Xw,x, + b, (1.1)
'є = ╪ (1-2)
уфх w, - тхё (weight) ёшэряёр, /' = 1...ы; b - чэрўхэшх ёьх∙хэш  (bias), s - Ёхчєы№ЄрЄ ёєььшЁютрэш  (sum); ї, - ъюьяюэхэЄ тїюфэюую тхъЄюЁр (тїюфэющ ёшуэры), / = 1...ы; є- т√їюфэющ ёшуэры эхщЁюэр; ы - ўшёыю тїюфют эхщЁюэр; f - эхышэхщэюх яЁхюсЁрчютрэшх (ЇєэъЎш  ръЄштрЎшш).
┬ юс∙хь ёыєўрх тїюфэющ ёшуэры, тхёют√х ъю¤ЇЇшЎшхэЄ√ ш ёьх∙хэшх ьюуєЄ яЁшэшьрЄ№ фхщёЄтшЄхы№э√х чэрўхэш , р тю ьэюушї яЁръЄшўхёъшї чрфрўрї - ыш°№ эхъюЄюЁ√х ЇшъёшЁютрээ√х чэрўхэш . ┬√їюф (є) юяЁхфхы хЄё  тшфюь ЇєэъЎшш ръЄштрЎшш ш ьюцхЄ с√Є№ ъръ фхщёЄтшЄхы№э√ь, Єръ ш Ўхы√ь.
╤шэряЄшўхёъшх ёт чш ё яюыюцшЄхы№э√ьш тхёрьш эрч√тр■Є тючсєцфр■∙шьш, ё юЄЁшЎрЄхы№э√ьш тхёрьш - ЄюЁьюч ∙шьш.
╬яшёрээ√щ т√ўшёышЄхы№э√щ ¤ыхьхэЄ ьюцэю ёўшЄрЄ№ єяЁю∙хээющ ьрЄхьрЄшўхёъющ ьюфхы№■ сшюыюушўхёъшї эхщЁюэют. ╫Єюс√ яюфўхЁъэєЄ№ Ёрчышўшх эхщЁюэют сшюыюушўхёъшї ш шёъєёёЄтхээ√ї, тЄюЁ√х шэюуфр эрч√тр■Є эхщЁюэюяюфюсэ√ьш ¤ыхьхэЄрьш шыш ЇюЁьры№э√ьш эхщЁюэрьш.
═р тїюфэющ ёшуэры (s) эхышэхщэ√щ яЁхюсЁрчютрЄхы№ юЄтхўрхЄ т√їюфэ√ь ёшуэрыюь f{s), ъюЄюЁ√щ яЁхфёЄрты хЄ ёюсющ т√їюф є
11
эхщЁюэр ╧ЁшьхЁ√ ръЄштрЎшюээ√ї ЇєэъЎшщ яЁхфёЄртыхэ√ т Єрсы 1 1 ш эр Ёшё 1 3
╘єэъЎшш ръЄштрЎшш эхщЁюэют
╥рсышЎр 1 1
═рчтрэшх
╘юЁьєыр
╬сырёЄ№ чэрўхэшщ
╦шэхщэр