์ธ๊ณต์ง€๋Šฅ ๐ŸŒŒ/๋”ฅ๋Ÿฌ๋‹ 5

๋ฐฐ์น˜์‚ฌ์ด์ฆˆ(Batch size)์™€ ์—ํญ(Epoch)

๋ฐฐ์น˜์‚ฌ์ด์ฆˆ(Batch size) ๋ฐฐ์น˜์‚ฌ์ด์ฆˆ๋ž€, ํ•œ ๋ฒˆ์— ๋ชจ๋ธ์ด ํ•™์Šตํ•˜๋Š” ๋ฐ์ดํ„ฐ ์ƒ˜ํ”Œ์˜ ๊ฐœ์ˆ˜๋ฅผ ์˜๋ฏธํ•ฉ๋‹ˆ๋‹ค. ํ•™์Šต ๋ฐ์ดํ„ฐ์…‹์ด ๋งค์šฐ ํด ๊ฒฝ์šฐ, ์ „์ฒด ๋ฐ์ดํ„ฐ์…‹์„ ํ•œ ๋ฒˆ์— ๋ชจ๋ธ์— ๋„ฃ์–ด ํ•™์Šตํ•˜๋Š” ๊ฒƒ์€ ๋ฉ”๋ชจ๋ฆฌ์™€ ๊ฒŒ์‚ฐ์ ์ธ ์ธก๋ฉด์—์„œ ๋ถˆ๊ฐ€๋Šฅํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋Ÿฌํ•œ ๊ฒฝ์šฐ, ๋ฐ์ดํ„ฐ์…‹์„ ์ž‘์€ ๋‹จ์œ„๋กœ ๋‚˜๋ˆ„์–ด ๋ชจ๋ธ์— ์ž…๋ ฅํ•˜๊ฒŒ ๋˜๋Š”๋ฐ, ์ด๋•Œ ๋‹จ์œ„๋ฅผ ๋ฐฐ์น˜๋ผ๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด, 1000๊ฐœ์˜ ํ•™์Šต ๋ฐ์ดํ„ฐ๊ฐ€ ์žˆ๋‹ค๊ณ  ํ•ฉ์‹œ๋‹ค. ๋ฐฐ์น˜ ์‚ฌ์ด์ฆˆ๊ฐ€ 100์ด๋ผ๋ฉด ์ „์ฒด ๋ฐ์ดํ„ฐ์…‹์„ 10๊ฐœ์˜ ๋ฐฐ์น˜๋กœ ๋‚˜๋ˆ„์–ด ๋ชจ๋ธ์— ์ž…๋ ฅํ•˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ๊ฐ ๋ฐฐ์น˜๋Š” 100๊ฐœ์˜ ๋ฐ์ดํ„ฐ ์ƒ˜ํ”Œ์„ ํฌํ•จํ•˜๋ฏ€๋กœ, ๋ชจ๋ธ์€ 100๊ฐœ์˜ ๋ฐ์ดํ„ฐ ์ƒ˜ํ”Œ์„ ์ฒ˜๋ฆฌํ•œ ํ›„์— ๊ฐ€์ค‘์น˜๋ฅผ ์—…๋ฐ์ดํŠธ ํ•ฉ๋‹ˆ๋‹ค. ์ธ๊ณต์ง€๋Šฅ ๋ชจ๋ธ์€ ๊ฐ ๋ฐฐ์น˜์‚ฌ์ด์ฆˆ๋งˆ๋‹ค ๊ฐ€์ค‘์น˜์™€ ํŽธํ–ฅ์„ ์—…๋ฐ์ดํŠธ ํ•ฉ๋‹ˆ๋‹ค. ์—ํญ(Epoch) ์—ํญ(Epoch)๋ž€,..

๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์˜ ํ•™์Šต ๋ฐฉ๋ฒ•

๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์ด๋ž€ ๋‹ค์ˆ˜์˜ ํžˆ๋“ ์ธต์ด ์žˆ๋Š” ๋ชจ๋ธ์„ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์ด๋ผ๊ณ  ํ•œ๋‹ค. ํžˆ๋“ ์ธต์ด ๋งŽ์•„์ง€๋ฉด ๊นŠ์€ ์‹ ๊ฒฝ๋ง์ด๋ผ๋Š” ์˜๋ฏธ๋กœ Deep Learning์ด๋ผ๋Š” ๋‹จ์–ด๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค. ๋™๊ทธ๋ผ๋ฏธ๋ฅผ Node(Unit)์ด๋ผ๊ณ  ๋ถ€๋ฅธ๋‹ค. ์—ฌ๊ธฐ์„œ ์ธต์€ ๋ชจ๋ธ์„ ๊ตฌ์„ฑํ•˜๋Š” ์ธต์„ ์˜๋ฏธํ•œ๋‹ค. ๊ฐ€์ค‘์น˜๋Š” ๋…ธ๋“œ๊ฐ„์˜ ์—ฐ๊ฒฐ๊ฐ•๋„๋ฅผ ๋œปํ•œ๋‹ค. ๊ฐ€์ค‘์น˜์—๋Š” ํŠน์ • ์ˆซ์ž๊ฐ€ ๋ฐฐ์ •๋˜์–ด ์žˆ๋‹ค. ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์˜ ํ•™์Šต ๋ฐฉ๋ฒ• ์˜ˆ์ธก๊ฐ’๊ณผ ์‹ค์ œ๊ฐ’ ๊ฐ„์˜ ์˜ค์ฐจ๊ฐ’์„ ์ตœ์†Œํ™”ํ•˜๊ธฐ ์œ„ํ•ด ์˜ค์ฐจ๊ฐ’์„ ์ตœ์†Œํ™”ํ•˜๋Š” ๋ชจ๋ธ์˜ ์ธ์ž๋ฅผ ์ฐพ๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์ ์šฉํ•œ๋‹ค. Loss function์„ ์ตœ์†Œํ™”ํ•˜๋Š” ๊ฐ€์ค‘์น˜๋ฅผ ์ฐพ๊ธฐ ์œ„ํ•ด ์ตœ์ ํ™” ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ์ ์šฉํ•œ๋‹ค. ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์ด ์˜ˆ์ธก๊ฐ’์„ ๊ตฌํ•˜๋Š” ๋ฐฉ์‹ - ์ˆœ์ „ํŒŒ ์ˆœ์ „ํŒŒ(Forward propagation)๋Š” ์ž…๋ ฅ ๊ฐ’์„ ๋ฐ”ํƒ•์œผ๋กœ ์ถœ๋ ฅ ๊ฐ’์„ ๊ณ„์‚ฐํ•˜๋Š” ๊ณผ์ •์„ ์˜๋ฏธํ•œ๋‹ค. ์ˆœ์ „ํŒŒ ์˜ˆ์‹œ ์ด๋•Œ..

๋‹ค์ธต ํผ์…‰ํŠธ๋ก 

1986๋…„ ์ฒซ ๋ฒˆ์งธ ๋น™ํ•˜๊ธฐ์˜ ๋ ๋‹จ์ธต ํผ์…‰ํŠธ๋ก ์œผ๋กœ ์ธํ•ด ๋”ฅ๋Ÿฌ๋‹์—๋Š” ๋น™ํ•˜๊ธฐ๊ฐ€ ์™”์—ˆ๋Š”๋ฐ, 80๋…„๋Œ€ ๋‹ค์ธต ํผ์…‰ํŠธ๋ก ์˜ ๋“ฑ์žฅ์œผ๋กœ ๋”ฅ๋Ÿฌ๋‹์˜ ๊ฐ€์žฅ ๊ธฐ๋ณธ์ ์ธ ์ด๋ก ๋“ค์ด ๋ฐœ์ „ํ•˜๊ธฐ ์‹œ์ž‘ํ–ˆ๋‹ค. ๋น„ ์„ ํ˜•์ ์ธ ๋ฌธ์ œ ํ•ด๊ฒฐ ์„ ํ˜•์ ์ด๋‹ค : ์„  ํ•˜๋‚˜๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„๋ฆฌ ๊ฐ€๋Šฅ ๋น„ ์„ ํ˜•์  : ์„  ์œผ๋กœ๋งŒ ๋ฐ์ดํ„ฐ ๋ถ„๋ฆฌ ๋ถˆ๊ฐ€๋Šฅ ๋‹จ์ธต ํผ์…‰ํŠธ๋ก ์€ ํผ์…‰ํŠธ๋ก ์ด ํ•˜๋‚˜๋งŒ ์žˆ๋Š” ๊ฒฝ์šฐ์ด๋‹ค. ๋‹ค์ธต ํผ์…‰ํŠธ๋ก  ๋‹จ์ธต ํผ์…‰ํŠธ๋ก ์„ ์—ฌ๋Ÿฌ๊ฐœ ์Œ“์€ ๊ฒƒ์„ ๋‹ค์ธต ํผ์…‰ํŠธ๋ก ์ด๋ผ๊ณ  ๋ถ€๋ฅธ๋‹ค. MLP๋ผ๊ณ ๋„ ๋ถ€๋ฅธ๋‹ค. ๊ฐ•์•„์ง€์™€ ๊ณ ์–‘์ด๋ฅผ ์„  ํ•˜๋‚˜๋กœ๋งŒ ๋ถ„๋ฅ˜ํ•  ์ˆ˜ ์—†๊ธฐ์— ์—ฌ๋Ÿฌ๊ฐœ์˜ ํผ์…‰ํŠธ๋ก  ๊ฒฐ๊ณผ๋ฅผ ์กฐํ•ฉํ•˜์—ฌ ๋ถ„๋ฅ˜ํ•œ๋‹ค. ํžˆ๋“ ์ธต ์ž…๋ ฅ์ธต๊ณผ ์ถœ๋ ฅ์ธต ์‚ฌ์ด์˜ ๋ชจ๋“  Layer๋ฅผ ํžˆ๋“ ์ธต์ด๋ผ๊ณ  ๋ถ€๋ฅธ๋‹ค. ํžˆ๋“ ์ธต์˜ ๊ฐœ์ˆ˜์™€ ๋”ฅ๋Ÿฌ๋‹ ํžˆ๋“ ์ธต์ด ๋งŽ์•„์งˆ์ˆ˜๋ก, ๊นŠ์€ ์‹ ๊ฒฝ๋ง์ด ๋˜์„œ Deep Learning์ด๋ผ๋Š” ๋‹จ์–ด๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค.

ํผ์…‰ํŠธ๋ก ์ด๋ž€

์ธ๊ณต์ง€๋Šฅ, ๋จธ์‹ ๋Ÿฌ๋‹, ๋”ฅ๋Ÿฌ๋‹์˜ ๊ด€๊ณ„ ์ธ๊ณต์ง€๋Šฅ์„ ๊ตฌํ˜„ํ•˜๊ธฐ ์œ„ํ•œ ๋ฐฉ๋ฒ• ์ค‘ ํ•˜๋‚˜๊ฐ€ ๋”ฅ๋Ÿฌ๋‹! ๋”ฅ๋Ÿฌ๋‹์ด๋ž€ ๋จธ์‹ ๋Ÿฌ๋‹์˜ ์—ฌ๋Ÿฌ ๋ฐฉ๋ฒ•๋ก  ์ค‘ ํ•˜๋‚˜๋กœ, ์ธ๊ณต ์‹ ๊ฒฝ๋งŒ์— ๊ธฐ๋ฐ˜ํ•˜์—ฌ ์ปดํ“จํ„ฐ์—๊ฒŒ ์‚ฌ๋žŒ์˜ ์‚ฌ๊ณ ๋ฐฉ์‹์„ ๊ฐ€๋ฅด์น˜๋Š” ๋ฐฉ๋ฒ•์ด๋‹ค. ์ธ๊ณต์‹ ๊ฒฝ๋ง์ด๋ž€, ์ƒ๋ฌผํ•™์˜ ์‹ ๊ฒฝ๋ง์—์„œ ์˜๊ฐ์„ ์–ป์€ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์œผ๋กœ, ์‚ฌ๋žŒ์˜ ์‹ ๊ฒฝ ์‹œ์Šคํ…œ์„ ๋ชจ๋ฐฉํ•œ ๊ฒƒ์ด๋‹ค. ๋”ฅ๋Ÿฌ๋‹์˜ ๋ฐœ์ „ ๊ณผ์ • 1958๋…„์— Perceptron์ด ์ฒ˜์Œ ์ œ์•ˆ๋˜์—ˆ๋‹ค. ๋”ฅ๋Ÿฌ๋‹์€ 2012๋…„์— ์ด๋ฏธ์ง€๋„ท์ด๋ผ๋Š” Chanllenge๋ฅผ ํ†ตํ•ด์„œ ์ฃผ๋ชฉ๋ฐ›๊ธฐ ์‹œ์ž‘ํ•˜์˜€๋‹ค. 2012๋…„๋„์— ์ด๋ฏธ์ง€๋„ท์—์„œ GPU๋ฅผ ์‚ฌ์šฉํ•œ ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ AlexNet์ด ์ถœ์‹œ๋˜์—ˆ๋‹ค. ์ด AlexNet์€ ๊ธฐ์กด์— ์žˆ๋˜ ์ด๋ฏธ์ง€๋„ท์˜ ์ •ํ™•๋„๋ฅผ ํ•œ ์ˆœ๊ฐ€์— ๋Œ์–ด์˜ฌ๋ฆฌ๊ณ , ์ด ์‚ฌ๊ฑด์„ ๊ธฐ๋ฐ˜์œผ๋กœ ๋”ฅ๋Ÿฌ๋‹์ด ๋‹ค์‹œ ์ฃผ๋ชฉ์„ ๋ฐ›๊ธฐ ์‹œ์ž‘ํ•˜์˜€๋‹ค. ๋˜ํ•œ ์ง€๊ธˆ๊นŒ์ง€ ๋งŽ์€ ์—ฐ๊ตฌ๊ฐ€ ..

๋ฐ˜์‘ํ˜•