์ธ๊ณต์ง๋ฅ, ๋จธ์ ๋ฌ๋, ๋ฅ๋ฌ๋์ ๊ด๊ณ
์ธ๊ณต์ง๋ฅ์ ๊ตฌํํ๊ธฐ ์ํ ๋ฐฉ๋ฒ ์ค ํ๋๊ฐ ๋ฅ๋ฌ๋!
๋ฅ๋ฌ๋์ด๋
๋จธ์ ๋ฌ๋์ ์ฌ๋ฌ ๋ฐฉ๋ฒ๋ก ์ค ํ๋๋ก,
์ธ๊ณต ์ ๊ฒฝ๋ง์ ๊ธฐ๋ฐํ์ฌ ์ปดํจํฐ์๊ฒ ์ฌ๋์ ์ฌ๊ณ ๋ฐฉ์์ ๊ฐ๋ฅด์น๋ ๋ฐฉ๋ฒ์ด๋ค.
์ธ๊ณต์ ๊ฒฝ๋ง์ด๋,
์๋ฌผํ์ ์ ๊ฒฝ๋ง์์ ์๊ฐ์ ์ป์ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ผ๋ก, ์ฌ๋์ ์ ๊ฒฝ ์์คํ ์ ๋ชจ๋ฐฉํ ๊ฒ์ด๋ค.
๋ฅ๋ฌ๋์ ๋ฐ์ ๊ณผ์
1958๋ ์ Perceptron์ด ์ฒ์ ์ ์๋์๋ค.
๋ฅ๋ฌ๋์ 2012๋ ์ ์ด๋ฏธ์ง๋ท์ด๋ผ๋ Chanllenge๋ฅผ ํตํด์ ์ฃผ๋ชฉ๋ฐ๊ธฐ ์์ํ์๋ค.
2012๋ ๋์ ์ด๋ฏธ์ง๋ท์์ GPU๋ฅผ ์ฌ์ฉํ ๋ฅ๋ฌ๋ ๋ชจ๋ธ AlexNet์ด ์ถ์๋์๋ค.
์ด AlexNet์ ๊ธฐ์กด์ ์๋ ์ด๋ฏธ์ง๋ท์ ์ ํ๋๋ฅผ ํ ์๊ฐ์ ๋์ด์ฌ๋ฆฌ๊ณ , ์ด ์ฌ๊ฑด์ ๊ธฐ๋ฐ์ผ๋ก ๋ฅ๋ฌ๋์ด ๋ค์ ์ฃผ๋ชฉ์ ๋ฐ๊ธฐ ์์ํ์๋ค.
๋ํ ์ง๊ธ๊น์ง ๋ง์ ์ฐ๊ตฌ๊ฐ ์งํ๋๊ณ ์๋ค.
ํ๋์ ๋ค์ํ ๋ฅ๋ฌ๋ ๊ธฐ์ ์์ฉ ์ฌ๋ก
ํผ์ ํธ๋ก (Perceptron)
์ ๊ฒฝ๋ง ์ด์ ์ ์ฐ๊ตฌ
์ผ๊ตด ์ธ์
- ๋ฅ๋ฌ๋ ์ด์ ์๋, ์ผ๊ตด ์ธ์ ์ ๋ฐ์ค๋ฅผ ๊ทธ๋ฆฌ๋ ์์ ๋ฐฉ๋ฒ์ผ๋ก ์ผ๊ตด์ ์ธ์ํ์๋ค.
- ๋ฐ์ค๋ฅผ ํตํด์ ์ด๋ง, ๋, ์ฝ, ์ ์ ์ธ์ํจ์ผ๋ก์จ ์ผ๊ตด์์ ํ๋ณํ์๋ค.
์ซ์ ๋ฐ ๋ฌธ์ ์ธ์
- ๊ธฐ์กด์๋ 9๋ผ๋ ์ซ์๋ฅผ ์ธ์ํ๊ณ ์ถ์๋, ์ฐ์ธก์ |์ด ์๊ณ , ์ข์ธก์ o๊ฐ ์์์ ๊ธฐ์ค์ผ๋ก
์ผ์ข ์ ๊ท์น์ ์ ํ๋ค์์ ๊ทธ ๊ท์น์ ๋ถํฉํ๋์ง ์ฌ๋ถ๋ก ์ซ์๋ฅผ ํ๋ณํ์๋ค.
์ฆ, ์ฌ๋์ด ์ง์ ํจํด์ ํ์ ํ๊ณ ๋ฐ์ดํฐ์ ํน์ฑ์ ๋ชจ๋ธ์ ์ ๋ ฅํด์ค์ผ ํ๋ค.
ํ์ง๋ง ์ธ๊ณต์ง๋ฅ์ ์ ๊ฒฝ๋ง์ ํจํด์ ๋ฐ๋ก ์ ๋ ฅํด ์ฃผ์ง ์๊ณ ์ค์ค๋ก ํจํด์ ํ์ ํ๋ค.
1985๋ ์ด๊ธฐ ์ ๊ฒฝ๋ง ํผ์ ํธ๋ก ์ ๋ฑ์ฅ
ํผ์ผํธ๋ก ์ ๋ฅ๋ฌ๋์ ๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ธ ๋จ์๋ผ๊ณ ๋ณผ ์ ์๋ค.
์ด ๊ฐ์ฅ ๊ธฐ๋ณธ์ ์ธ ๋จ์๋ง์ผ๋ก ๋ถ๋ฅ๋ ํ๊ท๊ฐ ๊ฐ๋ฅํ๋ค.
์ด๊ธฐ ํํ์ ์ ๊ฒฝ๋ง, ํผ์ ํธ๋ก
์ฌ๋์ ์ ๊ฒฝ์ธํฌ์๋ Inputs๊ณผ Outputs์ด ์๋ค.
Input์๋ ๋ค๋ฅธ ์ ๊ฒฝ ์ธํฌ๋ก ๋ถํฐ ์ ํธ๊ฐ ๋ค์ด์จ๋ค.
์ด ์ ํธ๊ฐ ๋ค์ด์ค๋ ๊ณณ์๋ x1๋ถํฐ xn๊น์ง n๊ฐ์ ์ ํธ๊ฐ ๋ค์ด์ ํ๋๋ก ํฉ์ณ์ง๋ค.
์ดํ ๋ค์ Outputs์ผ๋ก ์ ๋ฌ์ด ๋์ด n๊ฐ์ ์ ํธ๋ก ๋ค์ ์ ๋ฌ์ด ๋๋ค.
์ด๋ฌํ ์ฌ๋์ ์ ๊ฒฝ์ธํฌ๋ฅผ ๋ณธ๋ฐ ๋ง๋ ๊ฒ์ด ํผ์ ํธ๋ก ์ด๋ค.
ํผ์ ํธ๋ก ์ ์ฐ์ธก์๋ inputs์ด ์๊ณ ,
์ค๊ฐ ๋ถ๋ถ์๋ inputs๋ค์ด ํฉ์ณ์ง๋ ๋ถ๋ถ์ด ์์ผ๋ฉฐ,
๋ง์ง๋ง์๋ output์ด ์๋ค.
ํผ์ ํธ๋ก ์ ๊ธฐ๋ณธ ๊ตฌ์กฐ
ํผ์ ํธ๋ก ์ ์ฌ๋ฌ๊ฐ์ ์ ๋ ฅ์ ๋ฐ์ ์ด์ง๋ถ๋ฅํ๋ ๊ตฌ์กฐ์ด๋ค.
์ฐ์ธก ์ ๋ ฅ ๋ถ๋ถ์๋ n๊ฐ์ ๋ณ์๊ฐ ๋ค์ด์จ๋ค.
์์ ์๋ ๋ ๊ฐ์ ์ ๋ ฅ์ด ์๋ค.
x1, x2 ๋ ๊ฐ์ ์ ํธ์ ๋ํ ๊ฐ์ค์น w1, w2๊ฐ ์์ฑ๋๋ค.
๊ฐ์ค์น๋ ๋ค์ด์ค๋ ์ ํธ๋ฅผ ์ผ๋งํผ ์ฆํญ์์ผ์ค์ง๋ฅผ ๊ฒฐ์ ํ๋ค.
w0๋ Bias๋ก, ์ ๋ ฅ ํ๋ ๊ฐ์ ์๊ด์์ด ๋ฌด์กฐ๊ฑด ์ ๋ ฅ๋๋ ๊ฐ์ด๋ค. (x์ ์ด๋ ํ ์๊ฐ ๋ค์ด์ค๋ , ๋ฌด์กฐ๊ฑด ๋ค์ด์ค๋ ๊ฐ.)
์ด๋ฌํ w0, w1x1, w2x2๊ฐ ๋ํด์ง ๊ฒ์ด ์ค๊ฐ Summatino๋ถ๋ถ.
๋ง์ง๋ง์ผ๋ก ํ์ฑํ ํจ์๋ฅผ ๊ฑฐ์ณ์ผ ์ต์ข y๊ฐ์ ์ป์ ์ ์๋ค.
ํ์ฑํ ํจ์
๋ค์ด์ค๋ x๊ฐ 0๋ณด๋ค ํฌ๊ฑฐ๋ ๊ฐ์ผ๋ฉด 1๋ก ๋ง๋ค๊ณ ,
0๋ณด๋ค ์์ผ๋ฉด 0์ด ๋์จ๋ค.
ํผ์ ํธ๋ก ๋์ ์์
x1์ ๋ํ ์ ๋ ฅ์ด 1, x2์ ๋ํ ์ ๋ ฅ์ด 0์ด๊ณ w1์ 2, w2๋ 1, w0์ -0.5์ผ ๋
activatino output์ 1์ด ๋๋ค.
์ค๋ ๋์จ ์ ์ ๋๋ผ๋ง์์ ํ๋ณดํ ์ฌ๊ฐ ์๊ฐ์ ๊ธฐ์ค์ผ๋ก, ํ์ต ์ฌ๋ถ๋ฅผ ์์ธกํด๋ณด์.
w0 : ์์ง
w1 : ์ ์ ๋๋ผ๋ง์ ์ํฅ
w2 : ์ฌ๊ฐ์๊ฐ ํ์ต
์ ์์ด 7๊ฐ ๋์ค๊ณ , ์ฌ๊ฐ ์๊ฐ์ด 1๋งํผ ์์ ๋๋
-5 + (-7) + 5 = -7์ด๊ณ ์๊ทธ๋ชจ์ด๋ ํจ์์ ์ํด 0์ด ์ถ๋ ฅ๋๋ค.
์ฆ, ํ์ต์ ์ ํ์ ๊ฒ์ด๋ผ๊ณ ์์ธกํ ๊ฒ์ด๋ค.
์ง์ ์๋ 1์ด ๋์ค๊ณ , ์๋๋ 0์ด ๋์จ๋ค.
์ฆ 0๊ณผ 1์ด ๋์ค๋ ๊ตฌ๊ฐ์ ๊ตฌ๋ถ์ง๋๊ฒ์ด ๋ฐ๋ก ์ง์ ์ด๊ณ ,
์ด ์ง์ ์ ์ ๊ตฌํ๋ ๊ฒ์ด ํผ์ ํธ๋ก ์ ์ผ๋ง๋ ์ ๊ตฌํํ๋๋ฅผ ์๋ฏธ.
ํผ์ ํธ๋ก ์ ํ์ฉํ ์ ํ ๋ถ๋ฅ๊ธฐ
ํผ์ผํธ๋ก ์ ์ ํ ๋ถ๋ฅ๊ธฐ๋ก์จ, ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฅํ ์ ์๋ค.
์ ์ ํตํด์ ๋ถ๋ฅํด์ ์ ํ ๋ถ๋ฅ๊ธฐ๋ผ๊ณ ๋ถ๋ฅธ๋ค.
ํด๋น ์ด๋ฏธ์ง ์ฒ๋ผ ๊ฐ์์ง์ ๊ณ ์์ด๋ฅผ ์ ์ผ๋ก ๋ถ๋ฅํ ์ ์๋ค.
ํ์ง๋ง, ์ด์ ๊ฐ์ด ํ๋์ ์ ๋ง์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฅํ ์ ์๋ ๊ฒฝ์ฐ๊ฐ ์๋ค.
'์ธ๊ณต์ง๋ฅ ๐ > ๋ฅ๋ฌ๋' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
HRnet, COCOapi ์๋์ฐ (0) | 2023.10.13 |
---|---|
๋ฐฐ์น์ฌ์ด์ฆ(Batch size)์ ์ํญ(Epoch) (0) | 2023.04.13 |
๋ฅ๋ฌ๋ ๋ชจ๋ธ์ ํ์ต ๋ฐฉ๋ฒ (2) | 2022.11.30 |
๋ค์ธต ํผ์ ํธ๋ก (0) | 2022.11.30 |