신경망

1. 신경망(Neural Network)

• 머신러닝 알고리즘 중 하나
• 인간의 외기능을 흉내 내려고 만들어진 기술
• 입력층, 은닉층, 출력층으로 나뉘어져 있음
• 층을 점점 늘려서 싶게 만든 신경망을 심층 신경망(Deep NEural Network)이리고 부름
• 깊은 층을 가진 신경망의 자궁치를 학습시키는 것을 딥러닝 또는 심층학습이라고 함

1-2. 신경망으로 할 수 있는 것

• 회귀
• 분류
• 클러스터링
• 이미지 생성(영상, 동영상)
• 자연어 처리

 

---

2. 신경망의 진화

• 1950년대 퍼셉트론에 대한 아이디어가 나옴
• 1980년대 오차역전파법으로 신경망 학습을 개발 -> 데이터 부족으로 개발에 진전이 없음
• 2000년대 인터넷이 보급된 후 많은 데이터를 얻을 수 있게 되면서 다시 주목받게 됨
• 2012년
  • CNN중 Alex net이라는 네트워크 구조
  • Alex net이 이미지 분류 대회에서 1등을 차지 -> CNN이 유명해지게 됨
• 2013년
  • 아타리 게임 중 '벽돌깨기'에 AI 적용 -> 학습을 많이 진행 -> 구석을 파서 동을 위로 올리는 방법을 스스로 깨달음
  • 딥마인드 -> 구글에 인수 -> 알파고
• 2014년
  • RNN이라는 네트워크를 사용하여 중국어 -> 영어로 번역
  • 성능의 한계가 생김
  • attention 모델의 출현으로 성능이 급격히 좋아짐
• 2015년
  • GAN이라는 네트워크를 통해 모바마 합성영상
  • ResNet(Residual Networks) : CNN의 종류 중 하나. 사람과 AI가 이미지를 구별하는데 테스트를 함
    • 사람의 오차율 : 5%
    • ResNet의 오차율 : 3%
• 2016년
  • 알파고와 이세돌 9단의 바둑대회
  • 컴퓨터를 이긴 마지막 인류
• 2017년
  • RNN의 단점을 극복한 attention만으로 만든 모델 -> Transformer(번역 모델)
    • 자연어를 거의 정복
    • Transformer는 딥러닝(자연어) 에서 가장 중요한 모델 하나
• 2018년
  • Transformer에서 인코더만 따온 모델 -> BERT
  • 자연어를 정답없이 사용(인터넷 문장들의 데이터를 삽입)
  • 일부 글자를 가리고 가린 부분을 맞출 수 있도록 학습
  • 모델을 크게 만들고, 엄청난 데이터를 사용
• 2019년 ~
  • GPU 수천대를 사용하여 큰 모델을 만들고 학습
  • 정답이 필요없이 실제 데이터만드로 셀프 수퍼바이즈러닝

---

퍼셉트론

• 인공 신경망 모형의 하나
• 다수의 신호(input)을 입력받아서 하나의 신호(output)울 출력
• 뉴런의 수상돌기나 축색돌기처럼 신호를 전달하는 역할을 퍼셉트론에서는 weight(가중치)가 그 역할을 함
• weightL 가각의 입력신호에 부여되어 입력신호와의 계산을 하고 신호의 촐합이 정해진 임계값(세타)을 넘었을 때 1을 출력

---

3. 딥러닝의 키포인트

• 데이터(양질, 많은 양)
• 모델(CNN, RNN, Transform ..)
• 알고리즘(Gradient Descent를 기초로 많은 알고리즘이 만들어짐)
• Loss Function, Cost Function : 모델의 성능이 얼마나 좋은지 척도