자연어란 무엇일까?
- 우리가 일상 생활에서 사용하는 언어를 말합니다.
자연어 처리란?
- 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일들을 말합니다.
핵심질문
1. 어떻게 인간의 언어를 이해하는 것이 가능할까?
2. 어떻게 기계를 학습시킬 수 있을까?
3. 과연 기계는 생각할 수 있을까?
핵심질문들에 대한 대답을 찾기 위해 지금까지 AI는 연구되고 있다.
인공지능 발전의 중요한 이정표가 된 논문 세 편
1. Computing Machinery and Intelligence - Alan Turing
- 핵심 질문 : 기계가 생각할 수 있는가?
이미테이션 게임 (Imitation Game)
- 이미테이션 게임을 기계가 지능적인지 판별하기 위한 테스트를 말합니다.
게임 방식
1. 심판 A는 두 명의 참가자 B, C와 대화를 나눕니다.
2. 한 명(B)은 인간, 다른 한 명(C)은 기계(컴퓨터)로 합니다.
3. 심판(A)가 질문을 통해 둥 중 누가 인간인지 판단해야 합니다.
4. 만약 기계가 인간처럼 답변을 하여 심판이 구별하지 못한다면, 기계는 "지능적"이라고 표현할 수 있습니다.
결론적으로 이 논문을 통해서, 기계는 인간처럼 지능적인 행동을 할 수 있음을 증명했다고 할 수 있다.
2. The Perceptron : A Probabilistic Model for Information Storage and Organization in the Brain - Frank Rosenblatt
- 핵심 개념 : 퍼셉트론 (Perceptron)
퍼셉트론은 인간의 뇌 속 뉴런을 수학적으로 모델링 한 것을 말합니다. 구성은 다음과 같습니다.
입력 (Input Layer)
가중치 (Weights)
총합 (Summation)
활성화 함수 (Activation Function)
퍼셉트론을 그림으로 보면 ?
단일 퍼셉트론으로는 "이진 분류" 문제를 해결할 수 있습니다.
해당 논문을 통해 최초의 신경망 개념을 제시해, 추 후 다중 퍼셉트론으로 지금의 딥러닝이 나올 수 있었음.
3. Learning Representations by Back-Propagation Errors
- 핵심 개념 : 역전파 알고리즘 (Backpropagation)
신경망을 학습하는데, 여러 문제점이 있었는데, 가중치 손실이란 문제 컴퓨터는 수를 표현할 때 소수를 표현하는데 한계가 있기 때문에 이를 보완할 알고리즘이 필요했음. 그게 역전파 알고리즘
- 역전파 동작 원리
1. 순전파 계산 (Forward Propagation)
2. 오차 계산 (Error Calculation)
3. 오차 역전파 (BackPropagation) * 미분의 Chain Rule
4. 가중치 업데이트 (Weight Update)
해당 논문을 통해서 다중 퍼셉트론이 학습될 수 있는 환경을 마련해줌.
이어서 구글에서 제시한 5 단계 AGI, Artificial General Intelligence
1. Emergent AGI : ChatGPT와 같이 특정 작업에서 인간 수준의 성능을 보이는 AI
2. Competent AGI : 다양한 작업에서 숙련된 인간 수준의 성능을 보이는 AI
3. Expert AGI : 고도의 전문 지식과 기술을 요구하는 작업에서 인간 전문가 수준의 성능을 보이는 AI
4. Virtuoso AGI : 특정 영역에서 거의 모든 인간을 능가하는 성능을 보이는 AI
5. Superhuman AGI or ASI(Artificial SuperIntelligence) : 모든 영역에서 인간을 초월하는 성능을 보이는 AI
NLP : 트랜스포머
2015년 어텐션 메커니즘이 소개됨
2017년 트랜스포머 모델이 소개됨 (핵심 아이디어가 어텐션 메커니즘이다)
트랜스포머 모델에서
-> BERT
-> GPT
사전 훈련된 모델의 등장으로 이어졌다.
'인공지능 > 인공지능 개발' 카테고리의 다른 글
| GPT란? , Generative Pre-trained Transformers (0) | 2025.03.02 |
|---|---|
| LLM 개발 목표 및 일정 (0) | 2025.03.02 |