NLP 5주차

GPT의 언어 모델 특징

• GPT는 확률적 시스템으로, 같은 프롬프트에 대한 다양한 답변을 생성할 수 있다.
• 특정 프롬프트로 작은 시를 작성할 수 있으며, 이를 통해 AI의 중요성을 강조할 수 있다.
• 사용자가 제시한 프롬프트에 따라 순차적으로 단어를 생성한다.
• 여러 예시들이 존재하며, 많은 사용자들이 재미있는 프롬프트를 만들어 냈다.
• GPT는 언어모델로, 주어진 입력의 시퀀스를 완성하는 방식으로 작동한다.

Chat GPT와 같은 기능을 갖춘, 트랜스포머 기반의 언어 모델을 훈련하는 것에 초점

• “Attention is All You Need” 논문에서 소개된 트랜스포머 아키텍처가 Chat GPT의 주요 구성 요소이다.
• Chat GPT는 트랜스포머 기반으로, 실질적인 작업을 처리하는데 사용된다.
• 트랜스포머 아키텍처는 기계 번역을 위해 제안된 것이지만, 이후 다양한 인공지능 분야에도 활용되었다.
• 이 때문에 Chat GPT에도 트랜스포머 아키텍처가 복사되어 사용되었다.
• 하지만 이번 프로젝트에서는 Chat GPT와 같은 규모의 영향력을 재생산하기 어려우므로, 트랜스포머 기반 언어 모델을 캐릭터 수준으로 훈련할 예정이다.