GPT의 언어 모델 특징 GPT는 확률적 시스템으로, 같은 프롬프트에 대한 다양한 답변을 생성할 수 있다. 특정 프롬프트로 작은 시를 작성할 수 있으며, 이를 통해 AI의 중요성을 강조할 수 있다. 사용자가 제시한 프롬프트에 따라 순차적으로 단어를 생성한다. 여러 예시들이 존재하며, 많은 사용자들이 재미있는 프롬프트를 만들어 냈다. ...

GPT란 무엇인가? GPT는 Generative Pre-trained Transformer의 약자이다. GPT는 텍스트를 생성하는 로봇과 같은 역할을 수행한다. 사전 학습은 모델이 방대한 데이터에 대해 학습한 과정을 의미한다. 이렇게 사전 학습된 모델은 추가적인 학습을 통해 특정 작업...

다층퍼셉트론 이전에는 빅그램 모델을 사용해 한 문자의 이전 문자를 기반으로 다음 문자의 분포를 예측했다. 한 문자의 컨텍스트만 사용한 모델은 예측력이 낮았다. 그래서 더 많은 컨텍스트를 사용하려 하자 테이블의 크기가 기하급수적으로 증가했다. 이를 해결하기 위해 베응이오(Bengio) 등의 연구를 기반으로 다층 퍼셉트론 모델을 적용하려고 계...

Make More 주어진 데이터를 기반으로 더 많은 것을 생성하는 프로젝트인 Make More 예시 데이터셋 names.txt에는 약 32,000개의 이름이 포함 해당 데이터셋을 학습하면, Make More는 독특한 이름같은 고유한 이름을 생성 모델은 문자 단위로 데이터를 처리하며, 각 이름을 개별 문자 시퀀스로 다룸 시퀀스에서 다...

Large Language Model(LLM) LLAMA270B Meta.ai 에서 출시한 대규모 언어 모델 LLAMA 시리즈의 두 번째 버전 7억, 13억, 34억, 70억 매개변수 모델로 구성되어 있으며, 70억 매개변수 모델이 가장 크다. 오픈 웨이트 모델로, 모델의 가중치, 아키텍처 및 관련 논문이 공개되어 누구나 활용할 수 있...

6. 비지도학습 6-1. 군집 알고리즘 6-2. K-평균 6-3. 주성분 분석

5. 트리 알고리즘 5-1. 결정 트리 결정 트리(Decision Tree): 예 / 아니오에 대한 질문을 이어나가면서 정답을 찾아 학습하는 알고리즘 노드(node): 결정 트리를 구성하는 핵심 요소 루트 노드(root node): 결정 트리 맨 위의 노드 리프 노드(leaf node): 결정 트리 맨 아래 노드 부모 노드(pare...

5. 트리 알고리즘 5-1. 결정 트리 로지스틱 회귀로 와인 분류하기 우선, 와인 데이터를 불러옵니다. import pandas as pd wine = pd.read_csv('https://bit.ly/wine-date') 와인 데이터셋을 제대로 읽어 들였는지 head() 메서드로 처음 5개의 샘플을 확인해봅니다. wine.head() \ 처음 ...

3. 회귀 알고리즘과 모델 규제 3-1. k-최근접 이웃 회귀 k-최근접 이웃 회귀 지도 학습 알고리즘의 종류 두가지 분류 : 샘플을 몇 개의 클래스 중 하나로 분류하는 문제 회귀 : 임의의 어떤 숫자를 예측하는 문제\ k-최근접 이웃 분류 알고리즘 k-최근접 이웃 회귀 알고리즘 데이터 준비 import numpy...

4. 다양한 분류 알고리즘 4-1. 로지스틱 회귀 4-2. 확률적 경사 하강법