반응형 Transformer1 NLP의 핵심, 트랜스포머(Transformer) 복습! ChatGPT 등장 이후, 지금은 거대 언어 모델 (LLM, Large Language Model)의 전성기라고 해도 과언이 아닙니다. ChatGPT는 GPT 3.5와 같은 LM 모델을 Supervised Instruction tuning과 RLHF 대화형 모델로 파인튜닝한 모델이죠. 이 GPT는 바로 트랜스포머의 디코더(Decoder) 부분을 가지고 만든 모델입니다. ChapGPT는 물론, 메타에서 발표한 LLaMA와 같은 현재의 LLM들의 조상 격이 바로 트랜스포머 모델입니다. 따라서 트랜스포머 모델의 구조를 이해하고 있어야, 이를 기반으로 한 LLM들을 활용하거나 튜닝할 때 수월하겠죠. 오늘은 트랜스포머에 대해 복습하는 포스팅을 작성하려고 합니다. 트랜스포머는 딥 러닝 모델의 한 종류로, 주로 자연.. 2023. 9. 21. 이전 1 다음 반응형
