반응형 attention1 어텐션 매커니즘(Attention Mechanism) 앞에서 트랜스포머 모델을 살펴봤습니다. 이전글 : NLP의 핵심, 트랜스포머(Transformer) 복습! NLP의 핵심, 트랜스포머(Transformer) 복습! ChatGPT 등장 이후, 지금은 거대 언어 모델 (LLM, Large Language Model)의 전성기라고 해도 과언이 아닙니다. ChatGPT는 GPT 3.5와 같은 LM 모델을 Supervised Instruction tuning과 RLHF 대화형 모델로 파인튜닝한 모델 didi-universe.tistory.com 이 트랜스포머가 NLP 역사에 한 획을 그을 수 있었던 것은 바로 "Attention is All You Need" 라는 논문 제목에서 알 수 있듯이, 어텐션 메커니즘 덕분인데요. 어텐션이 무엇인지 자세히 알아보도록 하겠.. 2023. 9. 21. 이전 1 다음 반응형
