[NLP] encoder decoder 둘다 사용하는 이유 + 옵티마이저 질문

2025-07-23 22

안녕하세요, NLP를 통한 텍스트 분석 방법 탐구를 읽다 몇가지 궁금증이 생겨 질문드립니다.


Transformer 기반의 모델중에서

GPT는 Transformer의 Decoder만 사용하고

BERT는 Encoder만 사용하는 걸로 아는데 

NLP 탐구(논문)에선 두개 다 쓰신 이유가 궁금합니다.


또 옵티마이저 중 Adam 옵티마이저를 사용하셨는데,

NAG나 SGD보다는 Adam에서 어떤 장점이 있어 Adam 옵티마이저를 사용하셨는지 궁금합니다! 


답변 0

등록된 댓글이 없습니다.

답변하기 답변하기