텍스트 데이터의 처리는 에너지 분야를 포함한 모든 산업에서 필수적인 과정이다. OpenAI의 ChatGPT와 같이 최근 널리 사용되는 대화형 AI의 기반 자연어 처리(Natural Language Process) 기술은 텍스트 데이터를 효과 적으로 분석하고 문서 분류 및 문장 생성, 텍스트 요약까지 다양한 방법으로 활용할 수 있게 도와주는 기술이다. 이 탐구 자료에서는 NLP의 핵심 원리를 이해하고 실제 데이터 세트를 활용하여 Transformer 모델을 학습 시킨 뒤 문장을 생성하는 과정으로 탐구를 진행한다. 추가로 모델을 학습시키는 데이터셋의 종류에 따라 모델이 생성하는 텍스트에 어떤 차이가 있는지 확인해보고, 추가적인 탐구를 진행해보도록 하자.