Natural Language Processing에 대한 기본적인 이해를 바탕으로 자연어 처리 과정 중에 발생하는 특정 단어 반복 현상에 대해 분석하고, 그 원인을 temperature와 훈련데이터의 불균형과 연관지어 설명하였다. 그리고 이로써 야기되는 문제를 제시하고 그에 대한 해결방안을 repetition penalty라는 개념을 이용하여 설명하였다. 또한 Transformer를 이용하여 고대 문명의 미해석 문자 탐구, 금융, 바이오 분야에서의 응용 사례를 탐구하였다.