2025-에너지공학 탐구 동아리 탐구과제 보고서

Natural Language Processing(NLP)에서 발생문제의 원인 예측과 transformer의 효과적 사용 방안

-transformer의 역할과 구체적 활용방안을 중심으로

현대청운고등학교 1학년

김 민 채, 민 규 식

2025년 10월 19일

1. 서론(연구목적, 연구배경)

21세기 들어 데이터의 폭발적 증가와 함께 인공지능을 활용한 언어 처리 기술의 중요성이 급격히 확대되고 있다. 인간의 언어를 기계가 이해하고 분석하는 Natural Language Processing(NLP) 기술은 자연어 처리 기술로, 텍스트 데이터를 효율적으로 해석하고 의미를 추출함으로써 정보 활용의 효율성을 높이는 핵심 도구로 자리 잡았다.

초기의 NLP는 통계 기반 접근이나 RNN, LSTM 등의 순환 신경망에 의존했으나, 이들은 긴 문맥을 다루거나 병렬 처리를 수행하는 데 한계가 있었다. 이러한 한계을 극복하기 위해 2017년 제안된 Transformer 모델은 self-attention 메커니즘을 통해 단어 간의 전역적 관계를 동시에 학습할 수 있게 하여 자연어 이해와 생성 능력을 비약적으로 향상시켰다. 이후 BERT, GPT ,T5 등 다양한 파생 모델이 등장하면서 기계 번역, 문서 요약, 감성 분석, 질의응답 등 여러 분야에서 탁월한 성능을 보여주고 있다. 특히 Transformer는 대규모 사전 학습 후 도메인별 미세조정을 통해 금융, 의료, 법률, 바이오 등 특정 분야의 언어적 특성을 반영할 수 있다는 점에서 학문적, 산업적 가치가 크다.

본 연구의 목적은 이러한 학습된 Transformer 모델을 활용한 텍스트 분석 방법을 탐구하고, 다양한 산업 분야에서의 적용 가능성과 의의를 분석하는 데 있다. 이를 토해 현대 NLP 기술의 발전이 정보 분석, 의사결정, 그리고 지식 창출 과정에서 어떠한 변화를 이끌고 있는지 살펴보고자 한다.

본 연구는 NLP와 Transformer에 대한 자료 탐구를 기반으로 이것이 실제로 어떻게 적용되는지에 대한 궁금증과 탐구자료의 transformer 사용시 나타나는 문제점의 원인에 대한 궁금점을 배경으로 실시되었다.

2. 본론

2.1. 탐구과제 자료집 내용 정리

해당 자료집의 초반에는 트랜스포머와 Natural Language Processing(NLP) 즉, 자연어 처리에 대한 설명을 하고 있다.

자연어 처리(NLP)는 컴퓨터가 사람을 이해하고 처리하여 기계 번역, 텍스트 생성, 깜정 분석 등을 수행하게 하는 기술이다. 하지만, 기존 모델이었던 LSTM과 RNN에서는 긴 문장의 앞뒤 단어 관계를 파악하는데 한계가 있었다.

따라서 등장한 것이 transformer이며 이는 순차적인 처리를 제거하고 어텐션 매커니즘을 활용하는 것을 채택하였다. 또한, 이러한 transformer는 입력 문장을 이해하는 인코더와 출력문장을 생성하는 디코더로 나뉜다.

이후에는 이러한 transformer를 직접 만드는 과정을 보여준다.

첫째로, 데이터 로딩고 전처리 과정에서는 sklearn 라이브러리를 사용하여 제시된 뉴스 그룹 데이터를 가져와 텍스트를 모델이 처리할 수 있는 token단위로 나눈고, 각 단어를 고유한 index로 매링하는 vocab를 구축한다.

둘째로, PyTorch Dataset을 정의한다. 데이터를 훈련용 데이터와 테스트용 데이터로 나눈 뒤, DataLoader를 사용하여 데이터를 batch 단위로 묶어 효율적인 학습을 준비한다.

셋째로, transformer의 모델을 순서 정보를 부여하는 Positional Encoding을 사용하여 단어를 벡터로 변환하는 Embedding 과정을 포함하여 인코더와 디코더를 정의한다.

넷째로, 학습 속도 향상을 위한 모델 연산을 수행할 장치를 확인하고 설정한다.

다섯째로, 전체 데이터셋을 총 다섯 번 반복하여 학습하도록 설정한다.

여섯째로, 입력 데이터를 모델에 넣어 다음 단어를 예측한 결과를 얻는다.

일곱째로, 예측과 실제 값 사이의 차이를 계산한다.

여덟째로, 계산된 손실을 바탕으로 모델 가중치를 조정하기 위한 기울기를 계산하다. 그 후에 계산된 기울기를 사용하여 모델의 parameter(가중치)를 실제로 업데이트하여 성능을 개선한다.

아홉째로, 예측된 단어들의 확률 분포를 temperature 변수를 이용해 조정한다. 이에 따라 조정된 출력값을 모든 단어에 대한 확률 분포로 변환하다. 그리고 계산된 혹률 분포를 기반으로 다음에 올 단어 하나를 확률적으로 샘플링하여 선택한다.

마지막으로, 선택된 단어가 문장 종료 토큰이거나 문장 길이가 최대치에 도달하면 문장 생성을 종료한다.

2.2. 단어 반복 문제의 원인과 이로 인해 발생하는 문제

2.2.1. 원인

첫 번째로 훈련 데이터의 불균형 및 확률 분포의 왜곡이다. Transformer 언어 모델은 대규모 텍스트 데이터를 이용해 학습되는데, 뉴스 기사나 웹 문서에는 "the"와 같은 단어가 자주 등장한다. 언어 모델은 이러한 빈도 기반 통계에 따라 자주 등장하는 단어에 더 높은 확률을 부여하는 경향이 있다. 그리고 특히 입력 문맥이 짧은 경우, 예를 들어 "the" 한 단어만 주어진 상태에서는 attention 연산을 기본적으로 장착하여 연관성 있는 단어를 찾는 것이 어렵다. 그래서 모델이 문맥을 구체적으로 이해할 수 없기 때문에, 가장 일반적이고 자주 사용되는 단어인 "the"를 다시 예측하는 것이 자연스럽다고 판단하다.

두 번째 원인은 temperature 설정 문제이다. temperature는 단어의 확률 분포의 평탄도를 조절하는 하이퍼 파라미터이다.  temperature는 값이 0에 가까워지면 기울기에 대한 분산이 커지게 되는데, 이렇게 되면 단어가 나올 확률 분포가 고르지 않아, 특정 단어가 나올 확률이 높아지게 된다. 그래서 "the" 라는 단어가 반복적으로 나오는 것도 이것 때문이다.

2.2.2. 야기되는 문제

이는 단순한 출력오류에 그치지 않고, 여러 문제를 야기한다. 첫 번째로 단어의 의미가 붕괴되는 것이다. 반복된 단어는 문맥적 정보가 거의 없기 때문에, 문장의 구조적 일관성과 의미적 연결성이 모두 상실된다. 결과적으로 모델이 생성하는 텍스트는 인간이 이해할 수 없는 의사 언어 수준의 무의미한 출력으로 전략한다. 문맥을 파악하고 논리적인 문장을 생성해야 하는 요약, 번역 대화형 AI 등에서는 이 현상이 특히 치명적이다.

두 번째는 Attention Collapse 및 모델 불안정성이다. Transformer의 핵심은 단어 간의 관계를 학습하는 Attention 메커니즘인데, 같은 단어가 반복되면 모델의 Attention 가중치가 특정 토큰으로 집중된다. 이로 인해 모델의 내부 표현이 점차 한 방향으로 수렴하며, 새로운 정보를 반영하지 못하는 자기 강화 루프 상태에 빠진다. 결국 모델은 스스로 문맥을 확장하거나 의미를 발전시킬 수 없게 되어, 장기적으로는 문맥 처리 능력의 붕괴로 이어진다.

2.2.3. 해결방안

이 문제를 완화하기 위한 다양한 해결 방안이 제시되고 있다. 첫 번째는 temperature 조절이다. temperature를 높게 설정하면 확률 분포가 평탄해져 동일 단어에 대한 집중도가 완화된다. 이를 통해 모델은 "the" 이외의 다양한 단어를 선택할 가능성이 커져 반복이 줄어든다.

2.3. transformer 활용사례

2.3.1. 바이오 산업에서의 transformer 활용(디어젠 사의 Dr.UG)

Dr.UG의 DearDTI 기술에서는 Molecule transformer 인공지능 기술을 통해 질병 타깃과 Small molecule의 상호결합에 대해 예측하고, 이를 기반으로 ADMET(흡수, 분포, 대사, 배출, 독성) 최적화를 진행하여 더욱 효과 높은 저분자 화합물 신약 후보 물질을 디자인한다.

또한, transformer가 적용된 DearDTI 기술은 당시의 최첨단 AI모델 보다 약 17.7% 향상된 성능을 보였다. 이는 트랜스포머의 self-attention이라는 특성을 활용한다. 앞서서 두룬 탐구자료에서도 RNN과 LSTM에서의 순차적 처리 구조에 따라 긴 문장이 나타날 경우 앞에 나온 단어를 잊어버리는 문제가 발생한다는 점을 지적하고 있다. 하지만 이를 트랜스포머를 활용하면 순환구조를 제거하고 모든 단어를 병렬적으로 처리하는 self-attention 이라는 특성을 통해 한계를 극복할 수 있게 된다. 앞서 탐구자료에서 활용한 토큰을 대신하여 약물과 단백질 시퀀스의 요소 간의 관계를 파악하는데 활용할 수 있다.

디어젠의 이러한 기술은 세계 최초 기술이며, MT-DTI는 self-attention 메커니즘을 모델에 반영해 복잡한 화학구조를 효과적으로 모델링했고, 9700만개의 화합물 데이터베이스를 사전 학습에 이용 가능하게 하여 모델의 정밀도를 높였다. 그리고 이에 대한 성능 측도 실험에서 모든 측면에서 우수한 성능을 보였다. 또, 코로나-19 바이러스에 대한 치료제를 예측하는데 있어서 현재 시판 중인 항바이러스제를 코로나-19 바이러스에 적용하여 효과를 예측하기도 했다.

2.3.2. 금융 산업에서의 transformer 활용

Transformer 기반 언어 모델은 문맥적 의미를 정밀하게 파악하는 Self-Attention 메커니즘을 핵심으로 하여, 금융 산업의 복잡한 텍스트 분석에 폭넓게 활용되고 있다.

금융 데이터는 기업 공시, 증권 보고서, 뉴스 기사, 애널리스트 의견 등 방대한 비정형 텍스트로 이루어져 있으며, 이 속에서 중요한 정보를 신속히 추출하는 것이 경쟁력의 핵심이다. Transformer는 각 단어가 문서 전체의 다른 단어들과 맺는 관계를 동시에 학습하기 때문에, 금융 보고서 내에서 멀리 떨어진 문장 간의 의미적 연관성도 파악할 수 있다. 또한 사전학습(Pre-training)과 미세조정(Fine-tuning) 구조를 통해 일반 언어 지식을 학습한 뒤, 금융 도메인 데이터로 재학습함으로써 전문 용어와 시장 표현을 정확히 이해할 수 있다.

이러한 특성 덕분에 Transformer는 감성 분석에서 기업 실적 발표문이나 뉴스 기사에 내표된 긍,부정적 어조를 식별하고, 시장 심리를 정량화하는 데 활용된다. 예를 들어 FinBERT는 금융 텍스트에 특화된 사전학습을 통해 "매출이 예상치를 밑돌았다"와 같은 문장을 부정적 신호로 분류하여 주가 변동 가능성을 예측한다. 또한 재무 보고서 분석에서는 긴 문서 내에서 위험 요인, 경영 전망, 회계 불확실성을 자동으로 식별하고, 뉴스 기반 주가 예측에서는 문맥을 고려한 사건 해석으로 투자 판단을 지원한다. 더 나아가 금융 챗봇과 질의응답 시스템에서는 자연어 이해 능력을 기반으로 사용자의 질문에 대한 정보 검색과 응답 생성을 수행한다.

2.4. transformer의 구체적 활용방안 제시

2.4.1. 고대 언어와 문자에서의 미해독 문법 구조 복원

현재 역사적으로 큰 가치를 지니고 있는 로제타 스톤, 마야 무자, 인더스 문자 등에서의 미해독된 고대 문서들이 존재한다. 이러한 미해독 문자들은 희소성을 가지며 문맥을 단절 시키고, 순서 정보를 불확실하게 만든다.

이러한 문제점에서 transformer의 self-attention이라는 특성을 적용 시키면 문자 해독에 도움이 될 수도 있다.

우선 모든 고유한 기호에 대하여 앞서 공부한 자료집의 경우처럼 vocb을 형성하여 단어사전을 저장하고 불확실한 문자에 대해서는 불확실성을 나타내는 특수한 token을 부여하여 모델이 학습할 수 있도록 한다.

그리고 self-attention을 통하면 고대 언어들의 규칙을 모르더라도 모델 학습을 통해 해당 기호나 단어가 어떠한 문법적 기능을 하는지 반복적으로 학습하여 스스로 정의할 수 있다.

앞서 탐구자료에서 제시한 temperature를 활용하면 학술적 검증을 위한 확실한 복원 결과와 가설을 제시하는 복원 결과를 모두 생성하여 효율을 높일 수 있다. 학술적 검증을 위한 복원에서는 낮은 temperature를 활용하여 정확성이 높은 단어들을 활용한 복원 결과를 제시한다. 그리고, 가설을 제시하기 위한 복원에서는 높은 temperature를 활용하여 창의적으로 새로운 가설ㅇㄹ 제시할 수 있도록 할 수 있다.

따라서 tranformer를 활용하면 고대 문자에 대해서 해당 정보에 대해 통계적으로 접근 가능하며 빠른 속도로 분석하여 복원하는 것이 가능하다. 또한, 사람들이 접근하기에 어려운 가설까지도 쉽게 제시해 줄 수 있다고 생각한다. 이를 통해 역사적 사실에 더 가까워지는 속도를 높일 수 있을 것으로 기대한다.

2.5. 연구 결과

연구를 통해 transformer가 금융과 바이오 산업에서 활용되는 사례를 제시하고 해당 산업에서 사용되는 transformer의 특성에 대해 탐구하였다. 또, 탐구 자료를 바탕으로 한 transformer에서 발생하는 the의 반복 출력 문제의 원인을 직접 탐구하여 temperature을 통해 원인에 대한 추론을 도출하였다. 더 나아가서 tranformer의 고고학 고대 문자 복원과 해석에서의 활용을 구체적으로 고안하여 제시하였다.

3. 결론

본 연구에서는 Transformer 기반 자연어 처리 모델의 작동 원리와 텍스트 생성 시 'the the the...'와 같은 반복 현상의 원인 및 해결 방안을 분석하였다. 연구 결과, 반복 생성 문제는 훈련 데이터의 단어 빈도 불균형과 낮은 temperature 설정에서 비롯되며, 이로 인해 의미적 붕괴와 Attention Collapse 현상이 발생하는 것을 확인하였다. 이를 해결하기 위해 temperature 조절과 repetition penalty 기법이 효과적임을 제시하였다. 또한 학습된 Transformer 모델이 금융 분야에서 방대한 비정형 텍스트의 문맥을 정확히 파악하여 감성 분석, 위험 요인 탐지, 주가 예측 등에 활용되며, 바이오 분야에서는 분자와 단백질 간 상호작용 예측과 신약 후보 물질 설계에 성공적으로 적용되는 사례를 조사하였다. 또한 고대 언어와 문자에서 미해독 문법 구조를 복원하는 것에 Transformer를 활용한 사례를 조사하면서 Transformer가 다양한 도메인의 복잡한 언어 및 시퀀스 데이터를 효과적으로 처리할 수 있음을 확인했다. 한편, 본 연구의 한계로는 반복 생성 문제에 대한 완전한 해결책이 아직 미비하며, 특정 도메인에 특화된 모델의 성능 차이 및 학습 데이터의 품질에 따른 영향에 대해 더 깊은 분석이 필요하다는 점을 들 수 있다. 또한 Transformer 모델의 높은 계산 비용과 자원 요구량도 실제 산업 적용 시 고려해야 할 과제이다. 앞으로는 보다 안정적이고 효율적인 학습 및 생성 기법 개발과 함께, 다양한 도메인에서의 실용적 적용 가능성을 확대하기 위한 연구가 지속되어야 할 것이다. 본 연구는 Transformer 모델의 원리 이해와 실제 활용 가능성을 탐구함을써 자연어 처리 기술의 발전 방향에 기여하고자 한다.

참고문헌

바이오스펙테이터 조정민 기자 – 디어젠, 약물-단백질 상호작용 예측모델 성능 공개

바이오스펙테이터 서윤석 기자 – 디어젠, 먀로 ‘신종 코로나 치료제’ 예측한 결과는

한국경제 bioinsight 최지원 기자 – 디어젠, 세계 최초로 구글 ‘트랜스포머’기술을 신약 개발에 적용

바이오 아카이브 - 약물 타깃 상호작용 딥러닝 모델을 통해 중국 우한의 신종 코로나바이러스에 자굥할 수 있는 시판되는 항바이러스제 예측

참고문헌: FinBERT: A Large Language Model for Extracting Information-

from Financial Text https://onlinelibrary.wiley.com/doi/pdf/10.1111/1911-3846.12832?msockid=06b013e7309666b6336206013183671d

단어 손실함수와 반복 페널티를 추가한 트랜스포머 인코더-디코더 제목 생성 모델-https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE10545578&width=759

GAN과 Transformer 모델을 활용한 자연어 생성 연구-https://www.dbpia.co.kr/journal/detail?nodeId=T15645243

언어모델 유해 답변 생성 방지를 위한 미세조정 방법론: 의미 기반 유연 가중치를 이용한 응답 선호 최적화https://www.dbpia.co.kr/pdf/pdfView.do?nodeId=NODE12415237&width=759

DEARGEN 공식 사이트