콘텐츠 본문
새글 논문 국내 국내전문학술지(KCI급) 성능 향상을 위한 Positional Encoding을 통합한 텐서 분해 기반 차원 축소 기법
- 학술지 구분 국내전문학술지(KCI급)
- 게재년월 2026-04
- 저자명 이희열, 이승호
- 학술지명 대한전자공학회 논문지
- 발행처명 대한전자공학회
- 발행국가 국내
- 논문언어 한국어
- 전체저자수 2
- 연구분야 공학 > 전자/정보통신공학
논문 초록 (Abstract)
본 연구에서는 Transformer 기반 언어 모델에서 텐서 분해를 이용한 차원 축소 과정에서 발생할 수 있는 성능 저하 문제를 완화하고, 이를 통해 성능을 향상시키기 위해 Positional Encoding을 통합한 텐서 분해 기반 차원 축소 기법을 제안한다. 기존의 저차원 투영 방식은 입력 표현의 차원을 줄이는 과정에서 위치 정보가 약화되어 성능 저하로 이어질 수 있으며, 단순한 위치 인코딩 추가는 차원 축소된 표현과 충분히 상호작용하지 못해 데이터 특성과 설정에 따라 학습 안정성을 저해할 가능성이 있다. 제안한 방법은 고차원 임베딩을 Tucker 분해 기반 저차원 표현으로 투영한 뒤, 차원 축소로 인해 약화될 수 있는 위치 정보를 저차원 표현 공간에서 직접 보정하도록 설계되었다. 정규화된 사인 코사인 위치 특징과 문맥 기반 게이팅을 결합하여 위치 보정의 강도를 입력 문맥에 따라 적응적으로 조절함으로써, 과도한 위치 정보 주입이나 정보 부족으로 인한 학습 불안정성을 완화하고 차원 축소와 위치 정보 보존을 동시에 달성하도록 설계하였다. WikiText와 IMDb 데이터셋에서 수행한 언어 모델링 실험 결과, 제안한 Tucker 분해와 문맥 적응적 위치 보정 결합 방식은 Transformer 대비 더 낮은 loss와 Perplexity를 기록하며 성능 향상을 확인하였다. 특히 문맥 길이가 긴 IMDb에서 개선 효과가 뚜렷하게 나타나, 장기 문맥 보존에 대한 유효성을 보여준다. 이러한 결과는 본 연구의 기법이 단순 경량화를 넘어 안정적인 성능 유지 및 향상을 가능하게 함을 입증하며, 향후 다양한 언어 처리 과제에서 성능 개선을 위한 차원 축소 모듈로 활용될 수 있을 것으로 기대된다.
