본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
로그인 회원가입 English 국회부산도서관

전체메뉴

HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색

결과 내 검색

동의어 포함

고급검색

인명/단체명

저자정보 상세정보
인명/단체명을 입력하세요.

키워드

  • 대표어

  • 외국어

-

초록보기

본 연구는 대규모 언어 모델(LLM) 임베딩 온디바이스 배포를 위한 Multi-Scale Hierarchical Embedding Compression(MSHC) 프레임워크를 제안한다. 기존 연구들이 압축률과 성능 보존 사이의 trade-off에 집중한 것과달리, 본 연구는 ‘압축 후 의미 구조의 설계 가능성‘이라는 새로운 관점을 제시한다. MSHC는 Matryoshka Representation Learning(MRL), Soft-to-Hard Vector Quantization(VQ), Product Quantization(PQ), Sparse Auto encoder(SAE)의 4단계　파이프라인으로 구성되며, 각 단계에서 의미적 계층 구조를 보존한다. 한국어 벤치마크(KLUE-STS, KLUE-NLI, NSMC)에서의 실험 결과, MRL 단독 적용 시 8배 압축에서 96.8%의 성능을 유지하였으며, Task-aware Fine-tuning을 통해 MSHC 파이프라인의 성능을 유의미하게 회복됨을 확인하였다. 또한 계층별 가중검색과 Coarse-to-Fine 검색 실험을 통해 MSHC가 다단계 검색 파이프라인의 적합한 의미 구조를 보존함을 실증하였다. 본 연구는 임베딩 압축의 평가 기준을 ’즉시 성능에서 의미 조작 가능성‘으로 제안한다.

This study proposes the Multi-Scale Hierarchical Embedding Compression (MSHC) framework for on-device deployment of large language model (LLM) embeddings. Unlike previous studies focused on the trade-off between compression rate and performance preservation, this research introduces a new perspective: ‘designability of semantic structure after compression’. MSHC consists of a four-stage pipeline: Matryoshka Representation Learning (MRL), Soft-to-Hard Vector Quantization (VQ), Product Quantization (PQ), and Sparse Autoencoder (SAE), preserving semantic hierarchical structure at each stage. Experiments on Korean benchmarks (KLUE-STS, KLUE-NLI, NSMC) showed that applying MRL alone maintained 96.8% performance at 8x compression. Task-aware fine-tuning significantly restored the performance of the MSHC pipeline. Furthermore, experiments with hierarchical weighted search and coarse-to-fine search demonstrated that MSHC effectively preserves the appropriate semantic structure for multi-stage search pipelines. This study proposes shifting the evaluation criterion for embedding compression from ‘immediate performance’ to ‘semantic manipulability’.

권호기사

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 목차
SDGs 기반 AI 창의·인성 교육 프로그램 개발 및 적용 효과 = Effects of an SDGs-based AI creativity and character education program : a case study of the AI creative design On(溫)-NAmu project : AI 창의설계 온(溫)나무 프로젝트 사례를 중심으로 강승지, 윤정진 p. 1-8
고령 화자 음성데이터 기반 한국어 음성합성 모델 파인 튜닝 = Fine-tuning of Korean text-to-speech model based on elderly speaker voice data 김영주, 조광문, 이도현 p. 9-16
LoRA 기반 파인튜닝을 활용한 초등 경제 교육용 대규모 언어모델 개발 및 성능 평가 = Development and evaluation of a LoRA-fine-tuned large language model for elementary economic education 이태오, 김태국 p. 17-23
IoT 스마트 환경 관리 시스템의 구조 설계 및 시나리오 기반 분석 = Structural design and scenario-based analysis of IoT smart environment management system 황대우 p. 25-30
다중 사용자 HMD 기반 VR 환경의 가상-현실 공간 위치 오차 거리 분석 = Analysis of virtual-reality spatial position error rates in multi-user HMD-based VR environments 박건길, 김서영 p. 31-37
자연어 기반 로봇 제어 시스템 구현 = Implementation of a natural language-based robot control system : a case study on claw machine application : 인형뽑기 기계 응용 사례 윤희종, 조현성, 윤재현, 김지환, 김태국 p. 39-45
고령자 보이스피싱 예방을 위한 인공지능 기반 음성합성 훈련 플랫폼 개발 = Development of an AI-based voice synthesis training platform for voice phishing prevention on older adults 정유태, 조광문 p. 47-55
Implementation of an analog hall-effect USB keyboard with an 8-bit AVR microcontroller = 8비트 AVR 마이크로컨트롤러를 사용한 아날로그 홀 효과 USB 키보드 구현 Mingi Hwang, Yunjung Lee p. 57-65
IoT-integrated fractal analysis for assessing structural integrity and cooling stability in post-accident NPPs = 사고 후 원전의 구조적 무결성 및 냉각 안정성 평가를 위한 IoT 통합 프랙탈 분석 Kyung Bae Jang, Tae Ho Woo p. 67-74
MSHC = MSHC : 의미 구조를 보존하는 다중 스케일 계층적 임베딩 압축 프레임워크 : a multi-scale hierarchical embedding compression framework preserving semantic structure Jaeyong Jung, Nak Hyun Jung p. 75-101
안전 관리 애플리케이션 구현 = Implementation of safety management application 이재원, 김민지, 안주혜, 김태국 p. 103-110
BERTopic기반 실감형 미디어아트 관광 경험 분석 = Analyzing immersive media art tourism experiences using BERTopic 고성빈, 강주현 p. 111-120
온톨로지 기반 의미 라벨링을 이용한 EEG 인지 상태 클러스터링 프레임워크 = Ontology based semantic labeling framework for EEG cognitive state clustering 김귀정 p. 121-126
시장 상태 적응형 Hybrid GA-ESN 기반 주가 예측 알고리즘 트레이딩 시스템에 관한 실증연구 = An empirical study on a market regime-adaptive hybrid GA-ESN based algorithmic trading system for stock price prediction : evidence from DIA, QQQ, SPY, and KOSPI200 : DIA, QQQ, SPY, KOSPI200 지수 중심으로 정동균, 김훈희 p. 127-137
수중 방형구 인식을 위한 2단계 딥러닝 파이프라인 = A two-stage deep learning pipeline for underwater quadrat recognition 김태우, 김경민 p. 139-145
공기질 IoT 센서를 이용한 열사병 예방관제 시스템 = Heat-stress monitoring system based on air quality IoT sensor 김유신 p. 147-155
초등학생 디지털새싹 놀이터 프로그램 만족도 분석 및 예측 모델 설계 = Design and evaluation of a satisfaction prediction model for the Digital Saessak Playground program for elementary school students 이근호 p. 157-164
익명의 SNS 기반 모바일 정신건강상담 서비스 플랫폼 “솔카운셀”에 대한 MARS 활용 전문가 사용성 평가 및 심층 FGI 연구 = Expert usability evaluation and in-depth FGI study of "Solcounsel" an anonymous SNS-based mobile mental health counseling service platform using MARS 이솔지, 이진열, 윤기혁 p. 165-174
SOM 기반 환자 상태 군집화와 FHIR 온톨로지 매핑을 통한 임상 의사결정 지원 시스템 = A clinical decision support system using SOM-based patient state clustering and FHIR ontology mapping 김귀정 p. 175-180
간호교육에서 게임기반 학생응답시스템의 적용 효과 연구 = Effects of applying a game-based student response system in nursing education : focusing on Kahoot : Kahoot을 중심으로 배노연, 양정하 p. 181-189
기계학습과 SHAP 기반 콘크리트 블록 강도와 흡수율 예측 = Machine learning and SHAP-based prediction of concrete block strength and water absorption : a case study using production process PLC data : 생산공정 PLC 데이터 활용 사례 손현승, 조광문 p. 191-203
AI 교육복지모델 거버넌스 구축을 위한 순환형 학습공동체 경험 탐구 = Exploring cyclic learning community experiences for building an AI educational welfare governance model 손연주, 윤정진 p. 205-212
Prolonged smartphone exposure and its influence on pain, posture, vision, and depression = 장시간 스마트폰의 노출이 통증, 자세, 시력과 우울증에 미치는 영향 : 체계적 문헌고찰 및 메타분석 : a systematic review and meta-analysis Jae-hun Shim p. 213-222
생성형 AI 기반 K-판타지 애니메이션 제작 파이프라인 연구 = A study on K-fantasy animation production pipeline based on generative AI 이영화, 김다루, 권오주, 문채영, 박구만, 최영희 p. 223-234

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차

권호

기사명 원문보기 기사목차
닫기