본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색

결과 내 검색

동의어 포함

고급검색

인명/단체명

저자정보 상세정보
인명/단체명을 입력하세요.

키워드

  • 대표어

  • 외국어

-

초록보기

대규모 사전학습 언어모델의 활용이 증가함에 따라, 전체 파라미터를 학습하지 않고도 효율적으로 모델을 조정할 수 있는 경량 파인튜닝 기법의 필요성이 대두되고 있다. 본 연구는 BERT-base-uncased 모델을 대상으로 GLUE 벤치마크의 대표 과제(SST-2, MRPC, CoLA)에 대해 네 가지 파인튜닝 기법(Full Fine-tuning, LoRA, Prompt Tuning, Selective Layer Fine-tuning)의 성능 변화를 비교 분석하였다. 동일한 실험 환경에서 정확도(Accuracy), F1 점수, Matthews 상관계수(MCC)를 지표로 평가한 결과, Full Fine-tuning이 전반적으로 가장 높은 성능을 보였으며, Selective Layer Fine-tuning은 이에 근접한 성능을 유지하면서 파라미터 수를약 75% 절감하였다. 본 연구는 파라미터 효율성과 성능 간의 균형을 실증적으로 규명하고, 중형 언어모델 환경에서 Selective Layer Fine-tuning이 가장 실용적인 접근임을 제시하였다.

As the use of large-scale pre-trained language models becomes more widespread, there is a growing need for lightweight fine-tuning methods that can efficiently adapt models without updating all parameters. This study empirically examines the performance variations of the BERT-base-uncased model across four fine-tuning methods―Full Fine-tuning, LoRA, Prompt Tuning, and Selective Layer Fine-tuning―using three representative GLUE benchmark tasks: SST-2, MRPC, and CoLA. Under consistent experimental settings, model performance was evaluated using Accuracy, F1-score, and Matthews Correlation Coefficient (MCC). Full Fine-tuning achieved the highest overall performance, while Selective Layer Fine-tuning demonstrated a comparable accuracy with approximately 75% fewer trainable parameters. The findings suggest that Selective Layer Fine-tuning provides the best balance between performance, efficiency, and stability for medium-scale language models and offers practical guidance for efficient model adaptation in resource-constrained environments.

권호기사

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 목차
AIS 데이터를 활용한 DQN 기반 선박 항로 예측에서 탐험-활용 전략 분석 = Analysis of exploration-exploitation strategies in DQN-based vessel route prediction using AIS data 김단우, 이장하, 이하나, 강상우 p. 1-15
비정형 데이터 시대의 정보시스템 연구 지형 = The landscape of information systems research in the era of unstructured data : the expansion of text mining and its intellectual structure : 텍스트 마이닝의 확산과 지적 구조 분석 안재영, 임혜정 p. 17-40
설명가능한 인공지능 기반 비형식학습 효과성 분석 및 참여자 추천 애널리틱스 = Sustainable lifelong learning : explainable AI-driven analytics for informal learning effectiveness and personalized recommendations : 지속 가능한 평생학습 유도를 위하여 유효정, 조은지, 이현서, 김경원 p. 41-84
강화학습 적용에 따른 조류 발생 예측 딥러닝 모형 성능 분석 = Performance analysis of a deep learning model for algal bloom prediction with reinforcement learning 박정수, 허태영 p. 81-93
GLUE를 활용한 언어 모델 파인 튜닝 성능 변화 평가 = Evaluating fine-tuning performance variations of BERT models using the GLUE benchmark 홍유석, 김진 p. 95-109
Onboard AI 기반 차량용 이더넷 환경에서의 실시간 비디오 스트리밍 전송 안정성 향상 연구 = An onboard AI-based approach for robust live video streaming over automotive ethernet 이주형, 고경민 p. 111-127
AI 챗봇 서비스 실패가 사용자 감정과 이탈 의도에 미치는 영향 = The effects of AI chatbot service failure on users’ emotions and discontinuance intention 조상리, 정석찬 p. 129-141
생성형 AI 시대 마케팅 업무 전환과 핵심 역량의 동적 재구성 = Generative AI–driven marketing transformation and the dynamic reconfiguration of core competencies : a Delphi study of practitioners : 실무 전문가 델파이 연구 이용제, 김주희, 강주영 p. 143-161
사회연결망 분석을 통한 풀필먼트 센터의 재고배치에 관한 연구 = A study on inventory allocation in fulfillment centers using social network analysis 차대욱, 이강현, 신광섭 p. 163-182
디지털 환경에서 브랜드 스토리텔링이 소비자–브랜드 간 심리적 유대를 형성하는 메커니즘 = The power of stories : the mechanism by which digital-age brand storytelling fosters psychological bonds between consumers and brands 유몽, 김엘레나, 최재원 p. 183-210
소비자 불만이 전기차 위험 인식과 회피 의도에 미치는 영향 = The impact of consumer complaints on EV risk awareness and avoiding intentions : from the perspectives of HBM and TTAT : HBM과 TTAT 관점에서 왕문준, 이맹릉, 최재원 p. 211-228
연합학습 기반 개인건강데이터 프라이버시 보호형 AI-Agent 시스템 연구 = Research on a privacy-preserving AI-agent system for personal health data based on federated learning 정진용, 송인서, 이강윤 p. 229-240
멀티모달 임베딩 융합 기반 해빙 농도 장기 예측 모델 설계 = Design of a multimodal embedding fusion-based model for long-term sea ice concentration forecasting 이승우, 심성현 p. 241-256
시공간 이중 분기 트랜스포머를 이용한 태양광 발전량 장기 예측 = A spatiotemporal dual-branch transformer for long-term solar power forecasting 김영휘, 심성현 p. 257-279
감성 분석을 활용한 다중 모달 Bi_LSTM 주가 예측 = Multimodal stock price prediction using Bi-LSTM and sentiment analysis 박찬규, 김가은, 양지호, 신미수 p. 281-294
강화학습을 활용한 도심내 소규모 배송거점 네트워크 구축 방안에 관한 연구 = A study on strategies for building urban micro-depot networks using reinforcement learning 이강현, 방선호, 박순호, 신광섭 p. 295-308
액체 시간상수 신경망을 활용한 KOSPI 등락 예측 = Forecasting KOSPI movements using liquid time-constant neural networks 고영보, 안현철 p. 309-318
Progressive knowledge distillation for efficient video-based person re-identification = 효율적인 비디오 기반 개인 재식별을 위한 점진적 지식 정제 Kong Vungsovanreach, Phyoungjung Kim, Wan-Sup Cho p. 319-329
Spatio-temporal transformer network for abnormal human action detection in surveillance video = 감시 영상에서 비정상적인 인체 행동 탐지를 위한 시공간 트랜스포머 네트워크 Saravit Soeng, Kim, Seong-Ik, Cho, Wan-Sup p. 331-343
인공지능을 이용한 인간의 감정 인식 연구 = A study on emotion recognition of human using artificial intelligence 이준호, 이은지, 김진화 p. 345-359

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차

권호

기사명 원문보기 기사목차
닫기