본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색
결과 내 검색 동의어 포함
결과 내 검색 동의어 포함

-

초록보기

Large Language Model(LLM)은 점점 더 많은 token을 처리할 수 있는 방향으로 발전하고 있다. LLM은 Multi-Head Attention을 주요 연산으로 활용하는데, 이에 따라 token 개수에 비례하여 행렬곱 및 softmax의 연산량이 증가한다. GPU는 행렬곱 가속을 위해 Tensor Core를 지원하지만, softmax 연산은 범용 연산기인 CUDA Core에서 수행된다. Softmax 연산은 지수 함수 계산과 모든 입력값의 총합 연산을 필요로 하며, CUDA Core에서 이를 수행할 경우 두 가지 주요 한계가 존재한다. CUDA Core는 SIMT 구조를 기반으로 여러 thread를 동시에 실행하지만, softmax 연산의 합산 과정에서는 thread 간 데이터 공유가 필요하기 때문에 warp 단위로 동기화가 요구된다. 둘째, CUDA Core는 Tensor Core 대비 연산 처리량이 낮아 softmax 연산의 성능이 제한될 수 있다. 본 논문은 이러한 한계를 극복하기 위해, 높은 연산 처리량을 제공하고 warp 단위로 연산을 수행하는 Tensor Core에 지수 함수 연산을 위한 Lookup Table(LUT) 및 나눗셈 연산을 위한 reciprocal unit을 추가한 Soft-Tensor Core 구조를 제안한다. 이 기법을 통해 기존 행렬곱 가속뿐만 아니라 softmax 연산도 가속하여, GPU에서의 LLM 연산 성능을 더욱 향상 시킬 수 있을 것으로 기대된다.

권호기사

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 목차
인페인팅 기반 재난 유형별 재난 이미지 생성 연구 = Research on disaster image generation by disaster type based on inpainting 최민지, 원루빈, 최지훈, 배병준 p. 3-14

보기
어그리게이터 클라이언트를 활용한 클러스터링 기반 탈중앙 연합학습 프레임워크 = Clustering-based decentralized federated learning framework with aggregator nodes 박준영, 이주형 p. 15-18

보기
인공지능을 이용한 고밀도 폴리에틸렌의 자외선 부식도 예측 = Prediction of ultraviolet corrosion levels of high density polyethylene using artificial intelligence 서정원, 고진환 p. 21-28

보기
3D LUT를 이용한 모바일 디스플레이의 효율적인 색상 편차 보정 알고리즘 = Efficient color shift compensation algorithm for mobile displays using 3D LUT 김예슬, 박지원, 김기일, 이승민, 김영민, 강석주 p. 29-38

보기
12 리드 심전도 멀티 레이블 분류를 위한 진단별 다중 모델 설계 = Diagnosis-specific multi-model design for 12-lead ECG multi-label classification 차재빈, 황서림, 박영철 p. 39-46

보기
다중경로 탐지환경에서의 HDBSCAN 기반 능동소나 클러터 제거 기법 = HDBSCAN-based clutter removal of an active sonar under multipath environment 정명준, 조현덕, 김원기, 박도현, 김형남 p. 47-56

보기
Active Charge Balancing을 이용한 안전하고 비용 효율적인 두개 전기 자극 시스템 = Safe and cost-efficient cranial electrical stimulator using active charge balancing 박건욱, 최정호, 박재준, 박성윤 p. 59-67

보기
전자기 메타물질의 원리를 활용한 기계적 탄성파 CRLH 메타물질 = Composite right left handed elastic metamaterial inspired by electromagnetic metamaterial 정영진 p. 68-71

보기
고해상도 영상신호용 서지방호장치의 설계와 평가 = A design and evaluation of surge protective device for high-resolution video signals 이영준 p. 75-80

보기
텔레매틱스 응용 시스템을 위한 블루투스 네트워크 통신 모듈의 설계와 평가 = Design and evaluation of a bluetooth network communication module for telematics application systems 이영준 p. 81-89

보기
가스 AMI 사용자를 위한 에너지 사용량 M&V 기반의 에너지 효율 서비스 = Energy efficiency service based on energy usage M&V for gas AMI users 김민수, 김성섭, 이승우, 권영민 p. 93-99

보기
배송 로봇의 다층, 다중 배송을 위한 효율적인 경로 계획 및 엘리베이터 층간 이동 시스템 = Efficient route planning and elevator inter-floor movement system for a multi-floor, multi delivery robot 박재범, 조성준, 김준식, 유범재 p. 100-108

보기
Softmax 연산 가속을 위한 Tensor Core 구조 설계 = Design of tensor core archiecture for softmax acceleration 김성우, 노원우 p. 3-9
Value 생성 지연과 Softmax 오프로딩을 통한 어텐션 병렬화 향상 = Improving attention parallelism via delayed value generation and softmax offloading 김준성, 김철환, 노원우 p. 10-16
모바일 네트워크에서 실시간 QoS 보장을 위한 적응 지능형 전송제어 기법 = An adaptive and intelligent transmission control scheme for real-time QoS assurance in mobile networks 강문식 p. 19-26
Faster R-CNN을 활용한 클러터 환경에서의 레이더 표적 탐지 = Radar target detection in cluttered environments using faster R-CNN 김일석, 이상언, 이희재, 이창기, 원종민, 장준혁 p. 29-40
실린더 표면에 투사된 레이저 그리드 교차점 검출 방법 = Detection method for laser grid intersections on a cylindrical surface 김민범, 박채호, 최강선 p. 41-50
Autoencoder와 SVM을 결합한 심전도 이상 탐지 연구 = A study on electrocardiogram anomaly detection using combined autoencoder and support vector machine 서정원, 고진환 p. 51-58
LSA-YOLO = LSA-YOLO : lightweight shuffling attention for real-time smoke and fire detection : Lightweight Shuffling Attention 기반의 실시간 연기 및 화재 탐지 경량 모델 윤창섭, 박윤하 p. 59-71
(A) study on the complementary use of face recognition model and re-identification model for efficient identity verification = 효율적 동일인 식별을 위한 얼굴 인식 모델과 재인식 모델의 보완적 사용에 관한 연구 Dohwan Kwak, Yunha Park p. 72-84
잔류응력이 있는 캔틸레버의 최대 변위를 예측하는 모델링과 FEM 시뮬레이션을 이용한 분석 = Analysis using modeling and FEM simulation to predict the maximum displacement of a cantilever with residual stress 박동출, 김용권 p. 87-94
HIPEC 수술 치료에서 스마트 온도 관리 시스템을 이용한 고온 약물의 실시간 온도제어 = Real-time temperature contol of high-temperature chemotherapeutic agents in HIPEC surgery using a smart temperature management system 이태현 p. 95-113
계단형 구조 전송선로를 이용한 λg/4 단락 스텁 기반 협대역 대역통과필터의 소형화 설계 = Miniaturized design of a narrow bandpass filter using quarter-wavelength short stubs with staircase-structure transmission-line 이태현 p. 114-118
디지털 전환 시대의 온디바이스 AI = Digital transformation era on-device AI : technological paradigm shifts and impacts reflected in online media coverage : 온라인 언론 보도에 나타난 기술 패러다임의 변화와 영향력 송종휘, 서병석 p. 119-125
자율주행 데이터 구축 현황 = AUtonomous driving data construction status 임헌국 p. 126-131

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차