서울과학기술대학교 전기정보공학과 Intelligent Digital Systems Design Lab(지능형 디지털 시스템 설계 연구실, https://idsl.seoultech.ac.kr) 김현 교수 연구팀은 2026년 7월 서울에서 개최된 BK21 선정 국제학술대회인 ICML 2026에서 “SPLIT-VLM: Salience-Guided Partitioning towards Local Coverage for Importance-Aware Token Dropping in Vision-Language Models”와 “WAVE: Window-Aware Vocabulary-Efficient Early-Exit for Training-Free LLM Acceleration” 논문 2편을 발표하였다. SPLIT-VLM에는 이승일 박사와 이길하 박사과정이 공동 제1저자로, WAVE에는 김성근 석사과정이 제1저자로 참여하였다.

 ICML(International Conference on Machine Learning)은 학습 이론, 심층 신경망, 강화학습, 최적화, 생성 모델 및 인공지능 응용 시스템 등 머신러닝 전반의 연구를 다루는 세계 최고 수준의 국제학술대회이다.

▲ (왼쪽부터)전기정보공학과 김현 교수 연구팀 박사과정 이길하, 석사과정 김성근

 첫 번째 논문 SPLIT-VLM은 대규모 시각-언어 모델에서 연산량과 메모리 사용량을 증가시키는 비전 토큰을 효과적으로 줄이는 기법을 제안하였다. 토큰의 중요도와 시각적 다양성을 함께 고려하여 핵심 정보를 보존하며, LLaVA-1.5-7B에서 비전 토큰을 192개로 줄인 경우에도 기존 성능의 99% 이상을 유지하였다. 해당 논문은 과학기술정보통신부 및 정보통신기획평가원의 대학ICT연구센터육성지원사업(IITP-2026-RS-2022-00156295)과 산업통상자원부의 「융합메모리와 고속 연산 엔진 제어를 위한 하드웨어/소프트웨어 융합 메모리 솔루션 기술 개발」 사업의 지원을 받아 수행되었다(RS-2022-00155731).

 두 번째 논문 WAVE는 대규모 언어 모델의 불필요한 Transformer 계층 연산을 줄이는 학습 없는 조기 종료 기법을 제안하였다. 조기 종료 판단 구간과 축소된 LM Head를 활용해 판단 연산량을 약 87% 절감하였으며, LLaMA-2 7B에서 성능을 유지하면서 평균 약 1.4배의 추론 속도 향상을 달성하였다. 해당 연구는 2020년도 정부(과학기술정보통신부)의 재원으로 정보통신기획평가원의 지원을 받아 수행되었다(No.2020-0-01305).