LoRA 파인튜닝과 양자화를 활용한 경량 Vision–Language Model의 객체 선택 성능 평가
ICC 2026 지능정보 및 제어 학술대회
연구 요약 +
본 연구는 물류 현장에서 요구되는 툴 선택 문제를 반영하기 위해, 현업 적용 가능성을 고려한 튜토리얼형 시각-언어 추론 작업을 설계하고 이를 기반으로 경량 모델의 성능을 검증하였다. 실제 산업 환경에서는 작업 대상과 작업 공간의 형태를 관찰한 뒤 어떤 툴이 가장 적합한지를 선택해야 하며, 이 과정에서 추론 정확도뿐 아니라 비용, 지연시간, 네트워크 의존성, 하드웨어 제약까지 함께 고려되어야 한다. 이러한 이유로 클라우드 기반 대형 모델보다 온디바이스에서 동작 가능한 경량 모델의 활용 가능성이 중요하다. 이에 해당 연구는 복잡한 현업 문제를 직접 다루기보다, 핵심 의사결정 구조를 반영한 튜토리얼형 테트리스 객체 선택 문제로 단순화하여 모델의 성능을 평가하였다. 입력은 단일 Top-view 이미지이며, 모델은 작업대와 후보 객체를 바탕으로 가장 적합한 객체를 선택해야 한다. 이를 위해 Qwen3-VL-4B 기반 경량 비전언어모델에 LoRA(Low-Rank Adaptation) 파인튜닝을 적용하였고 양자화 모델 및 GPT-5.1 기반 API 추론과 성능을 비교하였다. 실험 결과, LoRA 파인튜닝 모델은 51.49%의 정확도로 GPT-5.1 대비 우수한 성능을 보였으며, 4-bit 양자화를 적용한 경우 정확도는 일부 감소하였으나 GPU 메모리 사용량은 약 8.9GB에서 3.24GB로 크게 감소하였다. 또한 추론 지연시간은 약 524ms 수준으로 유지되어, 제한된 자원 환경에서도 효율적인 온디바이스 추론이 가능함을 확인하였다.