LLM 앱 개발을 위한 첫걸음 양자화 모델이란?

모델의 성능 최적화를 위한 양자화 모델이란?  

양자화 모델의 사용은 딥러닝 모델의 성능을 유지하면서 크기를 줄이고 추론 속도를 높이는 효과적인 방법이라고 알려져 있습니다. 양자화라고 표현되는 방법을 통해 모델의 가중치와 활성화 함수 출력을 더 작은 비트수로 표현하는 기법입니다. 

 

예를들어 32비트 부동소수점(FP32)을 8비트 정수(INT8)나 4비트로 변환하여 모델의 크기를 줄이고 연산 속도를 높입니다. 일반적으로 소수점 계산을 하는 것보다 정수 계산이 훨씬 간단하는 점을 상기시키면 이해가 쉽습니다. 

 

양자화를 사용했을때 어떤 효과를 볼 수 있나요? 

양자화를 통해 모델의 크기와 연산 속도를 향상시킬 수 있습니다. 메모리 사용량이 최대 75%까지 줄일 수 있습니다. 또한 실제 모델에 대한 응답을 얻는 속도와 관련된 추론 속도가 최대 2~4배 빨라집니다. 이러한 장점들을 정리하면 아래와 같습니다. 

양자화 장점	설명
모델 크기 감소	메모리 사용량이 최대 75%까지 감소
추론 속도 향상	연산 속도가 2~4배 빨라짐
에너지 효율성	모바일 기기에서 구동 고려시 중요

 

양자화 기법의 종류 

양자화 기법으로 동적 양자화, 정적 양자화 그리고 양자화 인식 학습이 있습니다. 이들의 특성을 정리하면 다음과 같습니다.

기법	적합 모델	설명
동적 양자화(Dynamic Quantization)	BERT	가중치만 양자화하고 활성화 함수는 추론 시 동적으로 양자화하는 방식
정적 양자화(Static Quantization)	CNN	가중치와 활성화 함수 모두 사전에 양자화
양자화 인식 학습(Quantization Aware Training, QAT)	-	학습 중에 양자화를 고려하여 모델을 조정 가장 높은 정확도를 제공하는 방식

 

양자화 방식은 만능인가?

양자화로 인한 정확도 손실이 발생할 수 있으므로 모델의 성능을 주의깊게 모니터링해야 합니다. 모델의 특성과 사용 환경에 따라 적절한 양자화 기법을 선택하도록 합니다. 양자화 모델을 사용할 경우 제한된 리소스 환경에서도 고성능 딥러닝 모델을 효율적으로 운용할 수 있습니다. 

 

양자화 모델을 선택하는 방법과 태그 방식에 대한 이해 

ollama, lm studio를 통해서 사용할 모델들을 검토할 때, 모델의 이름을 통해서 양자화 정도와 여부를 식별할 수 있습니다. 모델의 이름에 아래의 표와 같은 양자화 태그를 식별하여 모델의 양자화 정도를 판단합니다. 

양자화 태그	설명
fp16	가장 큰 (최소 양자화) 버전
q8_0	높은 품질, 약간의 크기 감소
q4_K_M	균형 잡힌 품질과 크기
q3_K_S	매우 작은 크기, 품질 손실 큼

 

LM Studio에서 실제로 양자화 옵션을 선택해보기

LM Studio 또는 Ollama 웹사이트에서 모델을 다운로드할 때, 모델을 선택하고 다운로드 옵션을 선택하면 양자화 수준과 모델의 크기를 골라서 다운로드 할 수 있습니다. 

 

끝.