나만의 AI 만들기 - LM Studio를 활용한 딥시크(DeepSeek) R1 사용하기

반응형

LM Studio 란? 

로컬 컴퓨터에서 LLM(대규모 언어 모델)을 쉽게 실행하고 실험할 수 있게 해주는 데스크탑 애플리케이션(Desktop Application)입니다. 윈도우, 맥, 리눅스에서 모드 사용 가능하며 인터넷 연결 없이 오프라인 환경에서 사용 가능합니다. ollama 가 CLI 환경인 반면 사용자 친화적인 GUI 환경을 제공하여 더욱 편리하고 사용하기 좋습니다. 

 

LM Studio 와 Ollama 비교 

LM Studio 의 만족도는 단연 Ollama 와 비교하여 압도적이라고 할 수 있습니다. 그 이유로는 CLI 환경이 아닌 GUI 환경을 제공한다는 점이 가장 큰 장점입니다. 또한, GUI 환경에서 여러 모델들을 다운로드 받아서 활용할 수 있다는 점에서 더욱 편리합니다. 반면 Ollama 의 경우는 ollama 사이트에서 모델을 일일이 검색하고 커맨드 라인으로 명령어를 입력받는 과정이 매우 번거롭습니다.

 

LM Studio UI 초간단 설명

LM Studio 0.3.8 (Build 4) 버전으로 글을 쓰는 시점에 최신의 버전입니다. LM Studio 는 크게 네가지 메뉴로 구성되어 있습니다. 첫번째 채팅 UI, 두번째, API 서버 구동, 세번째. 다운로드 받은 모델들의 목록, 네번째. 모델 다운로드 기능입니다. 

 

여기서 주목할 기능은 당연히 모델을 앱 내에서 다운로드하고 관리하는 기능입니다. 추가적인 웹사이트 접속 없이도 내가 원하는 모델들을 다운로드 받아서 사용해볼 수 있다는 점이 가장 두드러지는 장점입니다. 

 

모델을 다운로드 받았다면 Chat 메뉴로 이동하여 'Select a model to load" 를 클릭하거나 Ctrl + L 단축키를 통해 다운로드 받은 모델 중 원하는 모델을 선택하여 자유롭게 이용할 수 있습니다.

어떤 딥시크 모델을 다운로드 해야할지 모르겠어요

LLM 모델들은 다양한 크기의 모델을 제공합니다. 이를 파라미터 갯수로 표현하는데 1B, 7B, 14B 등으로 표현됩니다. 이는 파라미터 개수가 각각 10억개, 70억개, 140억개임을 의미합니다. 파라미터 개수가 커질 수록 연산하는데 더 많은 GPU 및 CPU 자원이 소모됩니다. 

 

딥시크 모델을 LM Studio 에서 검색하면 크게 Qwen 기반과 Llama 기반으로 구분됩니다. 딥시크는 영리하게도 디스틸레이션(증류) 기술을 이용해 큰 모델의 지식을 작은 모델로 전달하여 작은 모델이 더 적은 자원으로도 큰 모델과 유사한 성능을 내도록 만드는 기술활용하였습니다. 따라서, 아래의 모델 이름은 Qwen 또는 Llama 로부터 디스틸레이션을 통해 압축한 것이라는 의미입니다. 

Model	Base Model
DeepSeek-R1-Distill-Qwen-1.5B	Qwen2.5-Math-1.5B
DeepSeek-R1-Distill-Qwen-7B	Qwen2.5-Math-7B
DeepSeek-R1-Distill-Llama-8B	Llama-3.1-8B
DeepSeek-R1-Distill-Qwen-14B	Qwen2.5-14B
DeepSeek-R1-Distill-Qwen-32B	Qwen2.5-32B
DeepSeek-R1-Distill-Llama-70B	Llama-3.3-70B-Instruct

 

일반적으로 파라미터 갯수에 따라 구동이 적절한 사양은 아래의 내용을 고려하면 됩니다. 

모델	파라미터 개수	안정적인 구동을 위해 필요한 성능
deepseek-r1	1.5b	1.5B 파라미터, 약 2GB VRAM 필요. M2/M3 맥북 에어(8GB RAM 이상) 권장16.
deepseek-r1	7b	7B 파라미터, 약 5GB VRAM 필요. M2/M3/M4 맥북 프로(16GB RAM 이상) 권장16.
deepseek-r1	14b	14B 파라미터, 약 10GB VRAM 필요. M2/M3/M4 프로 맥북 프로(32GB RAM 이상) 권장

 

딥시크 모델을 다운로드 받고 실행한 결과 

LM Studio에서 테스트한 모델은 DeepSeek R1 Distill (Qwen 7B)와 DeepSeek R1 Distill (Llama 8B)이다. 영어 등에서는 매우 잘 동작하는 것으로 보이나 한국어는 제대로 반응하지 못하는 것으로 보인다. 오히려 Qwen 2.5 Coder 3B Instruct 또는 Gemma 2 2B Instruct 가 매개변수가 적은데도 불구하고 한국어 등을 오히려 잘 인식하는 모습을 보였다. 즉, 한국어를 잘 지원하는 여부는 매개변수 갯수와는 관계없는 것으로 보인다. 만약, 영어 사용자라면 편하게 사용할 수 있을 것이다. 

 

또한, 딥시크의 가장 큰 특징 중에 하나인 사고하는 과정을 살펴볼 수 있다는 점에서 의의가 깊다. 사고하는 과정에 오류가 있는지 등을 같이 살펴보는 재미가 있을 것이다. 

 

 

참고

https://huggingface.co/deepseek-ai/DeepSeek-R1

deepseek-ai/DeepSeek-R1 · Hugging Face