딥시크(DeepSeek)로 로컬 LLM 구축하기: 쉽고 빠른 AI 모델 활용법

 

 

 

설치 사이트

Anaconda | Built to Advance Open Source AI

Start Locally

🤗 Transformers

Ollama

 

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

---

1. 아나콘다 설치하기 (가상환경 만들기)

1. 공식 웹사이트로 이동합니다.
2. "Download" 페이지에서 운영체제(Windows, macOS, Linux)에 맞는 버전을 선택합니다.
3. Python 3.x 기반의 최신 아나콘다 설치 파일을 다운로드합니다.

Windows

1. 다운로드한 .exe 파일을 실행합니다.
2. "Next"를 클릭하고, "I Agree"를 선택하여 라이선스를 동의합니다.
3. "Just Me" 또는 "All Users"를 선택합니다. (개인 사용자라면 "Just Me" 추천)
4. 설치 경로를 지정한 후 "Next"를 클릭합니다.
5. "Add Anaconda to PATH environment variable" 옵션은 체크하지 않습니다.
6. 설치가 완료되면 "Finish"를 클릭합니다.

macOS & Linux

1. 터미널을 열고 다운로드한 .sh 파일이 있는 디렉터리로 이동합니다.
2. 아래 명령어를 실행합니다. 
3. bash
   복사편집
   bash Anaconda3-*.sh
4. 라이선스 동의 후 설치 경로를 지정합니다.
5. 설치가 완료되면 conda 명령어를 사용할 수 있도록 설정합니다.
   bash

   복사편집

   source ~/.bashrc

---

3. 설치 확인 및 기본 설정

설치가 정상적으로 완료되었는지 확인하려면 터미널(또는 명령 프롬프트)에서 다음 명령을 실행하세요.

bash

복사편집

conda --version

정상적으로 설치되었다면, 설치된 Conda 버전이 출력됩니다.

---

4. 가상 환경 만들기 및 사용법

아나콘다에서는 프로젝트별로 가상 환경을 만들 수 있습니다.

bash

복사편집

conda create -n myenv python=3.11 -> 반드시 3.11 버전을 설치해주세요!

환경을 활성화하려면:

bash

복사편집

conda activate myenv

환경을 비활성화하려면:

bash

복사편집

conda deactivate

---

2. 파이토치 설치하기

Command

 

- 내 PC와 맞는 환경의 설치 Command를 anaconda 가상환경에서 실행시켜줍니다.

 

- Windows & CUDA 11.8 이라면? 

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

3. 트랜스포머 설치하기

- 아래 명령어를 통해 설치해줍니다.

pip install transformers

4. open-webui 설치하기 

- 아래 명령어를 통해 설치해줍니다.

pip install open-webui

- 아래 코드를 통해 서버를 실행시켜줍니다. 

open-webui serve

 http://localhost:8080 <- 접속 주소, 8080 포트

5. 올라마 설치하기

- 다운로드 버튼을 눌러 설치파일을 다운받자.

6. 올라마 모델 당겨오기

- 아래 주소에서 모델을 선택해서 명령어를 통해 불러온다.

Ollama Search

ollama pull deepseek-r1:7b

 

7. 실행하기

아나콘다 가상환경에서 아래 명령어 실행

open-webui serve

 

http://localhost:8080 <- 으로 접속

 

위 화면에서 모델 선택 후 사용가능