WebUI for LLMs (Ollama WebUI) 사용법

WebUI for LLMs (Ollama WebUI) 
https://github.com/open-webui/open-webui

     - 설치 방법
https://docs.openwebui.com/getting-started/


//-------------------------------------
< 설치전 준비 사항 >

$ sudo apt-get update

    - apt에서 HTTPS 가능하게 설정
$ sudo apt-get install ca-certificates curl

     -  Docker apt keyring 폴더 생성
$ sudo install -m 0755 -d /etc/apt/keyrings

     - Docker's official GPG key 추가
$ sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

$ sudo chmod a+r /etc/apt/keyrings/docker.asc


     - apt 저장소 추가
$ echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

//-------------------------------------
     - ollama 설치
$ curl -fsSL https://ollama.com/install.sh | sh

     - ollama 시작
$ ollama serve

     - ollama 접속확인
http://127.0.0.1:11434/ 

 

 

//-----------------------------------------------------------------------------

< 참고 >

wsl 에서 docker 사용하기 ,  CUDA Docker, NVIDIA Container Toolkit 설치 방법

https://codens.tistory.com/2081

 

 

//-----------------------------------------------------------------------------
< webui 실행 >
     - docker 컨테이너 생성하고 시작
$ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

     - Nvidia CUDA 사용하는 경우
$ docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway --volume open-webui:/app/backend/data  --name open-webui-cuda --restart always ghcr.io/open-webui/open-webui:main


     - 참고 : GPU 지원 docker (ollama 포함 - 주의! 모델 새로 설치)
$ docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui-gpu --restart always ghcr.io/open-webui/open-webui:ollama


//-------------------------------------
     - docker 컨테이너가 생성된 후에는 이름으로 시작
$  docker start open-webui


//-------------------------------------
     - Open WebUI  접속
http://localhost:3000
          - id 생성 요구

     - model download 방법
settings -> Models -> Pull a model from Ollama.com
https://ollama.com/library 사이트에 있는 모델이름 입력


//-------------------------------------
     - 실행중인 컨테이너 보기
$  docker ps

$  docker ps -a   # 중지된 컨테이너도 보기

     - 실행중인 컨테이너 중지
$  docker stop <NAME>
$  docker stop open-web-ui