Dream 7Bを4bit量子化したDream-v0-Instruct-7B-4bitをDockerで簡単に動かせるようにしました.

app.pyのほとんどは生成過程が見れる本家のコードを修正したものです. 変更箇所はapp.py上でコメントアウトしているので確認できます.

動作確認をした環境

• OS: Ubuntu 22.04.5 LTS(WSL2)
• GPU: RTX 4070(VRAM 12GB)
• Docker: 27.3.1, build ce12230

1. UID/GIDが1000以外の場合, .env.templateをコピーして.envを作り適切に設定してください.
2. Dockerを使い起動します.

docker compose up --build

3. ブラウザでhttp://localhost:7860/にアクセスします.

1. 必要なライブラリをインストールします.(CUDNNなどは入っている前提)

pip install torch==2.5.1+cu121 --index-url https://download.pytorch.org/whl/cu121
pip install transformers==4.46.2 bitsandbytes==0.43.2 gradio==5.31.0

2. 実行します.

python app.py

3. ブラウザでhttp://localhost:7860/にアクセスします.