Общая база знаний с сайта https://pro-palliativ.ru/
Установите докер с официального сайта: https://docs.docker.com/get-docker/
Загрузите к себе на компьютер/сервер папку с кодом:
git clone https://github.com/Sansan4ez/uhod_pro_palliative.git
Создайте файл '.env' в корне по образцу '.env.example' (замените значения OPENAI_API_KEY, BOT_TOKEN)
OPENAI_API_KEY можно получить по адресу http://openai.com
-
Перед запуском бекэнда проверьте, чтобы у докера в настройках было достаточно места на диске выделено: нужно около 9 Гб для развертывания.
-
Запустите терминал, перейдите в папку проекта и запустите команду:
docker compose up -d
Подождите, пока скачаются необходимые библиотеки в образы Докер. При первом запуске это может занять чуть больше часа, повторные запуски будут в течение нескольких секунд.
- Добавление векторной базы
В бэкенде сразу не будет векторной базы. Чтобы ее добавить есть два варианта:
При изменение базы знаний, необходимо заново создать векторную базу. Для этого в терминале введите команду:
docker compose exec pf_backend /bin/bash -c "source /opt/conda/etc/profile.d/conda.sh && conda activate promptflow-serve && python /flow/create_search.py"
- открыть в браузере адрес:'http://localhost:6333/dashboard#/collections'
- нажать кнопку "Upload snapshot",
- далее ввести название коллекции "QDRANT_COLLECTION_NAME" и
- выбрать сохраненный на диске снимок векторной базы.
- Сделать какой-нибудь запрос через веб-интерфейс, чтобы подгрузить локальные модели для полнотекстового поиска и ранжирования в контейнер.
Например: "Ты кто?" Веб-интерфейс для общения с ботом доступен по адресу: 'http://localhost:8080/', для начала общения необходимо нажать кнопку "Новый чат".
- Сохранить изменения в образе с помощью двух коммитов:
docker commit pall_assistant-pf_backend-1 pf_backend:v0.9.0 && docker commit pall_assistant-qdrant_vb-1 qdrant/qdrant:v1.8.4
Теперь при включении векторная база и локальные модели будут сразу подключены.
Для остановки и удаления контейнеров с бэкендом запустите терминал, перейдите в папку проекта и запустите команду:
docker compose down