Cilab與曹松清畫家合作的手機端的VR美術館，可上架到ios、android系統的手機上，館內的畫作由畫家繪製，本專案利用Pika、Sora等工具將畫作製作成動畫，並置於自製的VR虛擬環境中讓觀眾觀賞
本專案分成三大部分：Unity開發app、影片生成、影片聲音
九月：直接clone此專案，沒學長允許不要push
九月後：先fork此專案後clone，之後就幾乎都在fork上開發，等到需要上傳的時候才發pull request
下載unity hub，然後在unity hub下載2022.3.56f1版本的editor，記得選Android support
裡面有很多美術館用的到的材質跟物件
裡面有很多的Post Processing效果，簡單來說就是濾鏡
目前此專案只用了他提供的Player物件並參考相關腳本
- Unity中如果要新增畫作，複製一個畫作物件，命名為[畫作名]
- 將影片放到Assets/Resources/video資料夾，圖片放到Assets/Resources/image
- 在Assets/Resources/video中create一個Render texture物件(VideoOutput物件)命名為VideoOutput[畫作簡稱]大小設為跟畫作等比例(比原本大即可)
- 將他的VideoOutput物件及畫作品影片放到Video Player物件中
- 將畫作圖片放到image物件中
- VideoOutput也要放入video的Raw Image中
- 最後調整畫作物件的video、image大小(必須一樣大)及其碰撞箱大小，以及frame的大小
- 將畫作的Discription放到合適的位置並放上對應的文字
- 將整個畫作物件放到你要的位置
- 雖然遊戲有兩個模式(手機、VR)但本專案的遊戲主場景只有一個，即Game Scene，會根據Menu場景的選擇來挑選遊戲格式，啟用對應按鈕及遊戲運作模式
- 如果unity中測試畫面(渲染)跟手機畫面不太一樣很正常
- 每個場景都可能會有2D部分跟3D部分，2D部分就是放在Canvas物件中的元素會直接顯示在使用者遊玩的畫面上，3D部分則是使用者看到的場景
- Game Scene採用動態的方式載入影片內容以避免未來持續擴充造成的當機問題
- 元智大展將推翻舊有cardboard VＲ模式，有真正的VR眼鏡VIVE的Branch(這才是元智大展真的要上的code)，但在手機板仍須同步持續新增畫作與擴建美術館(九月至少要擴增到總數15幅，為元智大展做準備)
- 目前安卓部分僅上架到github page，這很不方便使用者更新，也不適合未來維護，未來安卓部分請上架到Play Store
使用Pika labs： https://hackmd.io/@2e8MJipGRW2qQ0gzEQbgWA/HJQh-VHXlx
或使用framePackStoryboard(開發中，未來比賽用)
MMAudio 是一個音訊生成系統，支援 CLI 和 Gradio 網頁操作。以下為本地端安裝與使用說明。
- Python 3.9+
- PyTorch 2.5.1+（需搭配正確版本的
torchvision與torchaudio，依照你機器的 CUDA 驅動版本選擇）
使用 CUDA 11.8 的 PyTorch 安裝指令如下：
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade-
下載原始碼
git clone https://github.com/hkchengrex/MMAudio.git cd MMAudio -
安裝本地套件
pip install -e .若出現
setup.py not found錯誤，請先升級 pip：pip install --upgrade pip
-
在 MMAudio 資料夾中新建一個資料夾 input
-
把要生成聲音模型的影片放到 input 資料夾當中
-
命令列模式
python demo.py --duration 8 --video "input\你的影片名字.mp4" --prompt "裡面是你要打的東西（用英文）" --negative_prompt "裡面是你要打的東西（用英文）"
duration 後面的8代表秒數（看你影片多長就改成幾秒）
-
跑跑跑！等待一下（應該不超過5分鐘）
-
產生的音訊（.flac）與影片（.mp4）會輸出至 output 資料夾。