hsushihhsueh/blade-m

!Blade-M UI

This image is provided by Institute of Information Science, Academia Sinica, TAIWAN

Contact information:

• Chung-Yen Lin (***⁠)
• Shih-Hsueh Hsu (***)
• Wang Chiu Yu Wei (***)
• LAB website: [***]

摘要

BLADE 取「刀鋒」之意，象徵在海量生物醫學資訊中，精準剪切出最關鍵、最具臨床醫療價值的洞見。透過尖端的大型語言模型 (LLM) 與嚴格隔離的沙盒執行環境，BLADE‑M 讓使用者能以自然語言（繁體中文 / 英文）直觀地指令、探索與視覺化資料，並提供極致簡潔、通用的現代化使用者介面，同時確保資料隱私與計算安全。

目標與定位

• 支援多檔案格式的輸入生醫資料: 預設為all of us synthetic toy data，也支援多種結構化或半結構化的生醫資料（CSV、SQL、JSON ）載入進 PostgreSQL資料庫。

• 多尺度的大語言模型選擇: 除了提供預設ministral-3:8b與***:20b的docker版本外(不同docker tag)，也可根據GPU等級自行設定/增減模型，另外為M系列apple silicon用戶也提供外接ollama的解決方案。已測試過的硬體如下:

  • AIPC/Mac (32GB Unified Memory): ministral-3:14b
  • AIPC/Mac (16GB Unified Memory): ministral-3:8b
  • RXT3090 (24GB VRAM): devstral-small-2:24b
  • A100/H100 (80GB VRAM): devstral-2:123b
  • DGX Spark (128GB Unified Memory): devstral-2:123b

!Blade-M setting

• 與數據交互的有限狀態機(FSM)思維鏈提升分析品質: 為使小尺寸模型有能有好的分析品質，開發基於真實數據交互的思維鏈(由LLM agent串接)，此專案引入了有限狀態機(FSM)思考流程，與傳統Reasoning LLM Model的標準ReAct(Reasoning and Acting)模式相比，藉由限制強型別狀態(status)而換取更強的抗幻覺機制與更大的上下文窗口，自動化強化LLM分析品質(啟發自 Stephens, P., & Salawu, E. (2025). https://arxiv.org/html/2512.04469v1.)%E3%80%82

• 各使用者建立獨立的沙盒環境: sandbox 內的分析資料持久化至本機空間 ，可設定在任務結束即自動刪除相關資料表，確保資源回收與研究倫理(IRB)合規

Docker Command (Auto-run and open the browser on port 8093, langsmith is optional):

• Internal Ollama (e.g. cuda architecture GPU)

bash
docker run -d \
  --privileged \
  -p 8093:8093 \
  --gpus all \
  -e OLLAMA_MODEL=ministral-3:14b \
  -e LANGSMITH_API_KEY=<YOUR_API_KEY> \
  -e LANGSMITH_PROJECT=<YOUR_PROJECT> \
  --name blade-app \
  hsushihhsueh/blade-m:latest

• External Ollama (e.g. Macbook / Intel Iris GPU / Build with own ollama)

bash
docker run -d \
  --privileged \
  -p 8093:8093 \
  -e OLLAMA_API_URL=http://host.docker.internal:11434 \
  -e OLLAMA_MODEL=ministral-3:14b \
  -e LANGSMITH_API_KEY=<YOUR_API_KEY> \
  -e LANGSMITH_PROJECT=<YOUR_PROJECT> \
  --name blade-app \
  hsushihhsueh/blade-m:latest

Update

0.0.2:

• Add a “Reconnect” option that lets users preview a chat by entering its session ID.
• Automatically purge history that is older than seven days.
• Fixing UI bug on pull on not exist model
• Figure supports extra language e.g. 繁/簡體中文、한국어、にほんご

0.0.1:

• Executes successfully on a 2021 MacBook Air
  
• Executes successfully on a dgx spark
  
• Executes successfully on a PC (I5-9400F-CPU, 16GB-RAM, RTX1060-GPU)
  
• Executes successfully on a PC (Intel-Xeon-Gold-6230-CPU, 512GB-RAM, RTX3090-GPU)