datastax/astra-assistants完全兼容的服务,支持持久化线程、文件、vector_stores、助手、检索、函数调用等功能,使用AstraDB(DataStax提供的数据库即服务,基于Apache Cassandra和jvector构建)实现数据存储。
支持数十种第三方LLM提供商(甚至本地模型)用于补全和嵌入功能(由LiteLLM提供支持)。
您可以使用我们托管的Astra Assistants服务,也可以自行托管开源API服务器。
通过Docker运行,首先从Docker Hub拉取镜像:
docker pull datastax/astra-assistants
如果不希望使用最新版本,可以指定特定版本:
docker pull datastax/astra-assistants:v0.2.18
然后运行(-p参数将Docker的8080端口映射到主机的8080端口):
docker run -p 8080:8080 datastax/astra-assistants
如需通过Docker Compose与ollama集成,请克隆仓库:
git clone ***:datastax/astra-assistants-api.git
然后运行examples目录下的docker-compose:
cd examples/ollama/gpu # 如需仅使用CPU,可选择examples/ollama/cpu;使用GPU需安装docker-toolkit docker-compose up -d
使用前需先拉取所需的ollama模型:
curl http://localhost:***/api/pull -d '{ "name": "deepseek-coder-v2" }'
助手客户端应路由到ollama容器,需设置OLLAMA_API_BASE_URL。使用docker-compose时,OLLAMA_API_BASE_URL应设为http://ollama:***;若本地运行ollama,可设为http://localhost:***。
manifest unknown 错误
TLS 证书验证失败
DNS 解析超时
410 错误:版本过低
402 错误:流量耗尽
身份认证失败错误
429 限流错误
凭证保存错误
来自真实用户的反馈,见证轩辕镜像的优质服务