datajoint/datajoint-dev

DataJoint for Python Docker镜像

镜像概述和主要用途

DataJoint for Python是基于关系原理的科学工作流管理框架，构建在关系数据模型基础上，提供数据组织、填充、计算和查询的一致方法。该Docker镜像用于DataJoint的开发，但已弃用。最初由Dimitri Yatsenko于2009年在Andreas Tolias实验室开发，用于处理实验产生的大量数据，2011年成为开源项目，现由Vathes LLC支持，其DataJoint Neuro业务为神经科学实验室提供数据管道开发支持。

核心功能和特性

• 基于关系数据模型的科学工作流管理
• 支持数据组织、填充、计算和查询的标准化流程
• DataJoint 0.12版本新增Python原生Blob支持：元组、列表、集合、字典、字符串、字节、None及其递归组合
• 向后兼容旧版功能，但部分Python类型在新旧版本中可能返回不同对象类型
• 默认禁用Python原生Blob支持（0.13版本将移除限制），可通过配置手动启用

使用场景和适用范围

• 科学实验室，尤其是神经科学实验室的数据管理
• 处理和管理大量实验数据的工作流环境
• DataJoint框架的开发与测试

详细使用方法和配置说明

安装

通过pip安装DataJoint：

bash
pip3 install datajoint

若已安装旧版本，升级命令：

bash
pip3 install --upgrade datajoint

Python原生Blobs配置

DataJoint 0.12支持Python原生数据类型的Blob存储，但默认禁用。启用配置：

python
import datajoint as dj
dj.config["enable_python_native_blobs"] = True

启用条件（需同时满足）：

• 现有管道中仅插入过数值数组类型的Blob
• 不需要在Python和MATLAB之间共享Blob数据

兼容性说明：

• 旧版本（0.11及之前）插入的字典等类型会被转换为numpy结构化数组，启用原生Blob后插入的字典将返回为dict类型
• DataJoint for MATLAB尚不支持解析Python原生数据类型
• 默认禁用状态下，插入非numpy数组类型会抛出异常，确保安全迁移

迁移策略：

• 直接存储numpy结构化数组或多维数组以保持MATLAB兼容性
• 调整下游代码以处理新旧格式数据
• 迁移数据到新schema，转换Blob为统一类型后重新插入
• 删除/重新计算导入/计算表以使用新格式

文档和教程

• 起始页：[***]
• 最新文档：[***]
• 分步教程：[***]
• 示例管道目录：[***]

本地运行测试

环境配置

1. 创建.env文件设置开发环境变量：

sh
PY_VER=3.7
ALPINE_VER=3.10
MYSQL_VER=5.7
MINIO_VER=RELEASE.2019-09-26T19-42-35Z
UID=1000
GID=1000

2. 复制配置文件：

bash
cp local-docker-compose.yml docker-compose.yml

3. 启动容器（注意配置的JUPYTER_PASSWORD）：

bash
docker-compose up -d

4. 在/etc/hosts中添加条目：

127.0.0.1 fakeservices.datajoint.io

测试用例示例

终端和Notebook启动

启动Docker终端

bash
docker exec -it datajoint-python_app_1 sh

启动本地终端

• 参考local-docker-compose.yml中的datajoint-python_app环境变量
• 导出环境变量到shell
• 添加hosts条目：127.0.0.1 fakeservices.datajoint.io

启动Jupyter Notebook

• 访问localhost:8888
• 输入Jupyter密码
• 新建Notebook（New > Python 3）