justinlittman/tweetsets-loader
justinlittman
自动构建
该容器用于将数据集加载到TweetSets工具中，支持创建、筛选符合***政策的研究用***数据集，并生成推文ID列表、提及节点/边等衍生数据。
下载次数: 0状态：自动构建维护者：justinlittman仓库类型：镜像最近更新：7 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
TweetSets Loader容器说明
镜像概述
TweetSets Loader是用于将数据集加载到TweetSets平台的Docker容器。TweetSets是面向研究与存档的数据集工具，允许用户筛选现有数据集、生成衍生数据，且严格遵循数据共享政策。
核心功能
- 加载JSON/JSON.gz格式的源数据集到TweetSets
- 支持public/local/both三种运行模式，适配不同数据共享场景
- 生成推文ID列表、提及节点/边等衍生数据
- 支持单机与集群部署，满足不同规模需求
- 兼容ElasticSearch索引，可结合Kibana进行可视化分析
使用场景
- 学术研究中***数据集的整理与分析
- 社交媒体数据存档及衍生数据生成
- 符合***政策的数据协作与共享
配置与部署
前提条件
- 已安装Docker和Docker Compose
- 按ElasticSearch文档设置
vm_max_map_count参数
单机部署步骤
- 创建数据目录：
bash
mkdir -p /tweetset_data/redis /tweetset_data/datasets /tweetset_data/elasticsearch/esdata1 /tweetset_data/elasticsearch/esdata2 chown -R 1000:1000 /tweetset_data/elasticsearch - 克隆仓库并进入配置目录：
bash
git clone https://github.com/justinlittman/TweetSets.git cd TweetSets/docker - 复制配置文件：
bash
cp example.docker-compose.yml docker-compose.yml cp example.env .env touch dataset_list_msg.txt - 编辑
.env配置参数后启动容器：bashdocker-compose up -d
加载数据集
- 准备源数据集（含推文文件与
dataset.json描述文件） - 运行loader容器加载数据：
bash
docker-compose run --rm loader /bin/bash python tweetset_loader.py create /dataset/path/to
集群部署
集群需1个主节点+2个以上子节点，主节点使用example.cluster-primary.docker-compose.yml，子节点使用example.cluster-node.docker-compose.yml配置，具体步骤参考原文档。
注意事项
- 确保数据目录有足够存储空间
- 集群部署需配置正确的网络IP与节点参数
- 如需HTTPS，需在
docker-compose.yml中启用nginx-proxy容器 - 加载数据时，新索引替换旧索引前会完成创建，不影响用户使用
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 tweetsets-loader 镜像标签
docker pull docker.xuanyuan.run/justinlittman/tweetsets-loader:<标签>
DockerHub 原生拉取命令
docker pull justinlittman/tweetsets-loader:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"