gwul/tweetsets-server

TweetSets

https://zenodo.org/badge/91485768.svg](https://zenodo.org/badge/latestdoi/91485768)

用于研究和归档的***数据集工具。

概述

TweetSets允许用户：（1）从现有数据集选择；（2）通过关键词、标签等参数筛选数据集；（3）生成并下载衍生数据（如推文ID列表、提及节点/边）。其多模式运行机制确保符合***政策，禁止向第三方分享完整推文。

核心功能与特性

• 从现有数据集创建自定义***数据集
• 支持关键词、标签等多维度筛选
• 生成推文ID、提及网络等衍生数据
• 多模式运行（public/local/both），确保合规
• 支持ElasticSearch集群部署
• 集成Kibana进行数据可视化
• 提供Spark加载选项处理大规模数据

使用场景

• 学术研究：获取合规的***数据集进行分析
• 数据归档：长期保存***数据用于后续研究
• 网络分析：生成提及节点/边数据进行社交网络研究
• 合规共享：通过public模式分享无完整推文的数据集

安装与配置

前提条件

• Docker及Docker-compose
• 按https://www.elastic.co/guide/en/elasticsearch/reference/current/docker.html%E8%AE%BE%E7%BD%AE%60vm_max_map_count%60

非集群安装

1. 创建数据目录：

   bash
   mkdir -p /tweetset_data/redis
   mkdir -p /tweetset_data/datasets
   mkdir -p /tweetset_data/full_datasets
   mkdir -p /tweetset_data/elasticsearch/esdata1
   mkdir -p /tweetset_data/elasticsearch/esdata2
   chown -R 1000:1000 /tweetset_data/elasticsearch
   

   （OS X需设置redis和esdata<number>目录为ugo+rwx）

2. 创建数据集加载目录：

   bash
   mkdir /datasets_loading
   

3. 克隆仓库：

   bash
   git clone https://github.com/gwu-libraries/TweetSets.git
   cd docker
   

4. 复制配置文件：

   bash
   cp example.docker-compose.yml docker-compose.yml
   cp example.env .env
   

5. 编辑.env文件（按注释配置），创建dataset_list_msg.txt：

   bash
   touch dataset_list_msg.txt
   

6. 启动容器：

   bash
   docker-compose up -d
   

集群安装

主节点

1. 创建数据目录（需NFS共享full_datasets和datasets_loading）：

   bash
   mkdir -p /tweetset_data/redis
   mkdir -p /tweetset_data/datasets
   mkdir -p /tweetset_data/full_datasets
   mkdir -p /tweetset_data/elasticsearch
   chown -R 1000:1000 /tweetset_data/elasticsearch
   mkdir /datasets_loading
   

2. 配置NFS挂载（参考https://github.com/gwu-libraries/TweetSets/wiki/Setting-up-NFS-mounts-for-cluster-mode%EF%BC%89%E3%80%82

3. 克隆仓库并复制集群配置：

   bash
   git clone https://github.com/gwu-libraries/TweetSets.git
   cd docker
   cp example.cluster-primary.docker-compose.yml docker-compose.yml
   cp example.env .env
   

4. 编辑.env并创建dataset_list_msg.txt。

集群节点

1. 创建数据目录：

   bash
   mkdir -p /tweetset_data/elasticsearch
   mkdir -p /tweetset_data/full_datasets
   chown -R 1000:1000 /tweetset_data/elasticsearch
   mkdir /datasets_loading
   

2. 配置NFS挂载，复制集群节点配置：

   bash
   git clone https://github.com/gwu-libraries/TweetSets.git
   cd docker
   cp example.cluster-node.docker-compose.yml docker-compose.yml
   cp example.cluster-node.env .env
   

3. 编辑.env（需设置2个节点MASTER=true），启动容器：

   bash
   docker-compose up -d
   

加载数据集

准备源数据集

1. 在.env配置的目录下创建数据集目录。
2. 放置JSON或JSON.gz格式的推文文件。
3. 创建dataset.json（参考example.dataset.json格式）。

普通加载

bash
docker-compose run --rm loader /bin/bash
python tweetset_loader.py create /dataset/path/to

Spark加载（集群模式）

bash
docker-compose -f loader.docker-compose.yml run --rm loader /bin/bash
spark-submit \
--jars elasticsearch-hadoop.jar \
--master spark://$SPARK_MASTER_HOST:7101 \
--py-files dist/TweetSets-2.2.0-py3.8.egg,dependencies.zip \
--conf spark.driver.bindAddress=0.0.0.0 \
--conf spark.driver.host=$SPARK_DRIVER_HOST \
--conf spark.driver.port=7003 \
--conf spark.blockManager.port=7020 \
tweetset_loader.py spark-create /dataset/path/to

Kibana集成

• 取消docker-compose.yml中Kibana服务注释，默认端口5601。
• 首次启动需选择索引模式（格式：_tweets-<dataset id>）。

引用格式

Justin Littman, Laura Wrubel, Dan Kerchner, Dolsy Smith, Will Bonnett. (2020). TweetSets. Zenodo. https://doi.org/10.5281/zenodo.1289426

开发

• 单元测试：python -m unittest（容器外运行）。
• Spark加载测试：在loader容器内运行python -m unittest。

待办事项

• 加载：支持推文ID列表 hydration
• 筛选：按提及用户ID、用户ID、认证用户筛选
• 衍生数据：增加URL、引用/转发等衍生类型，支持Gephi格式
• Kibana：多用户支持、持久化、默认仪表盘