srcd/ml

srcd/ml镜像说明

镜像概述

srcd/ml是源代码机器学习（MLonCode）领域的工具集与框架，为相关研究和开发提供基础支持。它抽象了特征提取与模型训练流程，让用户可专注于更高层次任务。该项目目前已演进为ml-core（独立于挖掘工具的核心模块）和ml-mining（通用挖掘环境）等独立项目，但原功能仍可参考。

核心功能

• 实现多种源代码机器学习模型：BOW（加权特征袋）、id2vec（代码标识符嵌入）、docfreq（TF-IDF文档频率）、源代码标识符主题建模
• 提供API与命令行两种交互接口
• 与source{d} engine紧密结合，实现特征提取并行化

使用场景

• 查找相似代码仓库（如vecino项目）
• 列出仓库主题（如tmsc项目）
• 代码片段主题建模（如snippet-ranger项目）
• 大规模源代码去重（如apollo项目）

配置说明

依赖安装

在Ubuntu系统需先安装原生库：

bash
apt install libxml2-dev libsnappy-dev

TensorFlow是必需依赖，可选择CPU或GPU版本，安装时需指定对应包（sourced-ml[tf]或sourced-ml[tf-gpu]）。

安装方式

包含Apache Spark

bash
pip3 install sourced-ml

使用现有Apache Spark

若已安装并配置$SPARK_HOME：

bash
pip3 install -e "$SPARK_HOME/python"
pip3 install sourced-ml

Docker部署示例

运行镜像查看帮助：

bash
docker run -it --rm docker.xuanyuan.run/srcd/ml --help

若出现Docker daemon连接错误，确认daemon运行后，可将用户加入docker组（参考Docker官方文档）。