eubrabigsea/juicer

Juicer

Juicer是Lemonade的工作流处理器管理器，其核心职责包括：

1. 从Citron接收JSON格式的工作流规范，并将其转换为可执行代码。当前版本仅将代码“转译”为Python语言（解释型），可在Apache Spark中运行。
2. 执行生成的代码，控制执行流程。
3. 向用户界面（Citron）报告执行状态。
4. 与Li*** API交互以创建新的中间数据集。此类数据集除非明确指定，否则不能用作其他工作流的输入，主要用于Citron向用户展示中间处理数据。

在底层，Lemonade生成面向分布式处理平台（如COMPSs或Spark）的代码。当前版本仅支持Spark，且以批处理模式执行。未来版本可能实现交互式执行支持，这种执行方式的优势在于保持Spark上下文加载可减少启动处理环境和数据加载时的开销，类似于Jupyter、Cloudera Hue和Databricks notebook等数据分析笔记本的实现方式。

其他可选依赖

MLlib算法可使用OpenBlas/Atlas优化，因此需要安装libgfortran3、libatlas3-base和libopenblas-base等包。若使用Debian/Ubuntu系统，可通过以下命令安装这些库：

bash
sudo apt-get install libatlas3-base libopenblas-base libqhull-dev libpng-dev \ 
       libfreetype6-dev libgfortran10-dev libatlas-base-dev libffi-dev

若应用报告警告信息：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable，需将$HADOOP_HOME/lib/native添加到LD_LIBRARY_PATH：

bash
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native

配置

所有配置通过位于conf/juicer-config.yaml的Yaml文件定义，结构如下：

yaml
juicer:
    debug: true
    servers:
        database_url: mysql+pymysql://user:password@server:port/database
        redis_url: redis://redis_server:6379
    services:
        tahiti:
            url: http://server/tahiti
            auth_token: "authorization_token"
    config:
        tmp_dir: /tmp

配置模板文件位于conf/juicer-config.yaml.template。

运行

bash
cd <下载目录>
./sbin/juicer-daemon.sh start

检查守护进程状态：

bash
./sbin/juicer-daemon.sh status

停止守护进程：

bash
./sbin/juicer-daemon.sh stop

国际化

Juicer使用GNU gettext格式进行国际化（i18n）。在项目根目录下，通过以下命令生成翻译文件（*.mo文件）：

bash
pybabel extract -F babel.cfg -o juicer/i18n/juicer.pot .
pybabel compile -d juicer/i18n/locales

若需将Juicer翻译为其他语言，使用以下命令添加新的消息文件（es_ES为区域代码）：

bash
pybabel init -i juicer/i18n/juicer.pot -d juicer/i18n/locales -l es

提取新消息并写入模板文件：

bash
pybabel extract -F babel.cfg -o juicer/i18n/juicer.pot .