monudj/geoipbeam

GeoipBeam

镜像概述和主要用途

GeoipBeam是一个预配置的Apache Beam Docker容器，内置geoip2 Python库、对应的C扩展以及最新的Maxmind City数据库。该镜像旨在简化在Apache Beam数据处理管道或GCP Dataflow中集成IP到地理位置（IP -> Geolocation）查询功能的过程，帮助开发者快速实现相关数据处理需求。

核心功能和特性

• 预安装组件：包含geoip2 Python库及其C扩展，确保高效的IP地理查询性能
• 最新数据库：集成最新的Maxmind City数据库，提供准确的地理位置信息
• 无缝集成：可直接用于Apache Beam管道或GCP Dataflow，无需额外配置依赖
• 开箱即用：省去手动安装库和数据库的步骤，缩短开发周期

使用场景和适用范围

• 日志分析：解析服务器日志中的IP地址，获取访问者的地理位置信息
• 用户行为分析：结合用户IP地址，分析不同地区用户的行为模式
• 数据增强：在数据处理管道中为IP相关数据添加地理位置属性
• 适用人群：Apache Beam或GCP Dataflow开发者、数据工程师、需要进行IP地理查询的数据处理人员

使用方法和配置说明

基本使用

1. 拉取镜像
   从Docker仓库拉取GeoipBeam镜像（具体仓库地址请参考项目GitHub）：

   bash
   docker pull docker.xuanyuan.run/[镜像仓库地址]/geoipbeam:latest
   

2. 运行容器
   启动容器并挂载必要的Beam管道代码目录：

   bash
   docker run -v /path/to/beam/pipeline:/app docker.xuanyuan.run/[镜像仓库地址]/geoipbeam:latest
   

在Beam管道中使用

在Apache Beam Python管道中，可直接导入geoip2库进行IP地理查询，示例代码片段：

python
import geoip2.database

def get_geolocation(ip):
    with geoip2.database.Reader('/path/to/GeoLite2-City.mmdb') as reader:
        try:
            response = reader.city(ip)
            return {
                'country': response.country.name,
                'city': response.city.name,
                'latitude': response.location.latitude,
                'longitude': response.location.longitude
            }
        except:
            return None

# 在Beam管道中应用
beam_pipeline = (
    pipeline
    | 'Read data' >> beam.io.ReadFromText('input_data.txt')
    | 'Extract IP' >> beam.Map(lambda x: x.split(',')[0])  # 假设IP在数据的第一列
    | 'Get Geolocation' >> beam.Map(get_geolocation)
    | 'Write results' >> beam.io.WriteToText('output_results.txt')
)

更多信息

详细的使用说明、配置选项及更新日志，请参考项目GitHub：https://github.com/monutech/geoipbeam