bostongov/basic

Python数据处理与集成工具镜像

镜像概述

本Docker镜像提供了一个预配置的Python环境，集成了多种常用数据处理、数据库连接、网络请求及Web解析工具。通过预装各类Python库，可快速部署用于数据处理、ETL（抽取-转换-加载）任务、数据分析及自动化脚本执行等场景，避免手动配置依赖的复杂性。

核心功能与特性

数据库连接支持

• PostgreSQL：通过psycopg2=2.6.2实现PostgreSQL数据库连接与操作
• SQL Server：通过pymssql=2.1.4支持SQL Server数据库交互
• IBM DB：通过ibm-db=3.0.0提供IBM数据库连接能力

数据处理与分析

• 数据结构与分析：pandas=0.24.0（数据处理）、numpy=1.16.0（数值计算）
• 可视化：matplotlib=2.2.2（数据可视化）
• 地理数据处理：shapely=1.6.4.post2（空间几何计算）
• 文件处理：xlsxwriter=1.0.2（Excel文件生成）、zipfile36=0.1.3（ZIP文件操作）

网络请求与Web解析

• HTTP请求：requests=2.21.0、urllib3=1.24.1（网络请求处理）
• Web解析：beautifulsoup4=4.7.1、lxml=4.3.0（HTML/XML解析）
• API交互：ckanapi=4.1（CKAN API客户端）、google-api-python-client=1.7.8（Google API客户端）

开发与测试工具

• 测试框架：pytest=3.1.3、pytest-mock=1.10.1（单元测试）
• 模拟工具：responses=0.10.6（HTTP响应模拟）
• 模板引擎：Jinja2=2.10.1（模板渲染）

使用场景与适用范围

• 数据ETL任务：连接多种数据库进行数据抽取、转换和加载
• 数据分析与报告生成：利用pandas、matplotlib进行数据处理与可视化报告生成
• Web数据爬取：通过requests和beautifulsoup4抓取并解析网页数据
• 自动化脚本执行：运行依赖多库的Python自动化脚本（如数据同步、报表生成）
• 测试环境部署：快速搭建包含多种依赖的Python测试环境

使用方法与配置说明

基本使用（docker run）

bash
# 启动镜像并进入交互式Python环境
docker run -it --rm [镜像名称] python

# 运行本地Python脚本（将当前目录挂载到容器内/app目录）
docker run -it --rm -v $(pwd):/app [镜像名称] python /app/your_script.py

Docker Compose配置示例

yaml
version: '3'
services:
  data-processor:
    image: [镜像名称]
    volumes:
      - ./scripts:/app/scripts  # 挂载本地脚本目录
      - ./data:/app/data        # 挂载数据目录
    command: python /app/scripts/etl_job.py  # 执行ETL任务脚本
    environment:
      - PYTHONPATH=/app/scripts  # 设置Python路径

环境变量配置

扩展说明

• 如需安装额外Python包，可在容器内通过pip install命令临时安装，或基于此镜像构建新镜像并在Dockerfile中添加依赖
• 数据库连接配置需在脚本中通过代码实现（如psycopg2的连接字符串配置）
• 对于需要持久化的数据，建议通过Docker卷（Volume）挂载本地目录，避免容器重启后数据丢失