ntlf/news-please

news-please Docker镜像

镜像概述

news-please是一款开源、易用的新闻爬虫工具，能够从几乎任何新闻网站提取结构化信息。本Docker镜像封装了该工具，方便用户快速部署和使用，无需手动配置依赖环境。

核心功能

• 提取结构化信息：包括标题、导语、正文内容、主图、作者、发布日期、语言等。
• 多模式支持：
  • CLI模式：通过命令行爬取，结果可存储为JSON文件或ElasticSearch。
  • 库模式：作为Python库集成到自定义程序中。
  • Common Crawl归档提取：从commoncrawl.org的新闻归档中下载并提取文章。
• 支持递归爬取内部链接和RSS feed，可获取最新及历史存档文章。

使用场景

1. 批量爬取新闻网站：通过CLI模式，配置目标网站后批量提取文章信息。
2. 集成到Python项目：在库模式下，直接调用API提取指定URL的新闻内容。
3. 分析历史新闻数据：利用Common Crawl归档提取功能，获取特定时期或publisher的历史新闻。

配置说明

1. 添加目标网站：修改sitelist.hjson文件，添加新闻网站的根URL。
2. ElasticSearch配置：在config.cfg中启用ElasticSearch存储，配置主机、端口及认证信息（如需要）。

Docker部署示例

基本运行（CLI模式）

挂载本地数据目录以保存结果：

bash
docker run -v $(pwd)/news-please-data:/app/data ntlf/news-please

作为库使用（在Python项目中）

挂载自定义脚本目录并运行：

bash
docker run -v $(pwd)/my_scripts:/app/my_scripts ntlf/news-please python3 my_scripts/extract_news.py

示例脚本（extract_news.py）：

python
from newsplease import NewsPlease
# 提取单篇文章
article = NewsPlease.from_url('https://www.example.com/news/2024-01-01/article')
print(f"标题：{article.title}")
print(f"发布日期：{article.publish_date}")
print(f"作者：{article.author}")

# 批量提取多篇文章
urls = ['https://example.com/news/a', 'https://example.com/news/b']
articles = NewsPlease.from_urls(urls, timeout=6)
for art in articles:
    print(f"文章标题：{art.title}")

Docker Compose示例（含ElasticSearch）

yaml
version: '3.8'
services:
  news-please:
    image: ntlf/news-please
    volumes:
      - ./data:/app/data  # 存储爬取结果
      - ./config:/app/config  # 自定义配置目录
    depends_on:
      - elasticsearch
    environment:
      - ES_HOST=elasticsearch
      - ES_PORT=9200

  elasticsearch:
    image: elasticsearch:7.17.10
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
    ports:
      - "9200:9200"
    volumes:
      - es_data:/usr/share/elasticsearch/data

volumes:
  es_data: