dadosfera/base-kernel-py

关于

此Docker镜像提供了包含多种数据科学和Web开发包的Python 3.8环境。它旨在与Dadosfera智能和转换模块配合使用，该模块是一个用于构建、运行和部署数据科学管道的平台。

包含的包

Linux附加组件

• 镜像中添加了Chrome驱动，作为selenium等网页抓取工具的依赖项

Python包

• awscli
• boto3
• ***-snowpark-python
• streamlit
• orchest
• dadosfera-library

如何将其用作智能和处理模块中的环境基础镜像

1. 点击“环境”部分
2. 使用现有环境或创建新环境
3. 有许多“基础镜像”，点击“+ 自定义”
4. 输入dadosfera/base-kernel-py:${VERSION}
5. 点击构建以触发环境构建

如何添加额外的包

在新环境中，可以使用以下命令添加新包：

shell
mamba run -n py38 pip install $PACKAGE_NAME

在智能/转换模块中设置Selenium

python
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.headless = True
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
options.add_argument('--remote-debugging-port=9222')

# Provide the path to the Chrome WebDriver if it's not in the system's PATH
# driver = webdriver.Chrome(executable_path='/path/to/chromedriver', options=options)
driver = webdriver.Chrome(options=options)


# Navigate to a website
driver.get('https://www.example.com')

# Print the title of the website
print(driver.title)

# Close the browser
driver.quit()

Docker部署示例

拉取镜像

shell
docker pull dadosfera/base-kernel-py:${VERSION}

运行交互式容器

shell
docker run -it --rm dadosfera/base-kernel-py:${VERSION} /bin/bash

运行Python脚本

将本地脚本挂载到容器中执行：

shell
docker run -v $(pwd):/app -w /app dadosfera/base-kernel-py:${VERSION} python script.py