在任何数据库之间复制数据的cli工具ingestr源码

【实例简介】

ingestr是一个命令行应用程序，允许您使用简单的命令行标志从任何来源摄取数据到任何目的地，无需编写任何代码。

它可以将数据从数据库复制到任何目的地，支持增量加载、追加、合并或删除 插入操作，并且可以通过单个命令进行安装。ingestr消除了管理任何后端或编写任何摄入数据代码的复杂性，只需运行命令，就可以观察数据到达目的地。

安装：pip install ingestr

快速入门：ingestr摄取数据：

--source-uri 'postgresql://admin:admin@localhost:8837/web?sslmode=disable'
--source-table 'public.some_data'
--dest-uri 'bigquery://?credentials_path=/path/to/service/account.json'
--dest-table 'ingestr.some_data'

这个命令将：从Postgres实例获取公共表some_data；将这些数据上传到您的BigQuery仓库中，架构为ingestr，表名为some_data。

【实例截图】
【核心代码】
文件清单
└── ingestr-c439ae5c9dd9897ae509c4001afe45a27190b5fa
    ├── Dockerfile
    ├── docs
    │   ├── commands
    │   │   ├── example-uris.md
    │   │   └── ingest.md
    │   ├── getting-started
    │   │   ├── core-concepts.md
    │   │   ├── incremental-loading.md
    │   │   ├── quickstart.md
    │   │   └── telemetry.md
    │   ├── index.md
    │   └── supported-sources
    │       ├── bigquery.md
    │       ├── csv.md
    │       ├── databricks.md
    │       ├── duckdb.md
    │       ├── gsheets.md
    │       ├── mongodb.md
    │       ├── mssql.md
    │       ├── mysql.md
    │       ├── notion.md
    │       ├── oracle.md
    │       ├── overview.md
    │       ├── postgres.md
    │       ├── redshift.md
    │       ├── sap-hana.md
    │       ├── snowflake.md
    │       └── sqlite.md
    ├── ingestr
    │   ├── main.py
    │   ├── main_test.py
    │   ├── src
    │   │   ├── destinations.py
    │   │   ├── destinations_test.py
    │   │   ├── factory.py
    │   │   ├── factory_test.py
    │   │   ├── google_sheets
    │   │   │   ├── helpers
    │   │   │   │   ├── api_calls.py
    │   │   │   │   ├── data_processing.py
    │   │   │   │   └── __init__.py
    │   │   │   ├── __init__.py
    │   │   │   └── README.md
    │   │   ├── mongodb
    │   │   │   ├── helpers.py
    │   │   │   └── __init__.py
    │   │   ├── notion
    │   │   │   ├── helpers
    │   │   │   │   ├── client.py
    │   │   │   │   ├── database.py
    │   │   │   │   └── __init__.py
    │   │   │   ├── __init__.py
    │   │   │   └── settings.py
    │   │   ├── sources.py
    │   │   ├── sources_test.py
    │   │   ├── sql_database
    │   │   │   ├── helpers.py
    │   │   │   ├── __init__.py
    │   │   │   ├── override.py
    │   │   │   └── schema_types.py
    │   │   ├── telemetry
    │   │   │   └── event.py
    │   │   ├── testdata
    │   │   │   └── fakebqcredentials.json
    │   │   └── version.py
    │   └── testdata
    ├── LICENSE.md
    ├── Makefile
    ├── package.json
    ├── package-lock.json
    ├── pyproject.toml
    ├── README.md
    ├── requirements-dev.txt
    ├── requirements.txt
    └── resources
        ├── demo.gif
        ├── demo.tape
        └── ingestr.svg

17 directories, 62 files