在好例子网,分享、交流、成长!
您当前所在位置:首页C# 开发实例C#语言基础 → ETL定时任务(数据同步)

ETL定时任务(数据同步)

C#语言基础

下载此实例
  • 开发语言:C#
  • 实例大小:0.04M
  • 下载次数:57
  • 浏览次数:1334
  • 发布时间:2019-04-15
  • 实例类别:C#语言基础
  • 发 布 人:heyun1998
  • 文件格式:.rar
  • 所需积分:2
 相关标签: 数据同步

实例介绍

【实例简介】没有数据库,仅供参考逻辑

【实例截图】

from clipboard

【核心代码】

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Linq;
using System.ServiceProcess;
using System.Text;
using System.Timers;
namespace ETL_Task
{
    
    public partial class Service1 : ServiceBase
    {
        private System.Timers.Timer timer_ETL=new System.Timers.Timer();
        private database dbremote = new database();
        private string strConnTask = "server=(local);database=DGQX;uid=admin;pwd=1qaz2wsx#edc";
        public Service1()
        {
            InitializeComponent();
            
            timer_ETL.Elapsed  = new System.Timers.ElapsedEventHandler(timer_ETL_Elapsed);
            timer_ETL.Interval = 5*60*1000;         
            
        }
        protected void timer_ETL_Elapsed(object sender, System.Timers.ElapsedEventArgs e)
        {
            string strSqlsource = "";
            string strSqlcommand = "";
            
            foreach (DataRow dr in dbremote.ReDataTable("select top(1) * from T_ETL_Task where Task_flag= 'false' and Task_Date<'"   DateTime.Now.ToString("yyyy-MM-dd HH:mm")   "'", "tb_Task", strConnTask).Rows)
            {
                try
                {
                    if (dr["Task_Flag"].ToString().Trim()=="False")
                    {
                        strSqlcommand = " update T_ETL_Task set Task_flag = 'true' where Task_name = '"   dr["Task_name"].ToString().Trim()   "'";
                        dbremote.ExecSqlCommand(strSqlcommand, strConnTask);//琐定数据
                        
                        
                        switch (dr["Time_Field"].ToString().Trim())
                        {
                            case "@all":
                                strSqlcommand = " delete from "   dr["Dest_Table"].ToString().Trim();
                                strSqlsource = " select "   dr["Source_Fields"].ToString().Trim()   " from "   dr["Source_Table"].ToString().Trim();
                                break;
                            case "@join":
                                strSqlcommand = " delete from "   dr["Dest_Table"].ToString().Trim()   " where dCreateDate>='"   Convert.ToDateTime(dr["Task_Date"].ToString().Trim()).AddDays(-1).ToString("yyyy-MM-dd")   "'";
                                strSqlsource = " select a.*,b.dCreateDate from "   dr["Source_Table"].ToString().Trim();
                                strSqlsource = strSqlsource.Replace("@date", Convert.ToDateTime(dr["Task_Date"].ToString().Trim()).AddDays(-1).ToString("yyyy-MM-dd"));
                                break;
                            default:
                                strSqlcommand = " delete from "   dr["Dest_Table"].ToString().Trim()   " where "   dr["Time_Field"].ToString().Trim()   ">='"   Convert.ToDateTime(dr["Task_Date"].ToString().Trim()).AddDays(-1).ToString("yyyy-MM-dd")   "'";
                                strSqlsource = " select "   dr["Source_Fields"].ToString().Trim()   " from "   dr["Source_Table"].ToString().Trim()   " where "   dr["Time_Field"].ToString().Trim()   ">='"   Convert.ToDateTime(dr["Task_Date"].ToString().Trim()).AddDays(-1).ToString("yyyy-MM-dd")   "'";
                                break;

                        }
                        dbremote.ExecSqlCommand(strSqlcommand, dr["Dest_Constr"].ToString().Trim());//删除昨天数据
                        using (System.IO.StreamWriter sw = new System.IO.StreamWriter("C:\\log.txt", true))
                        {
                            sw.WriteLine(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ")   dr["Source_Table"].ToString().Trim()   "到"   dr["Dest_Table"].ToString().Trim()   "开始传输!");
                            try
                            {
                                strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','"   dr["Dest_Table"].ToString().Trim()   "到"   dr["Dest_Table"].ToString().Trim()   "开始传输!"   "')";
                                dbremote.ExecSqlCommand(strSqlcommand, strConnTask);//写入数据库日志
                            }
                            catch (Exception ee)
                            {
                                strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','"   ee.Message.ToString()   "')";
                                dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
                            }
                        }
                        //传输昨天数据
                        try
                        {
                            dbremote.InsertDa(dbremote.ReDataTable(strSqlsource, "tb_source", dr["Source_Constr"].ToString().Trim()), dr["Dest_Constr"].ToString().Trim(), dr["Dest_Table"].ToString().Trim(), dr["Source_Fields"].ToString().Trim());
                        }
                        catch (Exception ee)
                        {
                            strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','"   ee.Message.ToString()   "')";
                            dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
                        }
                        
                        using (System.IO.StreamWriter sw = new System.IO.StreamWriter("C:\\log.txt", true))
                        {
                            sw.WriteLine(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ")   dr["Source_Table"].ToString().Trim()   "到"   dr["Dest_Table"].ToString().Trim() "传输完毕!");
                        }
                        strSqlcommand = " update T_ETL_Task set Task_flag = 'false',Task_Date='"   DateTime.Now.AddDays(1).ToString("yyyy-MM-dd")   " "   dr["Begin_Time"].ToString().Trim()   "'"   " where Task_name = '"   dr["Task_name"].ToString().Trim()   "'";
                        dbremote.ExecSqlCommand(strSqlcommand, strConnTask);//更新任务,下一天执行
                        try
                        {
                            strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','"   dr["Dest_Table"].ToString().Trim()   "到"   dr["Dest_Table"].ToString().Trim()   "传输完毕!"   "')";
                            dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
                        }
                        catch (Exception ee)
                        {
                            strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','"   ee.Message.ToString()   "')";
                            dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
                        }
                    }
                }
                catch (Exception ee)
                {
                    using (System.IO.StreamWriter sw = new System.IO.StreamWriter("C:\\log.txt", true))
                    {
                        sw.WriteLine(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ")   ee.Message.ToString().Trim());
                    }
                }
            }
        }
        protected override void OnStart(string[] args)
        {
            
            using (System.IO.StreamWriter sw = new System.IO.StreamWriter("C:\\log.txt", true))
            {
                sw.WriteLine(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ")   "Start.");
            }
            try
                {

                    using (System.IO.StreamReader sr = new System.IO.StreamReader(System.Environment.CurrentDirectory   "\\ini.txt", true))
                    {

                        this.strConnTask = Encrypt.Encrypt.DecryptString(sr.ReadLine().ToString().Trim());

                    }
            }
            catch (Exception ee)
            {
                using (System.IO.StreamWriter sw = new System.IO.StreamWriter("C:\\log.txt", true))
                {
                    sw.WriteLine(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ")   ee.Message);
                }
            }
            string strSqlcommand = "";
            try
            {
                strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','working')";
                dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
            }
            catch (Exception ee)
            {
                using (System.IO.StreamWriter sw = new System.IO.StreamWriter("C:\\log.txt", true))
                {
                    sw.WriteLine(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ")   ee.Message);
                }
                strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','"   ee.Message.ToString()   "')";
                dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
            }
           
            timer_ETL.Enabled = true;
        }
        

        protected override void OnStop()
        {
            using (System.IO.StreamWriter sw = new System.IO.StreamWriter("C:\\log.txt", true))
            {
                sw.WriteLine(DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss ")   "Stop.");
            }
            string strSqlcommand = "";
            try
            {
                strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','stop')";
                dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
            }
            catch (Exception ee)
            {
                strSqlcommand = " insert INTO Task_log(Date_Time,Log_Message) Values('"   DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss")   "','"   ee.Message.ToString()   "')";
                dbremote.ExecSqlCommand(strSqlcommand, strConnTask);
            }
            timer_ETL.Enabled = false;
            dbremote = null;
        }

     
    }
}

标签: 数据同步

实例下载地址

ETL定时任务(数据同步)

不能下载?内容有错? 点击这里报错 + 投诉 + 提问

好例子网口号:伸出你的我的手 — 分享

网友评论

第 1 楼 二牛 发表于: 2020-04-08 11:17 59
缺少Encrypt,报错无法启动

支持(0) 盖楼(回复)

发表评论

(您的评论需要经过审核才能显示)

查看所有1条评论>>

小贴士

感谢您为本站写下的评论,您的评论对其它用户来说具有重要的参考价值,所以请认真填写。

  • 类似“顶”、“沙发”之类没有营养的文字,对勤劳贡献的楼主来说是令人沮丧的反馈信息。
  • 相信您也不想看到一排文字/表情墙,所以请不要反馈意义不大的重复字符,也请尽量不要纯表情的回复。
  • 提问之前请再仔细看一遍楼主的说明,或许是您遗漏了。
  • 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦,又没人会搭理,于人于己都无利。

关于好例子网

本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享,对搜索内容的合法性不具有预见性、识别性、控制性,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论平台是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定,若资源存在侵权或相关问题请联系本站客服人员,点此联系我们。关于更多版权及免责申明参见 版权及免责申明

;
报警