php实现采集器 示例源码

【实例简介】由于只会web开发，没有C以及其他语言编写的能力，于是用php写了采集器

【实例截图】

【核心代码】

<?php

header("content-type:text/html;charset=utf-8");

date_default_timezone_set('PRC'); //设置中国时区 

$strk='于 '.date("Y-m-d H:i:s").' 启动'."计划信息收集系统";

echo "\n";

echo iconv('utf-8','gbk//IGNORE',$strk);

echo "\n";


$cookie = tempnam(dirname(__FILE__).'/tmp','cookie'); //设置cookie保存的路径

require_once 'function.php';

require_once 'planconfig.php';

$time=time();
$times=time();
$logget=array();
//执行配置
while(true){

	if(time()-$time>=5){
        echo "\n\n";
        $pcount=count($plan_config);

        foreach($plan_config as $k=>$v){



             $data=post_data($v['url'],$v['post']); //采集指定页面数据

             if(!empty($data)){
               
                $getadd=$v['function']($data);//调用匹配函数
                //print_r($getadd);
                $post=array(
                    'uid'=>$v['uid'],
                    'qs'=>$getadd['qs'],
                    'qslength'=>$v['qslength'],
                    'tnub'=>$getadd['tnub'],
                    'key'=>$v['key'],
                    'dwd'=>$v['dwd']
                );
                if(empty($logget[$k])){
                    $logget[$k]=0;
                }
               
                $n=0;
               // print_r($getadd);
                if($logget[$k]!=$getadd['qs']){
                   $get_type=post_content($v['addapi'], $cookie, $post);//把数据发送到提交api
                  // print_r($getadd);
                    if($get_type==1){
                        $logget[$k]=$getadd['qs'];
                        $n=1;
                    }
                }else{
                    $ec="数据已经存在。。。。。。。";
                }   
               $ec="共 ".$pcount." 个请求配置 当前请求第 {$k} 配置请求成功。。。{$n}";
              
             }else{
                  $ec="共 ".$pcount." 个请求配置 当前请求第 {$k} 配置请求失败。。。";
               
             }
             echo date("Y-m-d H:i:s");

             echo iconv('utf-8','gbk//IGNORE',$ec);

             echo "\n\n";
         
        }
        $tsstr="。。。。。。。。。。。5秒后再次执行。。。";
        echo iconv('utf-8','gbk//IGNORE',$tsstr);
    	$time=time();

	}else{
        if(time()-$times>=1){
             echo iconv('utf-8','gbk//IGNORE',"。。。。");
        }
        $times=time();
    }

}
// for($i=0;$i<5;$i  ){
   
    //sleep(1);
// }
//@unlik($cookie); //删除cookie文件
// $content=json_decode($content,true);
//file_put_contents('save.txt', $content); //保存抓取的页面内容