最優(yōu)良人 » 采集 http://www.dgkai.cn/blog 中山php|最優(yōu)網(wǎng)絡(luò) Mon, 13 May 2013 04:56:43 +0000 en hourly 1 http://wordpress.org/?v=3.1.4 php采集程序,提取網(wǎng)頁超鏈接,郵箱或其他特定內(nèi)容 http://www.dgkai.cn/blog/view-366.html http://www.dgkai.cn/blog/view-366.html#comments Wed, 30 May 2012 08:48:29 +0000 lin http://www.dgkai.cn/blog/?p=366 以下代碼從上一篇文章修改而來,專門用于提取網(wǎng)頁所有超鏈接,郵箱或其他特定內(nèi)容

<?php

function fetch_urlpage_contents($url){
$c=file_get_contents($url);
return $c;
}
//獲取匹配內(nèi)容
function fetch_match_contents($begin,$end,$c)
{
$begin=change_match_string($begin);
$end=change_match_string($end);
$p = "#{$begin}(.*){$end}#iU";//i表示忽略大小寫,U禁止貪婪匹配
if(preg_match_all($p,$c,$rs))
{
return $rs;}
else { return "";}
}//轉(zhuǎn)義正則表達(dá)式字符串
function change_match_string($str){
//注意,以下只是簡單轉(zhuǎn)義
$old=array("/","$",'?');
$new=array("\/","\$",'\?');
$str=str_replace($old,$new,$str);
return $str;
}

//采集網(wǎng)頁
function pick($url,$ft,$th)
{
$c=fetch_urlpage_contents($url);
foreach($ft as $key => $value)
{
$rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c);
if(is_array($th[$key]))
{ foreach($th[$key] as $old => $new)
{
$rs[$key]=str_replace($old,$new,$rs[$key]);
}
}
}
return $rs;
}

$url="http://www.dgkai.cn"; //要采集的地址
$ft["a"]["begin"]='<a'; //截取的開始點(diǎn)<br />
$ft["a"]["end"]='>'; //截取的結(jié)束點(diǎn)

$rs=pick($url,$ft,$th); //開始采集

print_r($rs["a"]);

?>

]]>
http://www.dgkai.cn/blog/view-366.html/feed 190
php小偷程序,簡單的php采集代碼 http://www.dgkai.cn/blog/view-364.html http://www.dgkai.cn/blog/view-364.html#comments Wed, 30 May 2012 08:08:32 +0000 lin http://www.dgkai.cn/blog/?p=364 <?php

function fetch_urlpage_contents($url){
$c=file_get_contents($url);
return $c;
}
//獲取匹配內(nèi)容
function fetch_match_contents($begin,$end,$c)
{
$begin=change_match_string($begin);
$end=change_match_string($end);
$p = "{$begin}(.*){$end}";
if(eregi($p,$c,$rs))
{
return $rs[1];}
else { return "";}
}//轉(zhuǎn)義正則表達(dá)式字符串
function change_match_string($str){
//注意,以下只是簡單轉(zhuǎn)義
//$old=array("/","$");
//$new=array("\/","\$");
$str=str_replace($old,$new,$str);
return $str;
}

//采集網(wǎng)頁
function pick($url,$ft,$th)
{
$c=fetch_urlpage_contents($url);
foreach($ft as $key => $value)
{
$rs[$key]=fetch_match_contents($value["begin"],$value["end"],$c);
if(is_array($th[$key]))
{ foreach($th[$key] as $old => $new)
{
$rs[$key]=str_replace($old,$new,$rs[$key]);
}
}
}
return $rs;
}

$url="http://www.dgkai.cn"; //要采集的地址
$ft["title"]["begin"]="<title>"; //截取的開始點(diǎn)
$ft["title"]["end"]="</title>"; //截取的結(jié)束點(diǎn)
$th["title"]["中山"]="廣東"; //截取部分的替換

$ft["body"]["begin"]="<body>"; //截取的開始點(diǎn)
$ft["body"]["end"]="</body>"; //截取的結(jié)束點(diǎn)
$th["body"]["中山"]="廣東"; //截取部分的替換

$rs=pick($url,$ft,$th); //開始采集

echo $rs["title"];
echo $rs["body"]; //輸出
?>

]]>
http://www.dgkai.cn/blog/view-364.html/feed 289
dede采集的文章在欄目列表頁無法顯示 http://www.dgkai.cn/blog/view-213.html http://www.dgkai.cn/blog/view-213.html#comments Fri, 26 Aug 2011 15:20:43 +0000 lin http://www.dgkai.cn/blog/?p=213 利用dedecms的采集功能,大批量采集數(shù)據(jù)之后,沒辦法一個一個審核,所有在sql命令行運(yùn)行了

update `dede_archives` set `arcrank` = 0

批量審核文章,然后運(yùn)行

update `dede_archives` set `ismake` = -1

把所有文章改成動態(tài)瀏覽

更新首頁html之后再最新更新可以看到新發(fā)布的文章,但是在欄目列表頁不顯示最新的數(shù)據(jù),原來dede還有一個文章的索引表dede_arctiny,只要運(yùn)行下面sql把審核狀態(tài)置為0就正常了

update `dede_arctiny` set `arcrank` = 0

效果如 最優(yōu)資訊中山新聞頻道

]]>
http://www.dgkai.cn/blog/view-213.html/feed 412