PHP 利用 Curl Functions 实现多线程抓取网页和下载文

PHP 利用 Curl Functions 可以完成各种传送文件操作,比如模拟浏览器发送GET,POST请求等等,然而因为php语言本身不支持多线程,所以开发爬虫程序效率并不高,因此经常需要借助Curl Multi Functions 这个功能实现并发多线程的访问多个url地址以实现并发多线程抓取网页或者下载文件,至于具体实现过程,请参考下面几个例子:

(1)下面这段代码是实现抓取多个URL,然后将抓取的URL的页面代码写入指定的文件

  1. $urls = array(  
  2. 'http://www.daimajiayuan.com/',  
  3. 'http://www.google.com/',  
  4. 'http://www.example.com/'  
  5. ); // 设置要抓取的页面URL  
  6. $save_to='/test.txt'// 把抓取的代码写入该文件  
  7. $st = fopen($save_to,"a");  
  8. $mh = curl_multi_init();  
  9. foreach ($urls as $i => $url) {  
  10. $conn[$i] = curl_init($url);  
  11. curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");  
  12. curl_setopt($conn[$i], CURLOPT_HEADER ,0);  
  13. curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);  
  14. curl_setopt($conn[$i], CURLOPT_FILE,$st); // 将爬取的代码写入文件  
  15. curl_multi_add_handle ($mh,$conn[$i]);  
  16. // 初始化  
  17. do {  
  18. curl_multi_exec($mh,$active);  
  19. while ($active); // 执行  
  20. foreach ($urls as $i => $url) {  
  21. curl_multi_remove_handle($mh,$conn[$i]);  
  22. curl_close($conn[$i]);  
  23. // 结束清理  
  24. curl_multi_close($mh);  
  25. fclose($st); 

(2)下面这段代码和上面差不多意思,只不过这个地方是将获得的代码先放入变量,然后再将获取到的内容写入指定的文件

  1. $urls = array(  
  2. 'http://www.daimajiayuan.com/',  
  3. 'http://www.google.com/',  
  4. 'http://www.example.com/'  
  5. );  
  6. $save_to='/test.txt'// 把抓取的代码写入该文件  
  7. $st = fopen($save_to,"a");  
  8. $mh = curl_multi_init();  
  9. foreach ($urls as $i => $url) {  
  10. $conn[$i] = curl_init($url);  
  11. curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");  
  12. curl_setopt($conn[$i], CURLOPT_HEADER ,0);  
  13. curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60);  
  14. curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 不将爬取代码写到浏览器,而是转化为字符串  
  15. curl_multi_add_handle ($mh,$conn[$i]);  
  16. }  
  17. do {  
  18. curl_multi_exec($mh,$active);  
  19. while ($active);  
  20. foreach ($urls as $i => $url) {  
  21. $data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串  
  22. fwrite($st,$data); // 将字符串写入文件 
  23. // 获得数据变量,并写入文件  
  24. foreach ($urls as $i => $url) {  
  25. curl_multi_remove_handle($mh,$conn[$i]);  
  26. curl_close($conn[$i]);  
  27. curl_multi_close($mh);  
  28. fclose($st); 

(3)下面这段代码实现的是利用 PHP 的 Curl Functions 实现并发多线程下载文件

  1. $urls=array
  2.     'http://www.daimajiayuan.com/5w.zip'
  3.     'http://www.daimajiayuan.com/5w.zip'
  4.     'http://www.daimajiayuan.com/5w.zip' 
  5. ); 
  6. $save_to='./home/'
  7. $mh=curl_multi_init(); 
  8. foreach($urls as $i=>$url){ 
  9.     $g=$save_to.basename($url); 
  10.     if(!is_file($g)){ 
  11.         $conn[$i]=curl_init($url); 
  12.         $fp[$i]=fopen($g,"w"); 
  13.         curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)"); 
  14.         curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]); 
  15.         curl_setopt($conn[$i],CURLOPT_HEADER ,0); 
  16.         curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60); 
  17.         curl_multi_add_handle($mh,$conn[$i]); 
  18.     } 
  19. do
  20.     $n=curl_multi_exec($mh,$active); 
  21. }while($active); 
  22. foreach($urls as $i=>$url){ 
  23.     curl_multi_remove_handle($mh,$conn[$i]); 
  24.     curl_close($conn[$i]); 
  25.     fclose($fp[$i]); 
  26. curl_multi_close($mh);$urls=array
  27.     'http://www.daimajiayuan.com/5w.zip'
  28.     'http://www.daimajiayuan.com/5w.zip'
  29.     'http://www.daimajiayuan.com/5w.zip' 
  30. ); 
  31. $save_to='./home/'
  32. $mh=curl_multi_init(); 
  33. foreach($urls as $i=>$url){ 
  34.     $g=$save_to.basename($url); 
  35.     if(!is_file($g)){ 
  36.         $conn[$i]=curl_init($url); 
  37.         $fp[$i]=fopen($g,"w"); 
  38.         curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible; MSIE 7.0; Windows NT 6.0)"); 
  39.         curl_setopt($conn[$i],CURLOPT_FILE,$fp[$i]); 
  40.         curl_setopt($conn[$i],CURLOPT_HEADER ,0); 
  41.         curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60); 
  42.         curl_multi_add_handle($mh,$conn[$i]); 
  43.     } 
  44. do
  45.     $n=curl_multi_exec($mh,$active); 
  46. }while($active); 
  47. foreach($urls as $i=>$url){ 
  48.     curl_multi_remove_handle($mh,$conn[$i]); 
  49.     curl_close($conn[$i]); 
  50.     fclose($fp[$i]); 
  51. curl_multi_close($mh); 

转载请注明:代码家园 » PHP 利用 Curl Functions 实现多线程抓取网页和下载文

评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)