matlab 网络视频直播系统 django 自定义指令 另类堆栈 debugging jpa mongoose gwt datagridview redis常用语句 reference Plupload ppt视频教程下载 java 数据分析 数据库教程 python报错 python开发环境 python调用函数 python查找指定字符 python开发界面 python位操作 python插件 java新特性 怎么配置java环境 java中数据类型 java正则匹配数字 linux简介 linux启动 ad下载 图解深度学习 oem修改器 脚本 c语言指数函数 mac地址修改 橄榄山快模 pr调整图层 黑客入门新手特训 绘图软件下载 winhex中文版下载
当前位置: 首页 > 学习教程  > 编程学习

php 抓取网页信息

2021/1/9 1:58:38 文章标签: php抓取网页内容

最近要抓取网页数据,就用php试了下,发现了一个不错的php抓取数据的集成类simple_html_dom.php, 而根据网页的特点大致分为两类,一类是网页dom结构相同,url类似只是改了部分参数,这个 直接用$html file_ge…

            最近要抓取网页数据,就用php试了下,发现了一个不错的php抓取数据的集成类simple_html_dom.php,

而根据网页的特点大致分为两类,一类是网页dom结构相同,url类似只是改了部分参数,这个

直接用$html =file_get_html($url); 然后根据网页dom用$html->find()->plaintext来获取数据,

第二类是网页dom结构相同,只是url不能直接访问到,这就需要在其前一个页面找到该页面的url和要传入的数据,

然后用curl 模拟提交,$str=$this->https_post($url,$data);   $html =str_get_html($str);之后处理的方法是一样的,


    当然这种方法只能抓取少量的数据,三四千个页面还算处理的过来,一旦数据上万,就不行了,太费时间了,

不知道php是否有更好方法去抓取数据。


本文链接: http://www.dtmao.cc/news_show_1100168.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?