paip.uapi 获取网络url内容html 的方法java php ahk c++ python总结.
2023-09-14 09:03:38 时间
paip.uapi 获取网络url内容html 的方法java php ahk c++ python总结.
各种语言总结比较,脚本php.python果然是方便.简短,实用.
uapi : get_web_contents,file_get_contents
作者Attilax 艾龙, EMAIL:1466519819@qq.com
来源:attilax的专栏
地址:http://blog.csdn.net/attilax
ahk
UrlDownloadToFile, URL, Filename
---------php:
$param= $_SERVER['QUERY_STRING'];
$url="http://latu.3g.cn/RP/EntLatu/photoappnav.php?".$param;
//echo $param;
$content=file_get_contents($url);
简评file_get_contents与curl 效率及稳定性(refer)
function curl_file_get_contents($durl){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $durl);
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$r = curl_exec($ch);
curl_close($ch);
return $r;
}
--------python
def getPage():
url = 'http://topic.csdn.net/u/20101007/17/C17A944B-806B-4C78-9D20-EF4CF33F99AA.html'
page = urllib.urlopen(url)
html = page.readlines();
return html
///添加头字段
def getPage(url):
'''下载文件html代码,找出一楼的核心代码'''
opener = urllib2.build_opener()
#不加头信息则出现403错误和乱码
opener.addheaders = [('User-agent', 'Mozilla/5.0')];
htmlAll = opener.open( url ).read()
reg1Floor = '<div class="msgfont">(.*?)</div>'
html = re.search(reg1Floor,htmlAll)
html = html.group()
#文件保存编码和文件编辑编码都是utf-8,所以decode一次,不然会出现乱码,但是不影响结果。
return html.decode('utf-8')
---------c++
QString atiNet::getHtml(QString url)
{
QNetworkAccessManager *manager = new QNetworkAccessManager();
QNetworkReply *reply = manager->get(QNetworkRequest(QUrl(url)));
QByteArray responseData;
QEventLoop eventLoop;
connect(manager, SIGNAL(finished(QNetworkReply*)), &eventLoop, SLOT(quit()));
eventLoop.exec(); //block until finish
responseData = reply->readAll();
return QString(responseData);
}
参考
paip.c++ qt 网页爬虫 的 网络编程 总结 - c++语言程序开发技术文章_c++编程
各种语言总结比较,脚本php.python果然是方便.简短,实用.
uapi : get_web_contents,file_get_contents
作者Attilax 艾龙, EMAIL:1466519819@qq.com
来源:attilax的专栏
地址:http://blog.csdn.net/attilax
ahk
UrlDownloadToFile, URL, Filename
---------php:
$param= $_SERVER['QUERY_STRING'];
$url="http://latu.3g.cn/RP/EntLatu/photoappnav.php?".$param;
//echo $param;
$content=file_get_contents($url);
简评file_get_contents与curl 效率及稳定性(refer)
function curl_file_get_contents($durl){
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $durl);
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$r = curl_exec($ch);
curl_close($ch);
return $r;
}
--------python
def getPage():
url = 'http://topic.csdn.net/u/20101007/17/C17A944B-806B-4C78-9D20-EF4CF33F99AA.html'
page = urllib.urlopen(url)
html = page.readlines();
return html
///添加头字段
def getPage(url):
'''下载文件html代码,找出一楼的核心代码'''
opener = urllib2.build_opener()
#不加头信息则出现403错误和乱码
opener.addheaders = [('User-agent', 'Mozilla/5.0')];
htmlAll = opener.open( url ).read()
reg1Floor = '<div class="msgfont">(.*?)</div>'
html = re.search(reg1Floor,htmlAll)
html = html.group()
#文件保存编码和文件编辑编码都是utf-8,所以decode一次,不然会出现乱码,但是不影响结果。
return html.decode('utf-8')
---------c++
QString atiNet::getHtml(QString url)
{
QNetworkAccessManager *manager = new QNetworkAccessManager();
QNetworkReply *reply = manager->get(QNetworkRequest(QUrl(url)));
QByteArray responseData;
QEventLoop eventLoop;
connect(manager, SIGNAL(finished(QNetworkReply*)), &eventLoop, SLOT(quit()));
eventLoop.exec(); //block until finish
responseData = reply->readAll();
return QString(responseData);
}
参考
paip.c++ qt 网页爬虫 的 网络编程 总结 - c++语言程序开发技术文章_c++编程
相关文章
- 在pycharm中如何新建Python文件?_github下载的python源码项目怎么用
- python整除和取余写法_Python的整除和取余[通俗易懂]
- java怎么运行_怎样启动JAVA?「建议收藏」
- c++和java哪个好学_c++语言和Java语言,初学者该如何选择?「建议收藏」
- java与python-如何对比Python和Java,只需三分钟告诉你!
- MySQL字段类型如何转为java_Java JDBC中,MySQL字段类型到JAVA类型的转换
- 进阶必看:python元类编程
- python关于format的使用
- 【说站】python如何创建操作页面
- python在函数体内改变全局变量
- Python学习02-列表(List)
- 12 Python正则表达式
- Python win32api_python api文档
- 用python删除文件_python运行另一个py文件
- 【测试开发】python系列教程:Python数据类型转换
- 使用Python+Opencv从摄像头逐帧读取图片保存在本地
- Python网络编程-网络编程中的异常处理(三)
- AI实现代码转换,Python转Java,Java转Go不再困难?
- Python 简单沙盒绕过
- Java异步MySQL:开启数据处理新时代(java异步mysql)
- eeOracle放弃Java EE:梦想的终结(oracle放弃java)
- Python变量命名规则(超级详细)
- 快速查询MySQL数据库:Python篇(python查询mysql数据库)
- Java脚本实现Linux系统的登录(java登录Linux)
- Python、R、Java、 C++ 等:从业界反馈看机器学习语言趋势
- Python脚本实现Linux系统管理及自动化部署(python写linux)
- MySQL与Java的数据交互之旅(mysql对应java)
- python查找文件夹下所有文件实现代码
- Python写的创建文件夹自定义函数mkdir()