PHP使用swoole实现多线程爬虫
2023-09-14 08:57:43 时间
在swoole中,php可以借助其启动子进程的方式,实现php的多进程:
<?php $s_time = time(); echo '开始时间:'.date('H:i:s',$s_time).PHP_EOL; //进程数 $work_number=6; // $worker=[]; //模拟地址 $curl=[ 'https://blog.csdn.net/feiwutudou', 'https://wiki.swoole.com/wiki/page/215.html', 'http://fanyi.baidu.com/?aldtype=16047#en/zh/manager', 'http://wanguo.net/Salecar/index.html', 'http://o.ngking.com/themes/mskin/login/login.jsp', 'https://blog.csdn.net/marksinoberg/article/details/77816991' ]; //单线程模式 // foreach ($curl as $v) { // echo curldeta($v); // } //创建进程 for ($i=0; $i < $work_number; $i++) { //创建多线程 $pro=new swoole_process(function(swoole_process $work) use($i,$curl){ //获取html文件 $content=curldeta($curl[$i]); //写入管道 $work->write($content.PHP_EOL); },true); $pro_id=$pro->start(); $worker[$pro_id]=$pro; } //读取管道内容 foreach ($worker as $v) { echo $v->read().PHP_EOL; } //模拟爬虫 function curldeta($curl_arr) {//file_get_contents echo $curl_arr.PHP_EOL; file_get_contents($curl_arr); } //进程回收 swoole_process::wait(); $e_time = time(); echo '结束时间:'.date('H:i:s',$e_time).PHP_EOL; echo '所用时间:'.($e_time-$s_time).'秒'.PHP_EOL; ?>
多线程执行结果:
作为对比,单线程结果:
提升十分明显!
以上就是PHP使用swoole实现多线程爬虫的详细内容
更多学习内容请访问:
腾讯T3-T4标准精品PHP架构师教程目录大全,只要你看完保证薪资上升一个台阶(持续更新)
以上内容希望帮助到大家,很多PHPer在进阶的时候总会遇到一些问题和瓶颈,业务代码写多了没有方向感,不知道该从那里入手去提升,对此我整理了一些资料,包括但不限于:分布式架构、高可扩展、高性能、高并发、服务器性能调优、TP6,laravel,YII2,Redis,Swoole、Swoft、Kafka、Mysql优化、shell脚本、Docker、微服务、Nginx等多个知识点高级进阶干货需要的可以免费分享给大家,需要的可以加入我的官方群
相关文章
- 口罩预约管理系统——数据库设计(前端+PHP+MySQL)
- 手把手教你在linux编译安装PHP
- soapclient php 扩展,PHP扩展—SOAP[通俗易懂]
- php-邮件发送
- 如何在Linux中配置PHP(linux怎么配置php)
- 简单步骤实现PHP连接Redis集群(php连接redis集群)
- 的数据库连接PHP与Oracle数据库的连接技术指南(php与oracle)
- PHP如何正确输出MySQL中文字符避免乱码?(php输出mysql乱码)
- PHP与MySQL的网站搭建指南(php和mysql搭建)
- PHP配置指南:MySQL编码设置详解(php设置mysql编码)
- 使用PHP连接MSSQL数据库的实例示范(php连接mssql例子)
- PHP与MySQL实现三表关联操作(mysql三表关联pHP)
- 使用Redis锁实现PHP程序的安全性(redis锁机制 php)
- PHP面向对象编程快速入门
- PHP调用Twitter的RSS的实现代码
- PHP学习之输出字符串(echo,print,printf,print_r和var_dump)
- php大数据量及海量数据处理算法总结
- PHP和Mysqlweb应用开发核心技术第1部分Php基础-1开始了解php
- php中获取远程客户端的真实ip地址的方法
- php文件操作实例代码
- 深入解析PHP垃圾回收机制对内存泄露的处理
- PHP读取大文件的类SplFileObject使用介绍
- Nginx配合php实现生成实时缩略图功能