php二分法在IP地址查询中的应用
2023-06-13 09:14:01 时间
数据库大概存储几十万条IP记录,记录集如下:
+----------+----------+------------+---------+---------+--------+--------+
| ip_begin | ip_end | country_id | prov_id | city_id | isp_id | netbar |
+----------+----------+------------+---------+---------+--------+--------+
| 0 | 16777215 | 2 | 0 | 0 | 0 | 0 |
| 16777216 | 33554431 | 2 | 0 | 0 | 0 | 0 |
| 33554432 | 50331647 | 2 | 0 | 0 | 0 | 0 |
| 50331648 | 67108863 | 3 | 0 | 0 | 0 | 0 |
| 67108864 | 67829759 | 3 | 0 | 0 | 0 | 0 |
+----------+----------+------------+---------+---------+--------+--------+
这样做查询需要用到如下SQL:
<?php
$sql = "SELECT * FROM i_m_ip WHERE ip_begin <= $client_ip AND ip_end >= $client_ip";
?>
这样的检索显然用不到索引,即使用到,MySQL查询效率也不大可能达到每秒500次以上,我做了很多并发优化,最终平均查询效率也只有每秒200次左右,实在是头痛。一开始我也有想到借鉴纯真IP库的检索方法,但是我一直对算法有抵触,也以为二分法很难,所以就没有尝试使用,直到最后没有办法了,才最终实现了二分法的IP地址检索。
从上表可以看到IP库是从0到4294967295的一个连续数值,这个数值要是拆开存储,会有几百G的数据,所以没办法使用索引也没办法哈希。最终我使用PHP将这些东东转为二进制存储,抛弃了数据库的检索。可以看到IP起止长度为一个4字节的长整型,后面的国家ID、省份ID等,可以使用2个字节的短整型来存储,总共一行数据就有18个字节,总共31万条数据,算起来也就5M的样子。具体IP库生成代码如下:
<?php
/*
IP文件格式:
3741319168 3758096383 182 0 0 0 0
3758096384 3774873599 3 0 0 0 0
3774873600 4026531839 182 0 0 0 0
4026531840 4278190079 182 0 0 0 0
4294967040 4294967295 312 0 0 0 0
*/
set_time_limit(0);
$handle = fopen("./ip.txt", "rb");
$fp = fopen("./ip.dat", "ab");
if ($handle) {
while (!feof($handle)) {
$buffer = fgets($handle);
$buffer = trim($buffer);
$buffer = explode("\t", $buffer);
foreach ($buffer as $key => $value) {
$buffer[$key] = (float) trim($value);
}
$str = pack("L", $buffer[0]);
$str .= pack("L", $buffer[1]);
$str .= pack("S", $buffer[2]);
$str .= pack("S", $buffer[3]);
$str .= pack("S", $buffer[4]);
$str .= pack("S", $buffer[5]);
$str .= pack("S", $buffer[6]);
fwrite($fp, $str);
}
}
?>
这样IP就按照顺序每18字节一个单位排列了,所以很容易就使用二分法来检索出IP信息:
function getip($ip, $fp) {
fseek($fp, 0);
$begin = 0;
$end = filesize("./ip.dat");
$begin_ip = implode("", unpack("L", fread($fp, 4)));
fseek($fp, $end - 14);
$end_ip = implode("", unpack("L", fread($fp, 4)));
$begin_ip = sprintf("%u", $begin_ip);
$end_ip = sprintf("%u", $end_ip);
do {
if ($end - $begin <= 18) {
fseek($fp, $begin + 8);
$info = array();
$info[0] = implode("", unpack("S", fread($fp, 2)));
$info[1] = implode("", unpack("S", fread($fp, 2)));
$info[2] = implode("", unpack("S", fread($fp, 2)));
$info[3] = implode("", unpack("S", fread($fp, 2)));
$info[4] = implode("", unpack("S", fread($fp, 2)));
return $info;
}
$middle_seek = ceil((($end - $begin) / 18) / 2) * 18 + $begin;
fseek($fp, $middle_seek);
$middle_ip = implode("", unpack("L", fread($fp, 4)));
$middle_ip = sprintf("%u", $middle_ip);
if ($ip >= $middle_ip) {
$begin = $middle_seek;
} else {
$end = $middle_seek;
}
} while (true);
}
以上$fp为打开ip.dat的文件句柄,由于是循环检索,所以写在函数外面,免得每次检索都要打开一次文件,30W行数据二分法最多也只需要循环7次(2^7)左右即可找到准确的IP信息。之后本来还想将ip.dat放在内存中加快检索速度,后来发现,字符串定位函数的效率,根本和文件指针的偏移定位不是在一个数量级的,所以还是放弃使用内存来存放IP库。
这个实现,使IP检索效率提高了近百倍,只是一个简单的二分法的应用,从此算法在WEB应用中不重要的观念彻底打消了。其实要实现这个,我还请教了金狐,我一开始是请他帮我生成一个纯真格式的IP库,然后用Discuz的IP查询函数来检索,不过他不肯帮我,最后造就了我的这个实践和学习。有时候,求人不如求己。
+----------+----------+------------+---------+---------+--------+--------+
| ip_begin | ip_end | country_id | prov_id | city_id | isp_id | netbar |
+----------+----------+------------+---------+---------+--------+--------+
| 0 | 16777215 | 2 | 0 | 0 | 0 | 0 |
| 16777216 | 33554431 | 2 | 0 | 0 | 0 | 0 |
| 33554432 | 50331647 | 2 | 0 | 0 | 0 | 0 |
| 50331648 | 67108863 | 3 | 0 | 0 | 0 | 0 |
| 67108864 | 67829759 | 3 | 0 | 0 | 0 | 0 |
+----------+----------+------------+---------+---------+--------+--------+
这样做查询需要用到如下SQL:
<?php
$sql = "SELECT * FROM i_m_ip WHERE ip_begin <= $client_ip AND ip_end >= $client_ip";
?>
这样的检索显然用不到索引,即使用到,MySQL查询效率也不大可能达到每秒500次以上,我做了很多并发优化,最终平均查询效率也只有每秒200次左右,实在是头痛。一开始我也有想到借鉴纯真IP库的检索方法,但是我一直对算法有抵触,也以为二分法很难,所以就没有尝试使用,直到最后没有办法了,才最终实现了二分法的IP地址检索。
从上表可以看到IP库是从0到4294967295的一个连续数值,这个数值要是拆开存储,会有几百G的数据,所以没办法使用索引也没办法哈希。最终我使用PHP将这些东东转为二进制存储,抛弃了数据库的检索。可以看到IP起止长度为一个4字节的长整型,后面的国家ID、省份ID等,可以使用2个字节的短整型来存储,总共一行数据就有18个字节,总共31万条数据,算起来也就5M的样子。具体IP库生成代码如下:
<?php
/*
IP文件格式:
3741319168 3758096383 182 0 0 0 0
3758096384 3774873599 3 0 0 0 0
3774873600 4026531839 182 0 0 0 0
4026531840 4278190079 182 0 0 0 0
4294967040 4294967295 312 0 0 0 0
*/
set_time_limit(0);
$handle = fopen("./ip.txt", "rb");
$fp = fopen("./ip.dat", "ab");
if ($handle) {
while (!feof($handle)) {
$buffer = fgets($handle);
$buffer = trim($buffer);
$buffer = explode("\t", $buffer);
foreach ($buffer as $key => $value) {
$buffer[$key] = (float) trim($value);
}
$str = pack("L", $buffer[0]);
$str .= pack("L", $buffer[1]);
$str .= pack("S", $buffer[2]);
$str .= pack("S", $buffer[3]);
$str .= pack("S", $buffer[4]);
$str .= pack("S", $buffer[5]);
$str .= pack("S", $buffer[6]);
fwrite($fp, $str);
}
}
?>
这样IP就按照顺序每18字节一个单位排列了,所以很容易就使用二分法来检索出IP信息:
function getip($ip, $fp) {
fseek($fp, 0);
$begin = 0;
$end = filesize("./ip.dat");
$begin_ip = implode("", unpack("L", fread($fp, 4)));
fseek($fp, $end - 14);
$end_ip = implode("", unpack("L", fread($fp, 4)));
$begin_ip = sprintf("%u", $begin_ip);
$end_ip = sprintf("%u", $end_ip);
do {
if ($end - $begin <= 18) {
fseek($fp, $begin + 8);
$info = array();
$info[0] = implode("", unpack("S", fread($fp, 2)));
$info[1] = implode("", unpack("S", fread($fp, 2)));
$info[2] = implode("", unpack("S", fread($fp, 2)));
$info[3] = implode("", unpack("S", fread($fp, 2)));
$info[4] = implode("", unpack("S", fread($fp, 2)));
return $info;
}
$middle_seek = ceil((($end - $begin) / 18) / 2) * 18 + $begin;
fseek($fp, $middle_seek);
$middle_ip = implode("", unpack("L", fread($fp, 4)));
$middle_ip = sprintf("%u", $middle_ip);
if ($ip >= $middle_ip) {
$begin = $middle_seek;
} else {
$end = $middle_seek;
}
} while (true);
}
以上$fp为打开ip.dat的文件句柄,由于是循环检索,所以写在函数外面,免得每次检索都要打开一次文件,30W行数据二分法最多也只需要循环7次(2^7)左右即可找到准确的IP信息。之后本来还想将ip.dat放在内存中加快检索速度,后来发现,字符串定位函数的效率,根本和文件指针的偏移定位不是在一个数量级的,所以还是放弃使用内存来存放IP库。
这个实现,使IP检索效率提高了近百倍,只是一个简单的二分法的应用,从此算法在WEB应用中不重要的观念彻底打消了。其实要实现这个,我还请教了金狐,我一开始是请他帮我生成一个纯真格式的IP库,然后用Discuz的IP查询函数来检索,不过他不肯帮我,最后造就了我的这个实践和学习。有时候,求人不如求己。
相关文章
- php://input allow_url_include,php allow_url_include的应用和解释_PHP教程
- MySQL与PHP的基础与应用专题之数据查询
- PHP使用MySQL数据库:最佳实践(php查询mysql数据库)
- 一步步教你使用PHP调用Linux命令(php调用linux命令)
- PHP服务器在Linux上的应用(php服务器linux)
- PHP与MySQL无缝对接,构建强大数据库应用(php整合mysql)
- Linux下快速配置PHP开发环境(linux下安装php环境)
- 网站利用 PHP 与 MySQL 构建网站.(php和mysql开发)
- 从PHP与MySQL结合 创造美好图片(php图片mysql)
- PHP在Linux下的应用突破之路(php使用linux)
- 查询使用PHP运行MySQL查询的步骤(php运行mysql)
- Redis实现长连接:PHP开发入门(redis长连接php)
- PHP中的MySQL转义码简介(php转义mysql)
- 深入理解MySQL转义在PHP中的应用技巧(mysql转义php)
- 使用 PHP 查询 MySQL 数据库的方法详解(php查询mysql数据)
- php建立你的网站:使用 Apache、MySQL 和 PHP(httpdmysql)
- PHP连接MSSQL数据库的方法和步骤(php如何连接mssql)
- MySQL PHP长连接:持久化提升应用性能(mysql php长连接)
- PHP编程查询MySQL数据库:入门指南(php 查询 mysql)
- PHP无法连接MSSQL数据库问题的解决方法(php 无法 mssql)
- PHP Redis实时监控系统的应用(php redis 监控)
- 使用PHP实现远程连接MSSQL数据库(php远程连接mssql)
- PHP与MSSQL的良好配合,助力数据应用升级(php_mssql)
- Linux环境下的PHP脚本开发与应用(linux下php脚本)
- 用PHP连接MSSQL数据库:轻松搞定!(mssql连接类php)
- MySQL与PHP结合抵御注入攻击(mysql php 注入)
- PHP编程实现Redis集合操作(redis集合操作php)
- 利用discuz实现PHP大文件上传应用实例代码
- PHP和Mysqlweb应用开发核心技术-第1部分Php基础-2php语言介绍
- 解析PHP自带的进位制之间的转换函数