Optimize the README DOC

This commit is contained in:
lionsoul 2020-02-21 13:36:21 +08:00
parent e57d010ddc
commit b75d215318
22 changed files with 110 additions and 73 deletions

181
README.md
View File

@ -1,11 +1,15 @@
ip2region - 最自由的ip地址查询库ip到地区的映射库提供Binary,B树和纯内存三种查询算法妈妈再也不用担心我的ip地址定位。 # Ip2region是什么
### 1. 前言: ip2region - 准确率99.9%的离线IP地址定位库0.0x毫秒级查询ip2region.db数据库只有数MB提供了java,php,c,python,nodejs,golang,c#等查询绑定和Binary,B树,内存三种查询算法。
ip2region重点在于<b>研究ip数据的存储设计和各种语言的查询实现</b>并没有原始ip数据的支撑数据来源请参考下面的描述升级数据需要很多IP的支撑并且会对原始平台造成一定量的请求压力本项目不保证及时的数据更新没有也不会有商用版本你可以使用自定义的数据导入ip2region进行自定义查询的实现。
### 2. 99.9%准确率,定时更新:
数据聚合了一些知名ip到地名查询提供商的数据这些是他们官方的的准确率经测试着实比纯真啥的准确一些。<br />
# Ip2region核心特性
### 99.9%准确率
数据聚合了一些知名ip到地名查询提供商的数据这些是他们官方的的准确率经测试着实比经典的纯真IP定位准确一些。<br />
ip2region的数据聚合自以下服务商的开放API或者数据(升级程序每秒请求次数2到4次): <br /> ip2region的数据聚合自以下服务商的开放API或者数据(升级程序每秒请求次数2到4次): <br />
01, &gt;80%, 淘宝IP地址库, [http://ip.taobao.com/](http://ip.taobao.com/) <br /> 01, &gt;80%, 淘宝IP地址库, [http://ip.taobao.com/](http://ip.taobao.com/) <br />
02, ≈10%, GeoIP, [https://geoip.com/](https://geoip.com/) <br /> 02, ≈10%, GeoIP, [https://geoip.com/](https://geoip.com/) <br />
@ -13,80 +17,67 @@ ip2region的数据聚合自以下服务商的开放API或者数据(升级程序
<b>备注:</b>如果上述开放API或者数据都不给开放数据时ip2region将停止数据的更新服务。 <b>备注:</b>如果上述开放API或者数据都不给开放数据时ip2region将停止数据的更新服务。
### 3. 标准化的数据格式 ### 标准化的数据格式
每条ip数据段都固定了格式_城市Id|国家|区域|省份|城市|ISP_ 每条ip数据段都固定了格式]
```
_城市Id|国家|区域|省份|城市|ISP_
```
只有中国的数据精确到了城市其他国家只能定位到国家后前的选项全部是0已经包含了全部你能查到的大大小小的国家。 只有中国的数据精确到了城市其他国家有部分数据只能定位到国家后前的选项全部是0已经包含了全部你能查到的大大小小的国家请忽略前面的城市Id个人项目需求
请忽略前面的城市Id个人项目需求
### 4. 体积小:
生成的数据库文件ip2region.db只有1.5M1.2版本前是3.5M ### 体积小
### 5. 多查询客户端的支持0.0x毫秒级别的查询 包含了全部的IP生成的数据库文件ip2region.db只有几MB最小的版本只有1.5MB随着数据的详细度增加数据库的大小也慢慢增大目前还没超过8MB。
### 查询速度快
全部的查询客户端单次查询都在0.x毫秒级别内置了三种查询算法
1. memory算法整个数据库全部载入内存单次查询都在0.1x毫秒内C语言的客户端单次查询在0.00x毫秒级别。
2. binary算法基于二分查找基于ip2region.db文件不需要载入内存单次查询在0.x毫秒级别。
3. b-tree算法基于btree算法基于ip2region.db文件不需要载入内存单词查询在0.x毫秒级别比binary算法更快。
任何客户端b-tree都比binary算法快当然memory算法固然是最快的
### 多查询客户端的支持
已经集成的客户端有java、C#、php、c、python、nodejs、php扩展(php5和php7)、golang、rust、lua、lua_c。 已经集成的客户端有java、C#、php、c、python、nodejs、php扩展(php5和php7)、golang、rust、lua、lua_c。
提供了两种查询算法,响应时间如下:
客户端/binary算法/b-tree算法/Memory算法
c#/0.x毫秒/0.x毫秒/0.x毫秒
java/0.x毫秒/0.x毫秒/0.1x毫秒 (使用RandomAccessFile)
php/0.x毫秒/0.1x毫秒/0.1x毫秒
c/0.0x毫秒/0.0x毫秒/0.00x毫秒(b-tree算法基本稳定在0.02x毫秒级别)
python/0.x毫秒/0.1x毫秒/未知
lua/0.x毫秒/0.x毫秒/0.x毫秒
lua_c/0.0x毫秒/0.0x毫秒/0.00x毫秒
任何客户端b-tree都比binary算法快当然Memory算法固然是最快的 ##### 已有的binding
适用语言 | 开发语言 | 开发状态 | binary查询耗时 | b-tree查询耗时 | memory查询耗时
:-: | :-: | :-: | :-: | :-: | :-:
[c](binding/c) | c | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒
[c#](binding/c#) | c# | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒
[golang](binding/golang) | golang | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒
[java](binding/java) | java | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒
[lua](binding/lua) | lua | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.x毫秒
[lua](binding/lua_c) | c | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒
[nginx](binding/nginx) | c | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒
[nodejs](binding/nodejs) | nodejs | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.1x毫秒
[php](binding/php) | php | 已完成 | 0.x毫秒 | 0.1x毫秒 | 0.1x毫秒
[php](binding/c) | c | 已完成 | 0.0x毫秒 | 0.0x毫秒 | 0.00x毫秒
[php](binding/c) | c | 已完成 | 0.0毫秒 | 0.0x毫秒 | 0.00x毫秒
[python](binding/c) | python | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.x毫秒
[rust](binding/c) | rust | 已完成 | 0.x毫秒 | 0.x毫秒 | 0.x毫秒
maven仓库地址
```xml
<dependency>
<groupId>org.lionsoul</groupId>
<artifactId>ip2region</artifactId>
<version>1.7.2</version>
</dependency>
```
nuget安装命令
```shell
Install-Package IP2Region
```
### 6. 测试程序:
C#、Node.js、lua_c的测试请具体参考文件夹中README.md 说明。
java:
```shell
cd binding/java
ant all
java -jar ip2region-{version}.jar ./data/ip2region.db
```
php: # ip2region快速测试
```shell
php binding/php/testSearcher.php ./data/ip2region.db
```
c: 请参考每个binding下的README说明去运行cli测试程序例如C语言的demo运行如下
```shell ```shell
cd binding/c/ cd binding/c/
gcc -g -O2 testSearcher.c ip2region.c gcc -g -O2 testSearcher.c ip2region.c
./a.out ../../data/ip2region.db ./a.out ../../data/ip2region.db
``` ```
python: 会看到如下cli界面
```shell
python binding/python/testSearcher.py ./data/ip2region.db
```
lua:
```shell
cd binding/lua/
lua testSearcher.lua ../../data/ip2region.db
```
均会看到如下界面:
```shell ```shell
initializing B-tree ... initializing B-tree ...
+----------------------------------+ +----------------------------------+
@ -98,19 +89,60 @@ p2region>> 101.105.35.57
2163|中国|华南|广东省|深圳市|鹏博士 in 0.02295 millseconds 2163|中国|华南|广东省|深圳市|鹏博士 in 0.02295 millseconds
``` ```
输入ip地址开始测试第一次会稍微有点慢在运行命令后面接入binary,memory来尝试其他算法建议使用b-tree算法速度和并发需求的可以使用memory算法。 输入IP地址开始测试第一次会稍微有点慢在运行命令后面接入binary,memory来尝试其他算法建议使用b-tree算法速度和并发需求的可以使用memory算法具体集成请参考不同binding下的测试源码。
具体集成请参考不同客户端的测试源码。
### 7. 如何生成ip2region.db文件
# ip2region安装
具体请参考每个binding下的README文档以下是一些可用的快捷安装方式
### maven仓库地址
```xml
<dependency>
<groupId>org.lionsoul</groupId>
<artifactId>ip2region</artifactId>
<version>1.7.2</version>
</dependency>
```
### nodejs
```
npm install node-ip2region --save
```
### nuget安装
```shell
Install-Package IP2Region
```
### php composer
```shell
# 插件来自https://github.com/zoujingli/ip2region
composer require zoujingli/ip2region
```
# ip2region 并发使用
1. 全部binding的各个search接口都<b>不是</b>线程安全的实现不同线程可以通过创建不同的查询对象来使用并发量很大的情况下binary和b-tree算法可能会打开文件数过多的错误请修改内核的最大允许打开文件数(fs.file-max=一个更高的值)或者使用持久化的memory算法。
2. memorySearch接口在发布对象前进行一次预查询(本质上是把ip2region.db文件加载到内存),可以安全用于多线程环境。
# ip2region.db的生成
从1.8版本开始ip2region开源了ip2region.db生成程序的java实现提供了ant编译支持编译后会得到以下提到的dbMaker-{version}.jar对于需要研究生成程序的或者更改自定义生成配置的请参考${ip2region_root}/maker/java内的java源码。 从1.8版本开始ip2region开源了ip2region.db生成程序的java实现提供了ant编译支持编译后会得到以下提到的dbMaker-{version}.jar对于需要研究生成程序的或者更改自定义生成配置的请参考${ip2region_root}/maker/java内的java源码。
从ip2region 1.2.2版本开始里面提交了一个dbMaker-{version}.jar的可以执行jar文件用它来完成这个工作 从ip2region 1.2.2版本开始里面提交了一个dbMaker-{version}.jar的可以执行jar文件用它来完成这个工作
* 1, 确保你安装好了java环境不玩Java的童鞋就自己谷歌找找拉临时用一用几分钟的事情
* 2, cd到${ip2region_root}/maker/java然后运行如下命令 1. 确保你安装好了java环境不玩Java的童鞋就自己谷歌找找拉临时用一用几分钟的事情
2. cd到${ip2region_root}/maker/java然后运行如下命令
```shell ```shell
java -jar dbMaker-{version}.jar -src 文本数据文件 -region 地域csv文件 [-dst 生成的ip2region.db文件的目录] java -jar dbMaker-{version}.jar -src 文本数据文件 -region 地域csv文件 [-dst 生成的ip2region.db文件的目录]
@ -120,8 +152,8 @@ java -jar dbMaker-{version}.jar -src 文本数据文件 -region 地域csv文件
# ip2region.db文件的目录是可选参数没有指定的话会在当前目录生成一份./data/ip2region.db文件 # ip2region.db文件的目录是可选参数没有指定的话会在当前目录生成一份./data/ip2region.db文件
``` ```
* 3, 获取生成的ip2region.db文件覆盖原来的ip2region.db文件即可 3. 获取生成的ip2region.db文件覆盖原来的ip2region.db文件即可
* 4, 默认的ip2region.db文件生成命令: 4. 默认的ip2region.db文件生成命令:
```shell ```shell
cd ${ip2region_root}/java/ cd ${ip2region_root}/java/
@ -130,10 +162,15 @@ java -jar dbMaker-1.2.2.jar -src ./data/ip.merge.txt -region ./data/global_regio
# 会看到一大片的输出 # 会看到一大片的输出
``` ```
* 5, 数据库文件的结构和原理请阅读 @冬芽 的blog[“ip2region数据库文件的结构和原理”](http://dongyado.com/tool/2016/08/18/structure-of-ip2region-database-file/)
### 8. 其他备注
* 1, 全部binding的各个search接口都<b>不是</b>线程安全的实现,不同线程可以通过创建不同的查询对象来使用。 # 相关备注
* 2, memorySearch接口在发布对象前进行一次预查询可以安全用于多线程环境。
* 3, ip2region交流分享微信lionsoul2014QQ1187582057 ### 声明
ip2region重点在于<b>研究IP数据的存储设计和各种语言的查询实现</b>并没有原始IP数据的支撑数据来源请参考上面的描述升级数据需要很多IP的支撑并且会对原始平台造成一定量的请求压力本项目不保证及时的数据更新没有也不会有商用版本你可以使用自定义的数据导入ip2region进行自定义查询的实现。
### 技术交流
1. 数据库文件的结构和原理请阅读 @冬芽 的blog[“ip2region数据库文件的结构和原理”](http://dongyado.com/tool/2016/08/18/structure-of-ip2region-database-file/)
2. ip2region交流分享微信lionsoul2014(请备注ip2region)QQ1187582057(很少关注)

View File

@ -28,7 +28,7 @@ version = "*"
取消上面 toml 的 `# features = ["lazy"]` 行的注释即可使用,其 api 是 `memory_search``memory_search_ip` 取消上面 toml 的 `# features = ["lazy"]` 行的注释即可使用,其 api 是 `memory_search``memory_search_ip`
只是目前 DB 有3.2M,还是有些感人的。 只是目前 DB 有3.2M,还是有些感人的。
关键的一行是 `features = ["lazy"]` ,不需要则可以注释或者删掉。 关键的一行是 `features = ["lazy"]` ,不需要则可以注释或者删掉。