czipdata 纯真IP数据库镜像

/ 0评 / 1
内容纲要

Github:https://github.com/a76yyyy/czipdata
Gitee :https://gitee.com/a76yyyy/czipdata

czipdata

纯真IP数据库镜像及mysql同步更新 for Python3.x

功能

  1. 通过Python实现纯真IP数据库的镜像更新,数据库在data文件夹下;
  2. 将数据文件解析为txt格式;
  3. 将数据文件全量导入mysql中;
  4. 将mysql数据库中的IP数据库内的地址细分为省市区;
  5. 生成sql脚本文件。

数据文件

文件 内容
czipdata_version.bin 本地数据文件版本记录
czipdata.dat 纯真IP数据文件
czipdata.txt 纯真IP数据TXT文件
correct.json 地址细分纠错文件
ipdatabase.sql IP数据库sql脚本
college_info.sql 高校信息表sql脚本
iprange_info.sql IP数据表sql脚本

TODO

  1. 将数据文件导入sqlite3数据库db文件中;
  2. 实现数据库的增量更新;
  3. 实现定时更新。

czipdata 纯真IP数据库镜像插图
czipdata 纯真IP数据库镜像插图1
czipdata 纯真IP数据库镜像插图2
示例API接口(暂不提供源码):https://api.a76yyyy.xyz/ip?function=ipInfo&params1=114.114.114.114

czipdata 纯真IP数据库镜像插图3

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

PS E:\Documents\OneDrive\Desktop\time\czipdata> & D:/Programs/Python/Python37/python.exe e:/Documents/OneDrive/Desktop/time/czipdata/IP_Sync/ip_Sync.py
本地数据文件版本: 44155
上次检查更新时间: 2020-11-22 21:21:01
上次数据更新时间: 2020-11-22 21:21:05

开始检查更新: 
---------------处理中, 请稍候---------------
地址:http://update.cz88.net/ip/copywrite.rar
开始下载:e:\Documents\OneDrive\Desktop\time\czipdata\IP_Sync\tmp\copywrite.rar
[e:\Documents\OneDrive\Desktop\time\czipdata\IP_Sync\tmp\copywrite.rar] 下载完成 0.27 KB / 0.27 KB
下载完成,共花费了0.96s
当前数据文件版本 (44155)无更新!
------------------------------------------- 

写入文件 e:\Documents\OneDrive\Desktop\time\czipdata\data\czipdata.txt 中, 请稍候...
写入完成, 写入 528034 条数据.
检索ip数据库是否存在 
---------------处理中, 请稍候---------------
将IP数据文件"e:\Documents\OneDrive\Desktop\time\czipdata\data\czipdata.txt"导入Mysql数据库中: 
---------------处理中, 请稍候---------------
本批次(行:0 - 99999)已处理完成。共需处理100000条,成功转换100000条。
系统将自动处理下一批IP数据(行:100000 - 199999)…… 
---------------处理中, 请稍候---------------
本批次(行:100000 - 199999)已处理完成。共需处理100000条,成功转换100000条。
系统将自动处理下一批IP数据(行:200000 - 299999)…… 
---------------处理中, 请稍候---------------
本批次(行:200000 - 299999)已处理完成。共需处理100000条,成功转换100000条。
系统将自动处理下一批IP数据(行:300000 - 399999)…… 
---------------处理中, 请稍候---------------
本批次(行:300000 - 399999)已处理完成。共需处理100000条,成功转换100000条。
系统将自动处理下一批IP数据(行:400000 - 499999)…… 
---------------处理中, 请稍候---------------
本批次(行:400000 - 499999)已处理完成。共需处理100000条,成功转换100000条。
系统将自动处理下一批IP数据(行:500000 - 599999)…… 
---------------处理中, 请稍候---------------
本批次(行:500000 - 528033)已处理完成。共需处理28034条,成功转换28034条。
-------------------------------------------
已全部导入完成, 共导入528034条数据.

连接IP数据库, 并检索大学数据库信息:
---------------处理中, 请稍候---------------
IP数据库连接成功! 
------------------------------------------- 
开始载入纠错文件correct.json:
---------------处理中, 请稍候---------------
载入完成!
-------------------------------------------
将IP数据库内的地址细分为省市区:
---------------处理中, 请稍候---------------
本批次(行:0 - 19999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:20000 - 40000)……
---------------处理中, 请稍候---------------
本批次(行:20000 - 39999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:40000 - 60000)……
---------------处理中, 请稍候---------------
本批次(行:40000 - 59999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:60000 - 80000)……
---------------处理中, 请稍候---------------
本批次(行:60000 - 79999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:80000 - 100000)……
---------------处理中, 请稍候---------------
本批次(行:80000 - 99999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:100000 - 120000)……
---------------处理中, 请稍候---------------
本批次(行:100000 - 119999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:120000 - 140000)……
---------------处理中, 请稍候---------------
本批次(行:120000 - 139999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:140000 - 160000)……
---------------处理中, 请稍候---------------
本批次(行:140000 - 159999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:160000 - 180000)……
---------------处理中, 请稍候---------------
本批次(行:160000 - 179999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:180000 - 200000)……
---------------处理中, 请稍候---------------
本批次(行:180000 - 199999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:200000 - 220000)……
---------------处理中, 请稍候---------------
本批次(行:200000 - 219999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:220000 - 240000)……
---------------处理中, 请稍候---------------
本批次(行:220000 - 239999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:240000 - 260000)……
---------------处理中, 请稍候---------------
本批次(行:240000 - 259999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:260000 - 280000)……
---------------处理中, 请稍候---------------
本批次(行:260000 - 279999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:280000 - 300000)……
---------------处理中, 请稍候---------------
本批次(行:280000 - 299999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:300000 - 320000)……
---------------处理中, 请稍候---------------
本批次(行:300000 - 319999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:320000 - 340000)……
---------------处理中, 请稍候---------------
本批次(行:320000 - 339999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:340000 - 360000)……
---------------处理中, 请稍候---------------
本批次(行:340000 - 359999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:360000 - 380000)……
---------------处理中, 请稍候---------------
本批次(行:360000 - 379999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:380000 - 400000)……
---------------处理中, 请稍候---------------
本批次(行:380000 - 399999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:400000 - 420000)……
---------------处理中, 请稍候---------------
本批次(行:400000 - 419999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:420000 - 440000)……
---------------处理中, 请稍候---------------
本批次(行:420000 - 439999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:440000 - 460000)……
---------------处理中, 请稍候---------------
本批次(行:440000 - 459999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:460000 - 480000)……
---------------处理中, 请稍候---------------
本批次(行:460000 - 479999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:480000 - 500000)……
---------------处理中, 请稍候---------------
本批次(行:480000 - 499999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:500000 - 520000)……
---------------处理中, 请稍候---------------
本批次(行:500000 - 519999)已处理完成。共需处理20000条,成功转换20000条。
系统将自动处理下一批IP数据(行:520000 - 540000)……
---------------处理中, 请稍候---------------
本批次(行:520000 - 528033)已处理完成。共需处理8034条,成功转换8034条。
------------------------------------------- 
已全部完成转换。
操作完成!
连接IP数据库, 并导出为sql文件: 
---------------处理中, 请稍候---------------
mysqldump: [Warning] Using a password on the command line interface can be insecure.
IP数据库导出成功! 
mysqldump: [Warning] Using a password on the command line interface can be insecure.
高校信息表导出成功! 
mysqldump: [Warning] Using a password on the command line interface can be insecure.
IP数据表导出成功!