免费观看又色又爽又黄的小说免费_美女福利视频国产片_亚洲欧美精品_美国一级大黄大色毛片

使用Redis有序集合實現IP歸屬地查詢詳解

工作中經常遇到一類需求，根據 IP 地址段來查找 IP 對應的歸屬地信息。如果把查詢過程放到關系型數據庫中，會帶來很大的 IO 消耗，速度也不能滿足，顯然是不合適的。

專業網站制作公司網站可以采用ASP、PHP、.NET編程語言及配備的SQL SERVER、MYSQL、ACCESSS數據庫存儲來整體開發及設計各類型大中型網站（包括：公司、行業門戶、醫院門戶、商城、政府門戶、音樂、視頻、交友、同城分類信息等各種類型網站），我們可以提供從網站開發、網站設計、網站安全維護及網站托管運營和網絡推廣一條龍服務。打造高端企業網站設計公司，網站開發周期短，質量有保證，設計精美，價格合理。

那有哪些更好的辦法呢？為此做了一些嘗試，下面來詳細說明。

構建索引文件

在 GitHub 上看到一個ip2region 項目，作者通過生成一個包含有二級索引的文件來實現快速查詢，查詢速度足夠快，毫秒級別。但如果想更新地址段或歸屬地信息，每次都要重新生成文件，并不是很方便。
不過還是推薦大家看看這個項目，其中建索引的思想還是很值得學習的。作者的開源項目中只有查詢的相關代碼，并沒有生成索引文件的代碼，我依照原理圖寫了一段生成索引文件的代碼，如下：

# -*- coding:utf-8 -*-


import time
import socket
import struct

IP_REGION_FILE = './data/ip_to_region.db'

SUPER_BLOCK_LENGTH = 8
INDEX_BLOCK_LENGTH = 12
HEADER_INDEX_LENGTH = 8192


def generate_db_file():
  pointer = SUPER_BLOCK_LENGTH + HEADER_INDEX_LENGTH

  region, index = '', ''

  # 文件格式
  # 1.0.0.0|1.0.0.255|澳大利亞|0|0|0|0
  # 1.0.1.0|1.0.3.255|中國|0|福建省|福州市|電信
  with open('./ip.merge.txt', 'r') as f:
    for line in f.readlines():
      item = line.strip().split('|')
      print item[0], item[1], item[2], item[3], item[4], item[5], item[6]
      start_ip = struct.pack('I', struct.unpack('!L', socket.inet_aton(item[0]))[0])
      end_ip = struct.pack('I', struct.unpack('!L', socket.inet_aton(item[1]))[0])
      region_item = '|'.join([item[2], item[3], item[4], item[5], item[6]])
      region += region_item

      ptr = struct.pack('I', int(bin(len(region_item))[2:].zfill(8) + bin(pointer)[2:].zfill(24), 2))
      index += start_ip + end_ip + ptr
      pointer += len(region_item)

  index_start_ptr = pointer
  index_end_ptr = pointer + len(index) - 12
  super_block = struct.pack('I', index_start_ptr) + struct.pack('I', index_end_ptr)

  n = 0
  header_index = ''
  for index_block in range(pointer, index_end_ptr, 8184):
    header_index_block_ip = index[n * 8184:n * 8184 + 4]
    header_index_block_ptr = index_block
    header_index += header_index_block_ip + struct.pack('I', header_index_block_ptr)

    n += 1

  header_index += index[len(index) - 12: len(index) - 8] + struct.pack('I', index_end_ptr)

  with open(IP_REGION_FILE, 'wb') as f:
    f.write(super_block)
    f.write(header_index)
    f.seek(SUPER_BLOCK_LENGTH + HEADER_INDEX_LENGTH, 0)
    f.write(region)
    f.write(index)


if __name__ == '__main__':
  start_time = time.time()
  generate_db_file()

  print 'cost time: ', time.time() - start_time

使用 redis 緩存

目前有兩種方式對 IP 以及歸屬地信息進行緩存：

第一種是將起始 IP，結束 IP 以及中間所有 IP 轉換成整型，然后以字符串方式，用轉換后的 IP 作為 key，歸屬地信息作為 value 存入 Redis；

第二種是采用有序集合和散列方式，首先將起始 IP 和結束 IP 添加到有序集合 ip2cityid，城市 ID 作為成員，轉換后的 IP 作為分值，然后再將城市 ID 和歸屬地信息添加到散列 cityid2city，城市 ID 作為 key，歸屬地信息作為 value。

第一種方式就不多做介紹了，簡單粗暴，非常不推薦。查詢速度當然很快，毫秒級別，但缺點也十分明顯，我用 1000 條數據做了測試，緩存時間長，大概 20 分鐘，占用空間大，將近 1G。

下面介紹第二種方式，直接看代碼：

# generate_to_redis.py
# -*- coding:utf-8 -*-

import time
import json
from redis import Redis


def ip_to_num(x):
  return sum([256 ** j * int(i) for j, i in enumerate(x.split('.')[::-1])])


# 連接 Redis
conn = Redis(host='127.0.0.1', port=6379, db=10)

start_time = time.time()

# 文件格式
# 1.0.0.0|1.0.0.255|澳大利亞|0|0|0|0
# 1.0.1.0|1.0.3.255|中國|0|福建省|福州市|電信
with open('./ip.merge.txt', 'r') as f:
  i = 1
  for line in f.readlines():
    item = line.strip().split('|')
    # 將起始 IP 和結束 IP 添加到有序集合 ip2cityid
    # 成員分別是城市 ID 和 ID + #, 分值是根據 IP 計算的整數值
    conn.zadd('ip2cityid', str(i), ip_to_num(item[0]), str(i) + '#', ip_to_num(item[1]) + 1)
    # 將城市信息添加到散列 cityid2city，key 是城市 ID，值是城市信息的 json 序列
    conn.hset('cityid2city', str(i), json.dumps([item[2], item[3], item[4], item[5]]))

    i += 1

end_time = time.time()

print 'start_time: ' + str(start_time) + ', end_time: ' + str(end_time) + ', cost time: ' + str(end_time - start_time)


# test.py
# -*- coding:utf-8 -*-

import sys
import time
import json
import socket
import struct
from redis import Redis

# 連接 Redis
conn = Redis(host='127.0.0.1', port=6379, db=10)

# 將 IP 轉換成整數
ip = struct.unpack("!L", socket.inet_aton(sys.argv[1]))[0]

start_time = time.time()
# 將有序集合從大到小排序，取小于輸入 IP 值的第一條數據
cityid = conn.zrevrangebyscore('ip2cityid', ip, 0, start=0, num=1)
# 如果返回 cityid 是空，或者匹配到了 # 號，說明沒有找到對應地址段
if not cityid or cityid[0].endswith('#'):
  print 'no city info...'
else:
  # 根據城市 ID 到散列表取出城市信息
  ret = json.loads(conn.hget('cityid2city', cityid[0]))
  print ret[0], ret[1], ret[2]

end_time = time.time()
print 'start_time: ' + str(start_time) + ', end_time: ' + str(end_time) + ', cost time: ' + str(end_time - start_time)


# python generate_to_redis.py 
start_time: 1554300310.31, end_time: 1554300425.65, cost time: 115.333260059
# python test_2.py 1.0.16.0
日本 0 0
start_time: 1555081532.44, end_time: 1555081532.45, cost time: 0.000912189483643

測試數據大概 50 萬條，緩存所用時間不到 2 分鐘，占用內存 182M，查詢速度毫秒級別。顯而易見，這種方式更值得嘗試。

zrevrangebyscore 方法的時間復雜度是 O(log(N)+M)， N 為有序集的基數， M 為結果集的基數。可見當 N 的值越大，查詢效率越慢，具體在多大的數據量還可以高效查詢，這個有待驗證。不過這個問題我覺得并不用擔心，遇到了再說吧。

以上所述是小編給大家介紹的使用Redis有序集合實現IP歸屬地查詢詳解整合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對創新互聯網站的支持！

分享文章：使用Redis有序集合實現IP歸屬地查詢詳解
文章鏈接：http://m.newbst.com/article16/pepcgg.html

成都網站建設公司_創新互聯，為您提供外貿建站、品牌網站設計、商城網站、網站收錄、定制網站、微信小程序

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯

成都網站建設公司