C# - IP 주소에 따른 국가별 위치 확인
재미있는 글을 하나 읽었습니다. ^^
HiveQL Tuning Case #2 - 적은 데이터는 많게 만들기 (IP별 국가 매핑)
; https://sparkdia.tistory.com/63
(개인적으로 HiveQL은 만져본 적이 없으므로 그냥 단순하게 RDBMS의 관점에서 저 글을 읽었다고 가정하겠습니다.)
범위로 정해진 데이터에 대해 사용자가 비교 코드를 정의할 수 없어, (어찌 보면 ^^ 눈물겨운) 튜닝 작업을 어떤 식으로 했는가에 대해 잘 설명해 주고 있습니다.
그런데 위의 처리를 HiveQL이 아닌, 응용 프로그램 레벨에서 처리하면 의외로 간단하게 해결이 됩니다. 왜냐하면, SQL 쿼리의 경우에는 Equals 연산이 안되므로 BETWEEN과 JOIN 처리를 해야 하지만 코드 레벨로 내려오면 Equals 처리가 가능하기 때문입니다. 어떻게 하는지 한번 ^^ 구현해 볼까요?
우선, 위의 글에 보면 국가별 IP 할당 내역을 다음의 글에 공개하고 있다고 알려주는데요,
국가별 IP 주소 대역 현황
; https://krnic.or.kr/jsp/infoboard/stats/ipCurrent.jsp
CSV 파일로 내려받을 수 있으므로, 이렇게 로딩을 처리할 수 있습니다.
public class IPv4Range
{
public DateTime Created;
public string NationCode;
public IPAddress Started;
public IPAddress Ended;
public string Prefix;
public DateTime Allocated;
public override string ToString()
{
return $"{NationCode}({Started}~{Ended})";
}
}
public class IPv4Tables
{
public static IPv4Range[] _ranges;
static IPv4Tables()
{
_ranges = ReadTables();
}
private static IPv4Range[] ReadTables()
{
List<IPv4Range> list = new List<IPv4Range>();
foreach (string line in File.ReadAllLines("ipv4.csv").Skip(1))
{
string[] items = line.Split(',');
IPv4Range range = new IPv4Range();
range.Created = DateTime.ParseExact(items[0], "yyyyMMdd", CultureInfo.InvariantCulture);
range.NationCode = items[1];
range.Started = IPAddress.Parse(items[2]);
range.Ended = IPAddress.Parse(items[3]);
range.Prefix = items[4];
range.Allocated = DateTime.ParseExact(items[5], "yyyyMMdd", CultureInfo.InvariantCulture);
list.Add(range);
}
return list.ToArray();
}
}
물론, 정렬도 시켜놓아야 하므로 IPv4Range 클래스에 IComparer 인터페이스를 구현하고,
public class IPv4Range : IComparable<IPv4Range>
{
// ...[생략]...
public int CompareTo(IPv4Range other)
{
uint otherAddr = other.Started.ToUInt32();
uint thisAddr = Started.ToUInt32();
if (otherAddr == thisAddr)
{
return 0;
}
if (otherAddr > thisAddr)
{
return -1;
}
return 1;
}
}
public static class IPAddressHelper
{
public static uint ToUInt32(this IPAddress addr)
{
return BitConverter.ToUInt32(addr.GetAddressBytes().Reverse().ToArray(), 0);
}
}
Array.Sort를 호출해 줍니다.
public class IPv4Tables
{
public static IPv4Range[] _ranges;
static IPv4Tables()
{
_ranges = ReadTables();
Array.Sort(_ranges);
}
// ...[생략]...
}
데이터가 준비되었으니, 아무 IP나 하나 생성해서 단순 검색으로 구현해 테스트할 수 있습니다.
{
Random rand = new Random((int)new DateTime(2020, 8, 10).Ticks);
rand.NextBytes(buffer);
IPAddress ipAddr = new IPAddress(buffer);
var found = table.Search(ipAddr);
if (found == null)
{
Console.WriteLine("NOT FOUND");
}
else
{
Console.WriteLine(found.NationCode);
}
}
public class IPv4Range : IComparable<IPv4Range>
{
// ...[생략]...
public bool IsInRange(IPAddress target)
{
uint started = Started.ToUInt32();
uint ended = Ended.ToUInt32();
uint current = target.ToUInt32();
if (started <= current && current <= ended)
{
return true;
}
return false;
}
}
public class IPv4Tables
{
// ...[생략]...
public IPv4Range Search(IPAddress item)
{
foreach (IPv4Range range in _ranges)
{
if (range.IsInRange(item) == true)
{
return range;
}
}
return null;
}
}
물론, 21만 개의 범위가 있어 검색이 매우 느립니다. 위치에 따라 다르겠지만 전체 검색을 했을 때 제 컴퓨터에서 14ms가 정도가 나왔습니다. 테스트를 위해 무작위 4바이트 IP 주소 데이터를 대충, 1,000개의 데이터만 만들어 검색해도,
{
List<IPAddress> randomAddresses = CreateTestAddresses(1); // 닷넷 (및 VM 계열 언어) 코드의 성능 측정 시 주의할 점
CheckAddress(table, randomAddresses);
}
{
List<IPAddress> randomAddresses = CreateTestAddresses(1_000);
CheckAddress(table, randomAddresses);
}
private static void CheckAddress(IPv4Tables table, List<IPAddress> randomAddresses)
{
List<IPAddress> publics = new List<IPAddress>();
Stopwatch st = new Stopwatch();
st.Start();
foreach (IPAddress addr in randomAddresses)
{
var found = table.Search(addr); // 순차 검색
}
st.Stop();
Console.WriteLine($"{st.ElapsedMilliseconds}");
}
private static List<IPAddress> CreateTestAddresses(int count, int seed = 0)
{
if (seed == 0)
{
seed = Environment.TickCount;
}
Random rand = new Random(seed);
byte[] buffer = new byte[4];
List<IPAddress> addrs = new List<IPAddress>();
for (int i = 0; i < count; i++)
{
rand.NextBytes(buffer);
IPAddress ipAddr = new IPAddress(buffer);
addrs.Add(ipAddr);
}
return addrs;
}
5,143ms가 걸립니다. 당연히 이 정도 성능으로는 수 천만 개의 데이터라면 사용할 수 없을 정도로 느립니다.
이렇게 느린 성능을 이진 검색으로 바꾸면 20만 개 정도의 국가 분류는 log
2(2000000) == 17.6096... 정도니까 사설 IP를 검색한다고 해도 18번 이내의 비교만으로 판정 지을 수 있습니다. 데이터베이스라면, 특정 필드에 인덱스를 걸어놨을 경우 해당 조건을 WHERE에 주면 인덱스 검색이 되는 것이므로 HiveQL에서 JOIN과 BETWEEN으로 했던 연산을 '=' 조건으로 구현한 것과 같으므로 당연히 성능이 극적으로 향상됩니다.
실제로 구현해 볼까요? ^^ 이를 위해 필요한 것은, BinarySearch 메서드와 적절한 Comparer만 있으면 됩니다.
public class IPv4Tables
{
// ...[생략]...
public IPv4Range BinarySearch(IPAddress item)
{
IPAddressComparer comparer = new IPAddressComparer();
int n = Array.BinarySearch(_ranges, item, comparer);
if (n < 0)
{
return null;
}
return _ranges[n];
}
public class IPAddressComparer : System.Collections.IComparer
{
public int Compare(object x, object y)
{
IPv4Range range = x as IPv4Range;
IPAddress addr = y as IPAddress;
uint started = range.Started.ToUInt32();
uint ended = range.Ended.ToUInt32();
uint target = addr.ToUInt32();
if (started <= target && target <= ended)
{
return 0;
}
if (started > target)
{
return 1;
}
return -1;
}
}
}
이렇게 간단한 코드만으로도, 이제 1,000개는 너무 우습고 1,000,000 개의 IP 주소를 검색해도 1.3초 내에 끝납니다. 천만 개 정도 되면 13초 정도가 되겠지만 살짝 Parallel.For로 바꿔주는 트릭을 쓰면,
private static void CheckAddress(IPv4Tables table, List<IPAddress> randomAddresses)
{
List<IPAddress> publics = new List<IPAddress>();
Stopwatch st = new Stopwatch();
st.Start();
Parallel.ForEach(randomAddresses, (item) =>
{
var found = table.BinarySearch(item);
});
st.Stop();
Console.WriteLine($"{st.ElapsedMilliseconds}");
}
4코어 4스레드 i5 머신인 제 컴퓨터에서 2,809ms 만에 처리가 끝납니다. 이 정도라면 수 억 건 정도의 데이터 처리도 메모리만 받쳐주면 그냥 간단하게 PC에서 처리해도 될 것입니다.
(
첨부 파일은 이 글의 예제 코드를 포함합니다.)
제가 해당 업무의 환경을 잘 모르겠지만 "
HiveQL Tuning Case #2 - 적은 데이터는 많게 만들기 (IP 별 국가 매핑)" 글은 너무 Hadoop 관점에서만 처리하려고 노력한 것이 아닌가 하는 아쉬움이 남습니다. 어느 정도는 응용 프로그램의 능력도 빌려 적절하게 섞어서 처리했다면 더 좋았을 듯싶습니다. 사실, 단순히 국가 코드 매핑을 위해 (튜닝을 했다고 해도) Hadoop의 리소스를 8분 동안씩이나 점유한다는 것은 리소스 낭비가 아닌가... 생각됩니다. ^^
관점을 넓혀서, 애당초 접속 로그를 남기는 응용 프로그램 레벨에서 국가별 IP 주소 대역을 미리 구해 주던가, 응용 프로그램의 그런 소스 코드 수정이 어렵다면 배치 응용 프로그램 같은 것을 만들어 접속 로그 테이블에 단순히 nullable 필드 하나만 추가해 두고 주기적으로 null 값인 레코드만 선택해 국가 코드를 업데이트하는 것도 좋았을 것입니다.
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]