Microsoft MVP성태의 닷넷 이야기
.NET Framework: 931. C# - IP 주소에 따른 국가별 위치 확인 [링크 복사], [링크+제목 복사]
조회: 523
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

C# - IP 주소에 따른 국가별 위치 확인

재미있는 글을 하나 읽었습니다. ^^

HiveQL Tuning Case #2 - 적은 데이터는 많게 만들기 (IP별 국가 매핑)
; https://sparkdia.tistory.com/63

(개인적으로 HiveQL은 만져본 적이 없으므로 그냥 단순하게 RDBMS의 관점에서 저 글을 읽었다고 가정하겠습니다.)

범위로 정해진 데이터에 대해 사용자가 비교 코드를 정의할 수 없어, (어찌 보면 ^^ 눈물겨운) 튜닝 작업을 어떤 식으로 했는가에 대해 잘 설명해 주고 있습니다.

그런데 위의 처리를 HiveQL이 아닌, 응용 프로그램 레벨에서 처리하면 의외로 간단하게 해결이 됩니다. 왜냐하면, SQL 쿼리의 경우에는 Equals 연산이 안되므로 BETWEEN과 JOIN 처리를 해야 하지만 코드 레벨로 내려오면 Equals 처리가 가능하기 때문입니다. 어떻게 하는지 한 번 ^^ 구현해 볼까요?




우선, 위의 글에 보면 국가별 IP 할당 내역을 다음의 글에 공개하고 있다고 알려주는데요,

국가별 IP 주소 대역 현황
; https://krnic.or.kr/jsp/infoboard/stats/ipCurrent.jsp

CSV 파일로 내려받을 수 있으므로, 이렇게 로딩을 처리할 수 있습니다.

public class IPv4Range
{
    public DateTime Created;
    public string NationCode;
    public IPAddress Started;
    public IPAddress Ended;
    public string Prefix;
    public DateTime Allocated;

    public override string ToString()
    {
        return $"{NationCode}({Started}~{Ended})";
    }
}

public class IPv4Tables
{
    public static IPv4Range[] _ranges;

    static IPv4Tables()
    {
        _ranges = ReadTables();
    }

    private static IPv4Range[] ReadTables()
    {
        List<IPv4Range> list = new List<IPv4Range>();

        foreach (string line in File.ReadAllLines("ipv4.csv").Skip(1))
        {
            string[] items = line.Split(',');

            IPv4Range range = new IPv4Range();
            range.Created = DateTime.ParseExact(items[0], "yyyyMMdd", CultureInfo.InvariantCulture);
            range.NationCode = items[1];
            range.Started = IPAddress.Parse(items[2]);
            range.Ended = IPAddress.Parse(items[3]);
            range.Prefix = items[4];
            range.Allocated = DateTime.ParseExact(items[5], "yyyyMMdd", CultureInfo.InvariantCulture);

            list.Add(range);
        }

        return list.ToArray();
    }
}

물론, 정렬도 시켜놓아야 하므로 IPv4Range 클래스에 IComparer 인터페이스를 구현하고,

public class IPv4Range : IComparable<IPv4Range>
{
    // ...[생략]...

    public int CompareTo(IPv4Range other)
    {
        uint otherAddr = other.Started.ToUInt32();
        uint thisAddr = Started.ToUInt32();

        if (otherAddr == thisAddr)
        {
            return 0;
        }

        if (otherAddr > thisAddr)
        {
            return -1;
        }

        return 1;
    }
}

public static class IPAddressHelper
{
    public static uint ToUInt32(this IPAddress addr)
    {
        return BitConverter.ToUInt32(addr.GetAddressBytes().Reverse().ToArray(), 0);
    }
}

Array.Sort를 호출해 줍니다.

public class IPv4Tables
{
    public static IPv4Range[] _ranges;

    static IPv4Tables()
    {
        _ranges = ReadTables();
        Array.Sort(_ranges);
    }

    // ...[생략]...
}




데이터가 준비되었으니, 아무 IP나 하나 생성해서 단순 검색으로 구현해 테스트할 수 있습니다.

{
    Random rand = new Random((int)new DateTime(2020, 8, 10).Ticks);

    rand.NextBytes(buffer);
    IPAddress ipAddr = new IPAddress(buffer);

    var found = table.Search(ipAddr);

    if (found == null)
    {
        Console.WriteLine("NOT FOUND");
    }
    else
    {
        Console.WriteLine(found.NationCode);
    }
}

public class IPv4Range : IComparable<IPv4Range>
{
    // ...[생략]...

    public bool IsInRange(IPAddress target)
    {
        uint started = Started.ToUInt32();
        uint ended = Ended.ToUInt32();

        uint current = target.ToUInt32();

        if (started <= current && current <= ended)
        {
            return true;
        }

        return false;
    }
}

public class IPv4Tables
{
    // ...[생략]...

    public IPv4Range Search(IPAddress item)
    {
        foreach (IPv4Range range in _ranges)
        {
            if (range.IsInRange(item) == true)
            {
                return range;
            }
        }
    
        return null;
    }
}

물론, 21만 개의 범위가 있어 검색이 매우 느립니다. 위치에 따라 다르겠지만 전체 검색을 했을 때 제 컴퓨터에서 14ms가 정도가 나왔습니다. 테스트를 위해 무작위 4바이트 IP 주소 데이터를 대충, 1,000개의 데이터만 만들어 검색해도,

{
    List<IPAddress> randomAddresses = CreateTestAddresses(1); // 닷넷 (및 VM 계열 언어) 코드의 성능 측정 시 주의할 점
    CheckAddress(table, randomAddresses);
}

{
    List<IPAddress> randomAddresses = CreateTestAddresses(1_000);
    CheckAddress(table, randomAddresses);
}

private static void CheckAddress(IPv4Tables table, List<IPAddress> randomAddresses)
{
    List<IPAddress> publics = new List<IPAddress>();

    Stopwatch st = new Stopwatch();
    st.Start();

    foreach (IPAddress addr in randomAddresses)
    {
        var found = table.Search(addr); // 순차 검색
    }

    st.Stop();
    Console.WriteLine($"{st.ElapsedMilliseconds}");
}

private static List<IPAddress> CreateTestAddresses(int count, int seed = 0)
{
    if (seed == 0)
    {
        seed = Environment.TickCount;
    }

    Random rand = new Random(seed);

    byte[] buffer = new byte[4];
    List<IPAddress> addrs = new List<IPAddress>();

    for (int i = 0; i < count; i++)
    {
        rand.NextBytes(buffer);
        IPAddress ipAddr = new IPAddress(buffer);

        addrs.Add(ipAddr);
    }

    return addrs;
}

5,143ms가 걸립니다. 당연히 이 정도 성능으로는 수 천만 개의 데이터라면 사용할 수 없을 정도로 느립니다.




이렇게 느린 성능을 이진 검색으로 바꾸면 20만 개 정도의 국가 분류는 log2(2000000) == 17.6096... 정도니까 사설 IP를 검색한다고 해도 18번 이내의 비교만으로 판정 지을 수 있습니다. 데이터베이스라면, 특정 필드에 인덱스를 걸어놨을 경우 해당 조건을 WHERE에 주면 인덱스 검색이 되는 것이므로 HiveQL에서 JOIN과 BETWEEN으로 했던 연산을 '=' 조건으로 구현한 것과 같으므로 당연히 성능이 극적으로 향상됩니다.

실제로 구현해 볼까요? ^^ 이를 위해 필요한 것은, BinarySearch 메서드와 적절한 Comparer만 있으면 됩니다.

public class IPv4Tables
{
    // ...[생략]...

    public IPv4Range BinarySearch(IPAddress item)
    {
        IPAddressComparer comparer = new IPAddressComparer();
        int n = Array.BinarySearch(_ranges, item, comparer);
        if (n < 0)
        {
            return null;
        }

        return _ranges[n];
    }

    public class IPAddressComparer : System.Collections.IComparer
    {
        public int Compare(object x, object y)
        {
            IPv4Range range = x as IPv4Range;
            IPAddress addr = y as IPAddress;

            uint started = range.Started.ToUInt32();
            uint ended = range.Ended.ToUInt32();
            uint target = addr.ToUInt32();

            if (started <= target && target <= ended)
            {
                return 0;
            }

            if (started > target)
            {
                return 1;
            }

            return -1;
        }
    }
}

이렇게 간단한 코드만으로도, 이제 1,000개는 너무 우습고 1,000,000 개의 IP 주소를 검색해도 1.3초 내에 끝납니다. 천만 개 정도 되면 13초 정도가 되겠지만 살짝 Parallel.For로 바꿔주는 트릭을 쓰면,

private static void CheckAddress(IPv4Tables table, List<IPAddress> randomAddresses)
{
    List<IPAddress> publics = new List<IPAddress>();

    Stopwatch st = new Stopwatch();
    st.Start();

    Parallel.ForEach(randomAddresses, (item) =>
    {
        var found = table.BinarySearch(item);
    });

    st.Stop();
    Console.WriteLine($"{st.ElapsedMilliseconds}");
}

4코어 4스레드 i5 머신인 제 컴퓨터에서 2,809ms 만에 처리가 끝납니다. 이 정도라면 수 억 건 정도의 데이터 처리도 메모리만 받쳐주면 그냥 간단하게 PC에서 처리해도 될 것입니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




제가 해당 업무의 환경을 잘 모르겠지만 "HiveQL Tuning Case #2 - 적은 데이터는 많게 만들기 (IP 별 국가 매핑)" 글은 너무 Hadoop 관점에서만 처리하려고 노력한 것이 아닌가 하는 아쉬움이 남습니다. 어느 정도는 응용 프로그램의 능력도 빌려 적절하게 섞어서 처리했다면 더 좋았을 듯싶습니다. 사실, 단순히 국가 코드 매핑을 위해 (튜닝을 했다고 해도) Hadoop의 리소스를 8분 동안씩이나 점유한다는 것은 리소스 낭비가 아닌가... 생각됩니다. ^^

관점을 넓혀서, 애당초 접속 로그를 남기는 응용 프로그램 레벨에서 국가별 IP 주소 대역을 미리 구해 주던가, 응용 프로그램의 그런 소스 코드 수정이 어렵다면 배치 응용 프로그램 같은 것을 만들어 접속 로그 테이블에 단순히 nullable 필드 하나만 추가해 두고 주기적으로 null 값인 레코드만 선택해 국가 코드를 업데이트하는 것도 좋았을 것입니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]





[최초 등록일: ]
[최종 수정일: 8/12/2020 ]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer@outlook.com

비밀번호

댓글 쓴 사람
 



2020-09-07 05시08분
[dotnetpower] 깔끔한 정리!!!
[손님]

[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12350정성태9/25/2020125Windows: 175. 윈도우 환경에서 클라이언트 소켓의 최대 접속 수파일 다운로드1
12349정성태9/25/202054Linux: 32. Ubuntu 20.04 - docker를 위한 tcp 바인딩 추가
12348정성태9/25/202034오류 유형: 658. 리눅스 docker - Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock
12347정성태9/25/202088Windows: 174. WSL 2의 네트워크 통신 방법
12346정성태9/25/202033오류 유형: 657. IIS - http://localhost 방문 시 Service Unavailable 503 오류 발생
12345정성태9/25/202030오류 유형: 656. iisreset 실행 시 "Restart attempt failed." 오류가 발생하지만 웹 서비스는 정상적인 경우
12344정성태9/25/202043Windows: 173. 서비스 관리자에 "IIS Admin Service"가 등록되어 있지 않다면?
12343정성태9/24/2020182.NET Framework: 945. C# - 닷넷 응용 프로그램에서 메모리 누수가 발생할 수 있는 패턴
12342정성태9/25/2020130디버깅 기술: 171. windbg - 인스턴스가 살아 있어 메모리 누수가 발생하고 있는지 확인하는 방법
12341정성태9/23/2020173.NET Framework: 944. C# - 인스턴스가 살아 있어 메모리 누수가 발생하고 있는지 확인하는 방법파일 다운로드1
12340정성태9/23/202098.NET Framework: 943. WPF - WindowsFormsHost를 담은 윈도우 생성 시 메모리 누수
12339정성태9/21/202072오류 유형: 655. 코어 모드의 윈도우는 GUI 모드의 윈도우로 교체가 안 됩니다.
12338정성태9/21/202044오류 유형: 654. 우분투 설치 시 "CHS: Error 2001 reading sector ..." 오류 발생
12337정성태9/21/202046오류 유형: 653. Windows - Time zone 설정을 바꿔도 반영이 안 되는 경우
12336정성태9/21/2020159.NET Framework: 942. C# - WOL(Wake On Lan) 구현
12335정성태9/21/202055Linux: 31. 우분투 20.04 초기 설정 - 고정 IP 및 SSH 설치
12334정성태9/21/202037오류 유형: 652. windbg - !py 확장 명령어 실행 시 "failed to find python interpreter"
12333정성태9/20/2020103.NET Framework: 941. C# - 전위/후위 증감 연산자에 대한 오버로딩 구현 (2)
12332정성태9/18/202090.NET Framework: 940. C# - Windows Forms ListView와 DataGridView의 예제 코드파일 다운로드1
12331정성태9/24/202081오류 유형: 651. repadmin /syncall - 0x80090322 The target principal name is incorrect.
12330정성태9/20/2020232.NET Framework: 939. C# - 전위/후위 증감 연산자에 대한 오버로딩 구현 [2]파일 다운로드1
12329정성태9/16/2020116오류 유형: 650. ASUS 메인보드 관련 소프트웨어 설치 후 ArmouryCrate.UserSessionHelper.exe 프로세스 무한 종료 현상
12328정성태9/16/202093VS.NET IDE: 150. TFS의 이력에서 "Get This Version"과 같은 기능을 Git으로 처리한다면?
12327정성태9/12/2020148.NET Framework: 938. C# - ICS(Internet Connection Sharing) 제어파일 다운로드1
12326정성태9/12/2020138개발 환경 구성: 516. Azure VM의 Network Adapter를 실수로 비활성화한 경우
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...