성태의 닷넷 이야기
홈 주인
모아 놓은 자료
프로그래밍
질문/답변
사용자 관리
사용자
메뉴
아티클
외부 아티클
유용한 코드
온라인 기능
MathJax 입력기
최근 덧글
[정성태] 아쉽게도, 커뮤니티는 아니고 개인 블로그입니다. ^^
[정성태] 질문이 잘 이해가 안 됩니다. 우선, 해당 소스코드에서 ILis...
[양승조
] var대신 dinamic으로 선언해서 해결은 했습니다. 맞는 해...
[양승조
] 또 막혔습니다. ㅠㅠ var list = props[i].Ge...
[양승조
] 아. 감사합니다. 어제는 안됐던것 같은데....정신을 차려야겠네...
[정성태] "props[i].GetValue(props[i])" 코드에서 ...
[정성태] 저렇게 조각 코드 말고, 실제로 재현이 되는 예제 프로젝트를 압...
[정성태] Modules 창(Ctrl+Shift+U)을 띄워서, 해당 Op...
[정성태] 만드실 수 있습니다. 단지, Unity 엔진 내의 스크립트와 W...
[공진영] 안녕하세요 좋은글 감사합니다. 현재 제가 wpf로 관제 모...
글쓰기
제목
이름
암호
전자우편
HTML
홈페이지
유형
제니퍼 .NET
닷넷
COM 개체 관련
스크립트
VC++
VS.NET IDE
Windows
Team Foundation Server
디버깅 기술
오류 유형
개발 환경 구성
웹
기타
Linux
Java
DDK
Math
Phone
Graphics
사물인터넷
부모글 보이기/감추기
내용
<div style='display: inline'> <h1 style='font-family: Malgun Gothic, Consolas; font-size: 20pt; color: #006699; text-align: center; font-weight: bold'>C# - IP 주소에 따른 국가별 위치 확인</h1> <p> 재미있는 글을 하나 읽었습니다. ^^<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > HiveQL Tuning Case #2 - 적은 데이터는 많게 만들기 (IP별 국가 매핑) ; <a target='tab' href='https://sparkdia.tistory.com/63'>https://sparkdia.tistory.com/63</a> </pre> <br /> (개인적으로 HiveQL은 만져본 적이 없으므로 그냥 단순하게 RDBMS의 관점에서 저 글을 읽었다고 가정하겠습니다.)<br /> <br /> 범위로 정해진 데이터에 대해 사용자가 비교 코드를 정의할 수 없어, (어찌 보면 ^^ 눈물겨운) 튜닝 작업을 어떤 식으로 했는가에 대해 잘 설명해 주고 있습니다.<br /> <br /> 그런데 위의 처리를 HiveQL이 아닌, 응용 프로그램 레벨에서 처리하면 의외로 간단하게 해결이 됩니다. 왜냐하면, SQL 쿼리의 경우에는 Equals 연산이 안되므로 BETWEEN과 JOIN 처리를 해야 하지만 코드 레벨로 내려오면 Equals 처리가 가능하기 때문입니다. 어떻게 하는지 한번 ^^ 구현해 볼까요?<br /> <br /> <hr style='width: 50%' /><br /> <br /> 우선, 위의 글에 보면 국가별 IP 할당 내역을 다음의 글에 공개하고 있다고 알려주는데요,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > 국가별 IP 주소 대역 현황 ; <a target='tab' href='https://krnic.or.kr/jsp/infoboard/stats/ipCurrent.jsp'>https://krnic.or.kr/jsp/infoboard/stats/ipCurrent.jsp</a> </pre> <br /> CSV 파일로 내려받을 수 있으므로, 이렇게 로딩을 처리할 수 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > public class IPv4Range { public DateTime Created; public string NationCode; public IPAddress Started; public IPAddress Ended; public string Prefix; public DateTime Allocated; public override string ToString() { return $"{NationCode}({Started}~{Ended})"; } } public class IPv4Tables { <span style='color: blue; font-weight: bold'>public static IPv4Range[] _ranges;</span> static IPv4Tables() { <span style='color: blue; font-weight: bold'>_ranges = ReadTables();</span> } private static IPv4Range[] ReadTables() { List&lt;IPv4Range&gt; list = new List&lt;IPv4Range&gt;(); <span style='color: blue; font-weight: bold'>foreach (string line in File.ReadAllLines("ipv4.csv").Skip(1))</span> { string[] items = line.Split(','); IPv4Range range = new IPv4Range(); range.Created = DateTime.ParseExact(items[0], "yyyyMMdd", CultureInfo.InvariantCulture); range.NationCode = items[1]; range.Started = IPAddress.Parse(items[2]); range.Ended = IPAddress.Parse(items[3]); range.Prefix = items[4]; range.Allocated = DateTime.ParseExact(items[5], "yyyyMMdd", CultureInfo.InvariantCulture); list.Add(range); } return list.ToArray(); } } </pre> <br /> <a name='IComparer'></a> 물론, 정렬도 시켜놓아야 하므로 IPv4Range 클래스에 IComparer 인터페이스를 구현하고,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > public class IPv4Range : IComparable<IPv4Range> { // ...[생략]... <span style='color: blue; font-weight: bold'>public int CompareTo(IPv4Range other) { uint otherAddr = other.Started.ToUInt32(); uint thisAddr = Started.ToUInt32(); if (otherAddr == thisAddr) { return 0; } if (otherAddr > thisAddr) { return -1; } return 1; }</span> } public static class IPAddressHelper { public static uint ToUInt32(this IPAddress addr) { return BitConverter.ToUInt32(addr.GetAddressBytes().Reverse().ToArray(), 0); } } </pre> <br /> Array.Sort를 호출해 줍니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > public class IPv4Tables { public static IPv4Range[] _ranges; static IPv4Tables() { _ranges = ReadTables(); <span style='color: blue; font-weight: bold'>Array.Sort(_ranges);</span> } // ...[생략]... } </pre> <br /> <hr style='width: 50%' /><br /> <br /> 데이터가 준비되었으니, 아무 IP나 하나 생성해서 단순 검색으로 구현해 테스트할 수 있습니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > { Random rand = new Random((int)new DateTime(2020, 8, 10).Ticks); rand.NextBytes(buffer); IPAddress ipAddr = new IPAddress(buffer); var found = table.Search(ipAddr); if (found == null) { Console.WriteLine("NOT FOUND"); } else { Console.WriteLine(found.NationCode); } } public class IPv4Range : IComparable<IPv4Range> { // ...[생략]... <span style='color: blue; font-weight: bold'>public bool IsInRange(IPAddress target) { uint started = Started.ToUInt32(); uint ended = Ended.ToUInt32(); uint current = target.ToUInt32(); if (started <= current && current <= ended) { return true; } return false; }</span> } public class IPv4Tables { // ...[생략]... <span style='color: blue; font-weight: bold'>public IPv4Range Search(IPAddress item) { foreach (IPv4Range range in _ranges) { if (range.IsInRange(item) == true) { return range; } } return null; }</span> } </pre> <br /> 물론, 21만 개의 범위가 있어 검색이 매우 느립니다. 위치에 따라 다르겠지만 전체 검색을 했을 때 제 컴퓨터에서 14ms가 정도가 나왔습니다. 테스트를 위해 무작위 4바이트 IP 주소 데이터를 대충, 1,000개의 데이터만 만들어 검색해도,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > { List<IPAddress> randomAddresses = CreateTestAddresses(1); // <a target='tab' href='https://www.sysnet.pe.kr/2/0/12005'>닷넷 (및 VM 계열 언어) 코드의 성능 측정 시 주의할 점</a> CheckAddress(table, randomAddresses); } { List<IPAddress> randomAddresses = CreateTestAddresses(1_000); CheckAddress(table, randomAddresses); } private static void CheckAddress(IPv4Tables table, List<IPAddress> randomAddresses) { List<IPAddress> publics = new List<IPAddress>(); Stopwatch st = new Stopwatch(); st.Start(); foreach (IPAddress addr in randomAddresses) { <span style='color: blue; font-weight: bold'>var found = table.Search(addr);</span> // 순차 검색 } st.Stop(); Console.WriteLine($"{st.ElapsedMilliseconds}"); } private static List<IPAddress> CreateTestAddresses(int count, int seed = 0) { if (seed == 0) { seed = Environment.TickCount; } Random rand = new Random(seed); byte[] buffer = new byte[4]; List<IPAddress> addrs = new List<IPAddress>(); for (int i = 0; i < count; i++) { rand.NextBytes(buffer); IPAddress ipAddr = new IPAddress(buffer); addrs.Add(ipAddr); } return addrs; } </pre> <br /> 5,143ms가 걸립니다. 당연히 이 정도 성능으로는 수 천만 개의 데이터라면 사용할 수 없을 정도로 느립니다.<br /> <br /> <hr style='width: 50%' /><br /> <br /> 이렇게 느린 성능을 이진 검색으로 바꾸면 20만 개 정도의 국가 분류는 log<sub>2</sub>(2000000) == 17.6096... 정도니까 사설 IP를 검색한다고 해도 18번 이내의 비교만으로 판정 지을 수 있습니다. 데이터베이스라면, 특정 필드에 인덱스를 걸어놨을 경우 해당 조건을 WHERE에 주면 인덱스 검색이 되는 것이므로 HiveQL에서 JOIN과 BETWEEN으로 했던 연산을 '=' 조건으로 구현한 것과 같으므로 당연히 성능이 극적으로 향상됩니다.<br /> <br /> 실제로 구현해 볼까요? ^^ 이를 위해 필요한 것은, BinarySearch 메서드와 적절한 Comparer만 있으면 됩니다.<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > public class IPv4Tables { // ...[생략]... <span style='color: blue; font-weight: bold'>public IPv4Range BinarySearch(IPAddress item)</span> { IPAddressComparer comparer = new IPAddressComparer(); <span style='color: blue; font-weight: bold'>int n = Array.BinarySearch(_ranges, item, comparer);</span> if (n < 0) { return null; } return _ranges[n]; } <span style='color: blue; font-weight: bold'>public class IPAddressComparer : System.Collections.IComparer</span> { public int Compare(object x, object y) { IPv4Range range = x as IPv4Range; IPAddress addr = y as IPAddress; uint started = range.Started.ToUInt32(); uint ended = range.Ended.ToUInt32(); uint target = addr.ToUInt32(); if (started <= target && target <= ended) { return 0; } if (started > target) { return 1; } return -1; } } } </pre> <a name='parallel_foreach'></a> <br /> 이렇게 간단한 코드만으로도, 이제 1,000개는 너무 우습고 1,000,000 개의 IP 주소를 검색해도 1.3초 내에 끝납니다. 천만 개 정도 되면 13초 정도가 되겠지만 살짝 Parallel.For로 바꿔주는 트릭을 쓰면,<br /> <br /> <pre style='margin: 10px 0px 10px 10px; padding: 10px 0px 10px 10px; background-color: #fbedbb; overflow: auto; font-family: Consolas, Verdana;' > private static void CheckAddress(IPv4Tables table, List<IPAddress> randomAddresses) { List<IPAddress> publics = new List<IPAddress>(); Stopwatch st = new Stopwatch(); st.Start(); <span style='color: blue; font-weight: bold'>Parallel.ForEach(randomAddresses, (item) => { var found = table.BinarySearch(item); });</span> st.Stop(); Console.WriteLine($"{st.ElapsedMilliseconds}"); } </pre> <br /> 4코어 4스레드 i5 머신인 제 컴퓨터에서 2,809ms 만에 처리가 끝납니다. 이 정도라면 수 억 건 정도의 데이터 처리도 메모리만 받쳐주면 그냥 간단하게 PC에서 처리해도 될 것입니다.<br /> <br /> (<a target='tab' href='https://www.sysnet.pe.kr/bbs/DownloadAttachment.aspx?fid=1618&boardid=331301885'>첨부 파일은 이 글의 예제 코드를 포함</a>합니다.)<br /> <br /> <hr style='width: 50%' /><br /> <br /> 제가 해당 업무의 환경을 잘 모르겠지만 "<a target='tab' href='https://sparkdia.tistory.com/63'>HiveQL Tuning Case #2 - 적은 데이터는 많게 만들기 (IP 별 국가 매핑)</a>" 글은 너무 Hadoop 관점에서만 처리하려고 노력한 것이 아닌가 하는 아쉬움이 남습니다. 어느 정도는 응용 프로그램의 능력도 빌려 적절하게 섞어서 처리했다면 더 좋았을 듯싶습니다. 사실, 단순히 국가 코드 매핑을 위해 (튜닝을 했다고 해도) Hadoop의 리소스를 8분 동안씩이나 점유한다는 것은 리소스 낭비가 아닌가... 생각됩니다. ^^<br /> <br /> 관점을 넓혀서, 애당초 접속 로그를 남기는 응용 프로그램 레벨에서 국가별 IP 주소 대역을 미리 구해 주던가, 응용 프로그램의 그런 소스 코드 수정이 어렵다면 배치 응용 프로그램 같은 것을 만들어 접속 로그 테이블에 단순히 nullable 필드 하나만 추가해 두고 주기적으로 null 값인 레코드만 선택해 국가 코드를 업데이트하는 것도 좋았을 것입니다.<br /> </p><br /> <br /><hr /><span style='color: Maroon'>[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]</span> </div>
첨부파일
스팸 방지용 인증 번호
7602
(왼쪽의 숫자를 입력해야 합니다.)