Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2047. Golang, Python, C#에서의 CRC32 사용 [링크 복사], [링크+제목 복사],
조회: 17480
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

Golang, Python, C#에서의 CRC32 사용

polyglot 시대에 ^^ 문자열의 hash를 언어 간에 일치하는 것이 필요하곤 합니다. 이럴 때 가볍게 쓸 수 있는 방법이 바로 CRC32인데요, 우선 python은 이렇게 구현할 수 있습니다.

import zlib

text = "Hello World"
hash_value = zlib.crc32(text.encode('utf-8'))

print(hash_value) // 출력 결과: 1243066710

Golang의 경우 내부에서 사용할 테이블의 생성 방법을 다양하게 제공하는데요,

const (
    // IEEE is by far and away the most common CRC-32 polynomial.
    // Used by ethernet (IEEE 802.3), v.42, fddi, gzip, zip, png, ...
    IEEE = 0xedb88320

    // Castagnoli's polynomial, used in iSCSI.
    // Has better error detection characteristics than IEEE.
    // https://dx.doi.org/10.1109/26.231911
    Castagnoli = 0x82f63b78

    // Koopman's polynomial.
    // Also has better error detection characteristics than IEEE.
    // https://dx.doi.org/10.1109/DSN.2002.1028931
    Koopman = 0xeb31d82e
)

주석을 통해 짐작할 수 있겠지만, Python과 일치하려면 IEEE 방식을 사용하면 됩니다.

package main

import (
    "fmt"
    "hash/crc32"
)

func main() {
    text := "Hello World"

    b := []byte(text)

    result := crc32.Checksum(b, crc32.MakeTable(crc32.IEEE))
    // 또는,
    // result := crc32.Checksum(b, crc32.IEEETable)
    // 또는,
    // result := crc32.ChecksumIEEE(b)

    fmt.Printf("IEEE: %v\n", result)

    result = crc32.Checksum(b, crc32.MakeTable(crc32.Castagnoli))
    fmt.Printf("Castagnoli: %v\n", result)

    result = crc32.Checksum(b, crc32.MakeTable(crc32.Koopman))
    fmt.Printf("Koopman: %v\n", result)
}

/* 출력 결과
IEEE: 1243066710
Castagnoli: 1763551791
Koopman: 1502986882
*/

마지막으로 C#은 어떨까요? 아쉽게도 기본 BCL에는 포함돼 있지 않고 nuget을 통해 (.NET Platform Extension인) 패키지 설치를 해야 합니다.

// Install-Package System.IO.Hashing -Version 6.0.1
// Install-Package System.IO.Hashing

using System.IO.Hashing;
using System.Text;

// Crc32 Class
// https://docs.microsoft.com/en-us/dotnet/api/system.io.hashing.crc32
Crc32 crc32 = new Crc32();

var bytes = Encoding.UTF8.GetBytes("Hello World");
crc32.Append(bytes);

Console.WriteLine(BitConverter.ToInt32(crc32.GetCurrentHash())); // 1243066710

사실 CRC 코드가 워낙 간단해서,

// Crc32.cs

private static uint Update(uint crc, ReadOnlySpan<byte> source)
{
    for (int i = 0; i < source.Length; i++)
    {
        byte idx = (byte)crc;
        idx ^= source[i];
        crc = s_crcLookup[idx] ^ (crc >> 8);
    }

    return crc;
}

직접 각 언어별로 만들어서 사용해 됩니다. 단지 Python의 경우는 C 언어로 만들어진 zlib의 native 코드가 실행되는 것이므로 성능을 생각한다면 직접 만드는 것은 좋은 선택이 아닙니다.




참고로, 한 가지 주의 사항이 있는데요, 언어마다 다른 자료형으로 인해 음수를 가질 수 있는 hash 값에 대한 후처리가 필요할 수 있습니다. 가령 "ed43aa2a-586d-46b2-b103-92e17bf00eaf"라는 문자열은 언어마다 다른 출력을 갖습니다.

// "ed43aa2a-586d-46b2-b103-92e17bf00eaf" CRC-32 결과

Python: 2811875030
Golang: 2811875030
C#: -1483092266

가령 Golang의 경우 int 타입을 반환하는데 이것은 64비트에 해당하므로 0x80_00_00_00 이상의 값을 음수가 아닌 양수로 표현할 수 있습니다. 반면, C#은 부호 있는 4바이트이므로 0x7f_00_00_00(2,147,483,647)를 넘으면 음수로 표현하는 것입니다.

그래서 해당 값을 언어 간에 직렬화/역직렬화 시 그에 대한 처리가 필요할 수 있습니다. 가령, Golang에서 직렬화한 "2811875030" 값을 C#에서 단순히 Int.Parse로 복원하면,

// 예외 발생
// Unhandled exception. System.OverflowException: Value was either too large or too small for an Int32.
int result = int.Parse("2811875030");

예외가 발생하므로, 정확한 바이트 범위를 서로 간에 약속해야 합니다. 가령 long으로 처리할지, 아니면 4바이트 부호 있는 정수로 합의하면 되는데, 후자로 정했다면 파이썬은 이런 식으로 처리를 추가해야 합니다.

// How to get the signed integer value of a long in python?
// ; https://stackoverflow.com/questions/1375897/how-to-get-the-signed-integer-value-of-a-long-in-python
import zlib
import ctypes

text = "ed43aa2a-586d-46b2-b103-92e17bf00eaf"
hash_value = zlib.crc32(text.encode('utf-8'))
hash_value = hash_value & 0xFFFFFFFF
hash_value = ctypes.c_int32(hash_value).value

print(hash_value) // 출력 결과: -1483092266

반면 Golang은 간단하게 형변환만 하면 됩니다.

var result int32
result = int32(crc32.Checksum(b, crc32.IEEETable))




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 9/14/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 106  107  108  109  110  111  112  [113]  114  115  116  117  118  119  120  ...
NoWriterDateCnt.TitleFile(s)
11134정성태1/20/201728874.NET Framework: 636. System.Threading.Timer를 이용해 타이머 작업을 할 때 유의할 점 [5]파일 다운로드1
11133정성태1/20/201724954.NET Framework: 635. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (2) - x86 환경의 __fastcall [1]파일 다운로드1
11132정성태1/19/201736776.NET Framework: 634. C# 개발자를 위한 Win32 DLL export 함수의 호출 규약 (1) - x86 환경에서의 __cdecl, __stdcall에 대한 Name mangling [1]파일 다운로드1
11131정성태1/13/201725501.NET Framework: 633. C# - IL 코드 분석을 위한 팁 [2]
11130정성태1/11/201726156.NET Framework: 632. x86 실행 환경에서 SECURITY_ATTRIBUTES 구조체를 CreateEvent에 전달할 때 예외 발생파일 다운로드1
11129정성태1/11/201730254.NET Framework: 631. async/await에 대한 "There Is No Thread" 글의 부가 설명 [9]파일 다운로드1
11128정성태1/9/201723996.NET Framework: 630. C# - Interlocked.CompareExchange 사용 예제 [3]파일 다운로드1
11127정성태1/8/201724549기타: 63. (개발자를 위한) Visual Studio의 "with MSDN" 라이선스 설명
11126정성태1/7/201729240기타: 62. Edge 웹 브라우저의 즐겨찾기(Favorites)를 편집/백업/복원하는 방법 [1]파일 다운로드1
11125정성태1/7/201726082개발 환경 구성: 310. IIS - appcmd.exe를 이용해 특정 페이지에 클라이언트 측 인증서를 제출하도록 설정하는 방법
11124정성태1/4/201729422개발 환경 구성: 309. 3년짜리 유효 기간을 제공하는 StartSSL [2]
11123정성태1/3/201724849.NET Framework: 629. .NET Core의 dotnet.exe CLI 명령어 확장 방법 [1]
11122정성태1/3/201723498.NET Framework: 628. TransactionScope에 사용자 정의 트랜잭션을 참여시키는 방법 [2]파일 다운로드1
11121정성태1/1/201721442개발 환경 구성: 308. "ASP.NET Core Web Application (.NET Core)"와 "ASP.NET Core Web Application (.NET Framework)" 차이점
11120정성태12/25/201628557개발 환경 구성: 307. ASP.NET Core Web Application을 IIS에서 호스팅하는 방법
11119정성태12/23/201649981개발 환경 구성: 306. Visual Studio Code에서 Python 개발 환경 구성 [2]
11118정성태12/22/201637920오류 유형: 374. Python 64비트 설치 시 0x80070659 오류 발생 [3]
11117정성태12/21/201623823웹: 35. nopCommerce 예제 사이트 구성 방법
11116정성태12/21/201625870디버깅 기술: 84. NopCommerce의 Autofac 부하(CPU, Memory) [2]
11115정성태12/21/201628884Windows: 133. 윈도우 서버 2016에서 플래시가 동작하지 않는 경우 [2]
11114정성태12/19/201639113Windows: 132. 역슬래시(backslash) 문자가 왜 통화 표기 문자(한글인 경우 "\")로 보일까요? [2]
11113정성태12/6/201621743오류 유형: 373. ICOMAdminCatalog::GetCollection에서 CO_E_ISOLEVELMISMATCH(0x8004E02F) 오류 발생파일 다운로드1
11112정성태11/23/201626888오류 유형: 372. MySQL 서비스가 올라오지 않는 경우 - Error 1067
11111정성태11/23/201635533.NET Framework: 627. C++로 만든 DLL을 C#에서 사용하기 [2]
11110정성태11/17/201623065.NET Framework: 626. Commit 메모리가 낮은 상황에서도 메모리 부족(Out-of-memory) 예외 발생 [2]
11109정성태11/17/201623066.NET Framework: 625. ASP.NET에서 System.Web.HttpApplication 인스턴스는 다중으로 생성됩니다.
... 106  107  108  109  110  111  112  [113]  114  115  116  117  118  119  120  ...