Microsoft MVP성태의 닷넷 이야기
.NET Framework: 2047. Golang, Python, C#에서의 CRC32 사용 [링크 복사], [링크+제목 복사],
조회: 17424
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

Golang, Python, C#에서의 CRC32 사용

polyglot 시대에 ^^ 문자열의 hash를 언어 간에 일치하는 것이 필요하곤 합니다. 이럴 때 가볍게 쓸 수 있는 방법이 바로 CRC32인데요, 우선 python은 이렇게 구현할 수 있습니다.

import zlib

text = "Hello World"
hash_value = zlib.crc32(text.encode('utf-8'))

print(hash_value) // 출력 결과: 1243066710

Golang의 경우 내부에서 사용할 테이블의 생성 방법을 다양하게 제공하는데요,

const (
    // IEEE is by far and away the most common CRC-32 polynomial.
    // Used by ethernet (IEEE 802.3), v.42, fddi, gzip, zip, png, ...
    IEEE = 0xedb88320

    // Castagnoli's polynomial, used in iSCSI.
    // Has better error detection characteristics than IEEE.
    // https://dx.doi.org/10.1109/26.231911
    Castagnoli = 0x82f63b78

    // Koopman's polynomial.
    // Also has better error detection characteristics than IEEE.
    // https://dx.doi.org/10.1109/DSN.2002.1028931
    Koopman = 0xeb31d82e
)

주석을 통해 짐작할 수 있겠지만, Python과 일치하려면 IEEE 방식을 사용하면 됩니다.

package main

import (
    "fmt"
    "hash/crc32"
)

func main() {
    text := "Hello World"

    b := []byte(text)

    result := crc32.Checksum(b, crc32.MakeTable(crc32.IEEE))
    // 또는,
    // result := crc32.Checksum(b, crc32.IEEETable)
    // 또는,
    // result := crc32.ChecksumIEEE(b)

    fmt.Printf("IEEE: %v\n", result)

    result = crc32.Checksum(b, crc32.MakeTable(crc32.Castagnoli))
    fmt.Printf("Castagnoli: %v\n", result)

    result = crc32.Checksum(b, crc32.MakeTable(crc32.Koopman))
    fmt.Printf("Koopman: %v\n", result)
}

/* 출력 결과
IEEE: 1243066710
Castagnoli: 1763551791
Koopman: 1502986882
*/

마지막으로 C#은 어떨까요? 아쉽게도 기본 BCL에는 포함돼 있지 않고 nuget을 통해 (.NET Platform Extension인) 패키지 설치를 해야 합니다.

// Install-Package System.IO.Hashing -Version 6.0.1
// Install-Package System.IO.Hashing

using System.IO.Hashing;
using System.Text;

// Crc32 Class
// https://docs.microsoft.com/en-us/dotnet/api/system.io.hashing.crc32
Crc32 crc32 = new Crc32();

var bytes = Encoding.UTF8.GetBytes("Hello World");
crc32.Append(bytes);

Console.WriteLine(BitConverter.ToInt32(crc32.GetCurrentHash())); // 1243066710

사실 CRC 코드가 워낙 간단해서,

// Crc32.cs

private static uint Update(uint crc, ReadOnlySpan<byte> source)
{
    for (int i = 0; i < source.Length; i++)
    {
        byte idx = (byte)crc;
        idx ^= source[i];
        crc = s_crcLookup[idx] ^ (crc >> 8);
    }

    return crc;
}

직접 각 언어별로 만들어서 사용해 됩니다. 단지 Python의 경우는 C 언어로 만들어진 zlib의 native 코드가 실행되는 것이므로 성능을 생각한다면 직접 만드는 것은 좋은 선택이 아닙니다.




참고로, 한 가지 주의 사항이 있는데요, 언어마다 다른 자료형으로 인해 음수를 가질 수 있는 hash 값에 대한 후처리가 필요할 수 있습니다. 가령 "ed43aa2a-586d-46b2-b103-92e17bf00eaf"라는 문자열은 언어마다 다른 출력을 갖습니다.

// "ed43aa2a-586d-46b2-b103-92e17bf00eaf" CRC-32 결과

Python: 2811875030
Golang: 2811875030
C#: -1483092266

가령 Golang의 경우 int 타입을 반환하는데 이것은 64비트에 해당하므로 0x80_00_00_00 이상의 값을 음수가 아닌 양수로 표현할 수 있습니다. 반면, C#은 부호 있는 4바이트이므로 0x7f_00_00_00(2,147,483,647)를 넘으면 음수로 표현하는 것입니다.

그래서 해당 값을 언어 간에 직렬화/역직렬화 시 그에 대한 처리가 필요할 수 있습니다. 가령, Golang에서 직렬화한 "2811875030" 값을 C#에서 단순히 Int.Parse로 복원하면,

// 예외 발생
// Unhandled exception. System.OverflowException: Value was either too large or too small for an Int32.
int result = int.Parse("2811875030");

예외가 발생하므로, 정확한 바이트 범위를 서로 간에 약속해야 합니다. 가령 long으로 처리할지, 아니면 4바이트 부호 있는 정수로 합의하면 되는데, 후자로 정했다면 파이썬은 이런 식으로 처리를 추가해야 합니다.

// How to get the signed integer value of a long in python?
// ; https://stackoverflow.com/questions/1375897/how-to-get-the-signed-integer-value-of-a-long-in-python
import zlib
import ctypes

text = "ed43aa2a-586d-46b2-b103-92e17bf00eaf"
hash_value = zlib.crc32(text.encode('utf-8'))
hash_value = hash_value & 0xFFFFFFFF
hash_value = ctypes.c_int32(hash_value).value

print(hash_value) // 출력 결과: -1483092266

반면 Golang은 간단하게 형변환만 하면 됩니다.

var result int32
result = int32(crc32.Checksum(b, crc32.IEEETable))




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 9/14/2022]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 121  122  123  124  125  126  127  128  129  130  131  [132]  133  134  135  ...
NoWriterDateCnt.TitleFile(s)
1790정성태10/22/201419456오류 유형: 254. NETLOGON Service is paused on [... AD Server...]
1789정성태10/22/201422514오류 유형: 253. 이벤트 로그 - The client-side extension could not remove user policy settings for '...'
1788정성태10/22/201424362VC++: 82. COM 프로그래밍에서 HRESULT 타입의 S_FALSE는 실패일까요? 성공일까요? [2]
1787정성태10/22/201432610오류 유형: 252. COM 개체 등록시 0x8002801C 오류가 발생한다면?
1786정성태10/22/201434097디버깅 기술: 65. 프로세스 비정상 종료 시 "Debug Diagnostic Tool"를 이용해 덤프를 남기는 방법 [3]파일 다운로드1
1785정성태10/22/201423162오류 유형: 251. 이벤트 로그 - Load control template file /_controltemplates/TaxonomyPicker.ascx failed [1]
1784정성태10/22/201430743.NET Framework: 472. C/C++과 C# 사이의 메모리 할당/해제 방법파일 다운로드1
1783정성태10/21/201424630VC++: 81. 프로그래밍에서 borrowing의 개념
1782정성태10/21/201421422오류 유형: 250. 이벤트 로그 - Application Server job failed for service instance Microsoft.Office.Server.Search.Administration.SearchServiceInstance
1781정성태10/21/201422174디버깅 기술: 64. new/delete의 짝이 맞는 경우에도 메모리 누수가 발생한다면?
1780정성태10/15/201425956오류 유형: 249. The application-specific permission settings do not grant Local Activation permission for the COM Server application with CLSID
1779정성태10/15/201421152오류 유형: 248. Active Directory에서 OU가 지워지지 않는 경우
1778정성태10/10/201419535오류 유형: 247. The Netlogon service could not create server share C:\Windows\SYSVOL\sysvol\[도메인명]\SCRIPTS.
1777정성태10/10/201422564오류 유형: 246. The processing of Group Policy failed. Windows attempted to read the file \\[도메인]\sysvol\[도메인]\Policies\{...GUID...}\gpt.ini
1776정성태10/10/201419627오류 유형: 245. 이벤트 로그 - Name resolution for the name _ldap._tcp.dc._msdcs.[도메인명]. timed out after none of the configured DNS servers responded.
1775정성태10/9/201420867오류 유형: 244. Visual Studio 디버깅 (2) - Unable to break execution. This process is not currently executing the type of code that you selected to debug.
1774정성태10/9/201427782개발 환경 구성: 246. IIS 작업자 프로세스의 20분 자동 재생(Recycle)을 끄는 방법
1773정성태10/8/201431075.NET Framework: 471. 웹 브라우저로 다운로드가 되는 파일을 왜 C# 코드로 하면 안되는 걸까요? [1]
1772정성태10/3/201419905.NET Framework: 470. C# 3.0의 기본 인자(default parameter)가 .NET 1.1/2.0에서도 실행될까? [3]
1771정성태10/2/201428966개발 환경 구성: 245. 실행된 프로세스(EXE)의 명령행 인자를 확인하고 싶다면 - Sysmon [4]
1770정성태10/2/201422832개발 환경 구성: 244. 매크로 정의를 이용해 파일 하나로 C++과 C#에서 공유하는 방법 [1]파일 다운로드1
1769정성태10/1/201425592개발 환경 구성: 243. Scala 개발 환경 구성(JVM, 닷넷) [1]
1768정성태10/1/201420368개발 환경 구성: 242. 배치 파일에서 Thread.Sleep 효과를 주는 방법 [5]
1767정성태10/1/201425787VS.NET IDE: 94. Visual Studio 2012/2013에서의 매크로 구현 - Visual Commander [2]
1766정성태10/1/201423939개발 환경 구성: 241. 책 "프로그래밍 클로저: Lisp"을 읽고 나서. [1]
1765정성태9/30/201427603.NET Framework: 469. Unity3d에서 transform을 변수에 할당해 사용하는 특별한 이유가 있을까요?
... 121  122  123  124  125  126  127  128  129  130  131  [132]  133  134  135  ...