Microsoft MVP성태의 닷넷 이야기
닷넷: 2308. C# - ICU 라이브러리를 활용한 문자열의 대소문자 변환 [링크 복사], [링크+제목 복사],
조회: 10291
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일

(시리즈 글이 5개 있습니다.)
오류 유형: 848. .NET Core/5+ - Process terminated. Couldn't find a valid ICU package installed on the system
; https://www.sysnet.pe.kr/2/0/13266

닷넷: 2153. C# - 사용자가 빌드한 ICU dll 파일을 사용하는 방법
; https://www.sysnet.pe.kr/2/0/13430

C/C++: 184. C++ - ICU dll을 이용하는 예제 코드 (Windows)
; https://www.sysnet.pe.kr/2/0/13796

C/C++: 185. C++ - 문자열의 대소문자를 변환하는 transform + std::tolower/toupper 방식의 문제점
; https://www.sysnet.pe.kr/2/0/13797

닷넷: 2308. C# - ICU 라이브러리를 활용한 문자열의 대소문자 변환
; https://www.sysnet.pe.kr/2/0/13800




C# - ICU 라이브러리를 활용한 문자열의 대소문자 변환

지난 글의,

C++ - 문자열의 대소문자를 변환하는 transform + std::tolower/toupper 방식의 문제점
; https://www.sysnet.pe.kr/2/0/13797

C# 버전을 작성해 보겠습니다. ^^

우선, C#의 경우 .NET 5부터 ICU(International Components for Unicode) 라이브러리를 지원하는데요, 따라서 .NET Core 3.1 이하 버전에서는 (아마도 LCMapStringEx를 사용할 것이므로) 대/소문자 변환이 매끄럽지 않을 것이라고 예상할 수 있습니다.

실제로 테스트를 해볼까요? ^^

// .NET Core 3.1 이하 + Windows 11
using System;

internal class Program
{
    static void Main(string[] args)
    {
        string text = "𐲀, ß, à, fl";
        Console.WriteLine(text);
        Console.WriteLine(text.ToLower());
        Console.WriteLine(text.ToUpper());
    }
}

/* 출력 결과
𐲀, ß, à, fl
𐲀, ß, à, fl
𐲀, ß, À, fl
*/

보는 바와 같이 '𐲀' 문자의 소문자 변환이 안 되었고, ß, fl 문자의 대문자 변환이 안 되었습니다.
동일한 예제를 .NET 5+ 버전에서 해보면 어떨까요?

// .NET Core 5 이상 + Windows 11
internal class Program
{
    static void Main(string[] args)
    {
        string text = "𐲀, ß, à, fl";
        Console.WriteLine(text);
        Console.WriteLine(text.ToLower());
        Console.WriteLine(text.ToUpper());
    }
}

/* 출력 결과
𐲀, ß, à, fl
𐳀, ß, à, fl
𐲀, ß, À, fl
*/

그나마 이번엔 𐲀 문자의 소문자 처리는 되었지만, 여전히 ß, fl 문자의 대문자 변환이 안 되었습니다.



혹시, Windows 11에 기본 포함된 ICU Combined Library의 버전 차이 때문일까요? 기본적으로 (2024-11-03 기준) Windows 11에 포함된 icu.dll은 68.2.0.10 버전입니다. 반면 지난 글에서 테스트한 버전은 74였는데요, 혹시나 싶어 그 DLL들을 포함하고,

<Project Sdk="Microsoft.NET.Sdk">

    <PropertyGroup>
        <OutputType>Exe</OutputType>
        <TargetFramework>net8.0</TargetFramework>
        <ImplicitUsings>enable</ImplicitUsings>
        <Nullable>enable</Nullable>
    </PropertyGroup>

    <ItemGroup>
        <None Include="..\lib\icudt74.dll" Link="icudt74.dll">
            <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
        </None>
        <None Include="..\lib\icuin74.dll" Link="icuin74.dll">
            <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
        </None>
        <None Include="..\lib\icuio74.dll" Link="icuio74.dll">
            <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
        </None>
        <None Include="..\lib\icutu74.dll" Link="icutu74.dll">
            <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
        </None>
        <None Include="..\lib\icuuc74.dll" Link="icuuc74.dll">
            <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
        </None>
    </ItemGroup>

    <ItemGroup>
        <RuntimeHostConfigurationOption Include="System.Globalization.AppLocalIcu" Value="74" />
    </ItemGroup>
</Project>

빌드해 봤지만 결과는 변하지 않았습니다. 그렇다면, 아직 닷넷은 ICU 라이브러리를 100% 활용하고 있지는 않는 것 같습니다.

그런데, 문자열 비교를 해보면 더 재미있는 결과가 나옵니다. ^^;

Console.WriteLine(StringComparer.Create(CultureInfo.InvariantCulture, true).Compare("𐲀", "𐳀"));
Console.WriteLine(StringComparer.Create(CultureInfo.InvariantCulture, true).Compare("a", "A"));
Console.WriteLine(StringComparer.Create(CultureInfo.InvariantCulture, true).Compare("fl", "FL"));
Console.WriteLine(StringComparer.Create(CultureInfo.InvariantCulture, true).Compare("ß", "ẞ"));

/* 출력 결과
-1
0
0
0
*/

𐲀 문자의 경우 정작 소문자 변환은 성공했지만 ignoreCase 비교에서는 실패한 반면, fl, ß 2개의 문자는 오히려 대문자 변환은 실패했지만 ignoreCase 비교에서는 성공했습니다. ^^;



참고로, 윈도우에 기본 포함된 icu.dll이 제공하는 함수를 직접 이용하는 것도 가능합니다.

C:\temp> dumpbin /EXPORTS c:\windows\system32\icu.dll | findstr u_strToLower
        114   71 00008940 u_strToLower

따라서, 이렇게 interop을 하면,

using System.Globalization;
using System.Runtime.InteropServices;

internal unsafe class Program
{
    [DllImport("icu.dll")]
    public static extern int u_strToLower(char* dest, int destCapacity, char* src, int srcLength, char* locale, int* pErrorCode);

    [DllImport("icu.dll")]
    public static extern int u_strToUpper(char* dest, int destCapacity, char* src, int srcLength, char* locale, int* pErrorCode);

    static void Main(string[] args)
    {
        string text = "𐲀, ß, à, fl";

        // U_ILLEGAL_ARGUMENT_ERROR = 1,     /**< Start of codes indicating failure */
        // U_BUFFER_OVERFLOW_ERROR   = 15,     /**< A result would not fit in the supplied buffer */
        // U_STRING_NOT_TERMINATED_WARNING = -124,/**< An output string could not be NUL-terminated because output length==destCapacity. */

        {
            // ICU4C
            int errorCode = 0;

            fixed (char* src = text)
            {
                int needBuffer = u_strToLower(null, 0, src, -1, null, &errorCode);
                errorCode = 0;
                char* dest = stackalloc char[needBuffer + 1];
                u_strToLower(dest, needBuffer + 1, src, -1, null, &errorCode);
                Console.WriteLine(new string(dest));
            }
        }


        {
            // ICU4C
            int errorCode = 0;

            fixed (char* src = text)
            {
                int needBuffer = u_strToUpper(null, 0, src, -1, null, &errorCode);
                errorCode = 0;
                char* dest = stackalloc char[needBuffer + 1];
                u_strToUpper(dest, needBuffer + 1, src, -1, null, &errorCode);
                Console.WriteLine(new string(dest));
            }
        }
    }
}

/* 출력 결과
𐳀, ß, à, fl
𐲀, SS, À, FL
*/

"C++ - ICU dll을 이용하는 예제 코드 (Windows)" 글에서 작성한 결과 그대로 나왔습니다.

만약, 윈도우가 기본 제공하는 icu.dll이 아닌 직접 빌드한 것을 사용하고 싶다면 u_strToLower의 경우 icuuc??dll에 있을 테니,

C:\temp> dumpbin /EXPORTS icuuc74.dll | findstr u_strToLower
       2358  935 000E0E20 u_strToLower_74

버전 번호를 EntryPoint로 명시해 사용하면 됩니다.

[DllImport("icuuc74.dll", EntryPoint = "u_strToLower_74")]
public static extern int u_strToLower(char* dest, int destCapacity, char* src, int srcLength, char* locale, int* pErrorCode);

[DllImport("icuuc74.dll", EntryPoint = "u_strToUpper_74")]
public static extern int u_strToUpper(char* dest, int destCapacity, char* src, int srcLength, char* locale, int* pErrorCode);

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 11/3/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 



2024-11-21 09시06분
대소문자 '변환'과 함께 따라오는 문제가 바로 대소문자 구분 없이 '검색'하는 것도 있군요. ^^

On locale-aware substring matching, either case-sensitive or case-insensitive
; https://devblogs.microsoft.com/oldnewthing/20241101-00/?p=110447

윈도우에서는 이를 위해 Find­NLS­String­Ex 함수를 제공하고 있지만, "Windows globalization" 팀조차도 이제는 ICU를 추천한다고 합니다.
정성태
2024-11-21 09시14분
What has case distinction but is neither uppercase nor lowercase?
; https://devblogs.microsoft.com/oldnewthing/20241031-00/?p=110443

유니코드에는, 대문자(Upper-case)도 아닌, 그렇다고 소문자(Lower-case)도 아닌 case가 있는데요, 바로 그 중간에 자리잡고 있는 "Title case"가 있다고! ^^;

----------------------------------

The default C locale is not a very interesting one
; https://devblogs.microsoft.com/oldnewthing/20250206-00/?p=110846

wchar_t example[] = L"\x00C0" L"BC"; // ÀBC
_wcslwr_s(example); // Result: Àbc

Using alternate locales to get more interesting case mapping than the C
; https://devblogs.microsoft.com/oldnewthing/20250207-00/?p=110848

// Set the C runtime locale for character
// classification (which includes case mapping)
// to the user's default locale
_wsetlocale(LC_CTYPE, L"");

// Now you can convert to lowercase in a locale-aware manner
wchar_t example[] = L"\x00C0" L"BC"; // ÀBC
_wcslwr_s(example); // Result: probably àbc
정성태

... 46  47  48  49  50  51  52  [53]  54  55  56  57  58  59  60  ...
NoWriterDateCnt.TitleFile(s)
12705정성태7/13/202121440VS.NET IDE: 168. x64 DLL 프로젝트의 컨트롤이 Visual Studio의 Designer에서 보이지 않는 문제 - 두 번째 이야기
12704정성태7/12/202119416개발 환경 구성: 576. Azure VM의 서비스를 Azure Web App Service에서만 접근하도록 NSG 설정을 제한하는 방법
12703정성태7/11/202123821개발 환경 구성: 575. Azure VM에 (ICMP) ping을 허용하는 방법
12702정성태7/11/202121188오류 유형: 733. TaskScheduler에 등록된 wacs.exe의 Let's Encrypt 인증서 업데이트 문제
12701정성태7/9/202121083.NET Framework: 1075. C# - ThreadPool의 스레드는 반환 시 ThreadStatic과 AsyncLocal 값이 초기화 될까요?파일 다운로드1
12700정성태7/8/202121581.NET Framework: 1074. RuntimeType의 메모리 누수? [1]
12699정성태7/8/202120409VS.NET IDE: 167. Visual Studio 디버깅 중 GC Heap 상태를 보여주는 "Show Diagnostic Tools" 메뉴 사용법
12698정성태7/7/202124034오류 유형: 732. Windows 11 업데이트 시 3% 또는 0%에서 다운로드가 멈춘 경우
12697정성태7/7/202118130개발 환경 구성: 574. Windows 11 (Insider Preview) 설치하는 방법
12696정성태7/6/202120342VC++: 146. 운영체제의 스레드 문맥 교환(Context Switch)을 유사하게 구현하는 방법파일 다운로드2
12695정성태7/3/202120451VC++: 145. C 언어의 setjmp/longjmp 기능을 Thread Context를 이용해 유사하게 구현하는 방법파일 다운로드1
12694정성태7/2/202121520Java: 24. Azure - Spring Boot 앱을 Java SE(Embedded Web Server)로 호스팅 시 로그 파일 남기는 방법 [1]
12693정성태6/30/202118335오류 유형: 731. Azure Web App Site Extension - Failed to install web app extension [...]. {1}
12692정성태6/30/202119607디버깅 기술: 180. Azure - Web App의 비정상 종료 시 남겨지는 로그 확인
12691정성태6/30/202118909개발 환경 구성: 573. 테스트 용도이지만 테스트에 적합하지 않은 Azure D1 공유(shared) 요금제
12690정성태6/28/202119771Java: 23. Azure - 자바(Java)로 만드는 Web App Service - Tomcat 호스팅
12689정성태6/25/202122974오류 유형: 730. Windows Forms 디자이너 - The class Form1 can be designed, but is not the first class in the file. [1]
12688정성태6/24/202122576.NET Framework: 1073. C# - JSON 역/직렬화 시 리플렉션 손실을 없애는 JsonSrcGen [2]파일 다운로드1
12687정성태6/22/202118981오류 유형: 729. Invalid data: Invalid artifact, java se app service only supports .jar artifact
12686정성태6/21/202119221Java: 22. Azure - 자바(Java)로 만드는 Web App Service - Java SE (Embedded Web Server) 호스팅
12685정성태6/21/202122564Java: 21. Azure Web App Service에 배포된 Java 프로세스의 메모리 및 힙(Heap) 덤프 뜨는 방법
12684정성태6/19/202120979오류 유형: 728. Visual Studio 2022부터 DTE.get_Properties 속성 접근 시 System.MissingMethodException 예외 발생
12683정성태6/18/202120689VS.NET IDE: 166. Visual Studio 2022 - Windows Forms 프로젝트의 x86 DLL 컨트롤이 Designer에서 오류가 발생하는 문제 [1]파일 다운로드1
12682정성태6/18/202117538VS.NET IDE: 165. Visual Studio 2022를 위한 Extension 마이그레이션
12681정성태6/18/202118691오류 유형: 727. .NET 2.0 ~ 3.5 + x64 환경에서 System.EnterpriseServices 참조 시 CS8012 경고
12680정성태6/18/202120847오류 유형: 726. python2.7.exe 실행 시 0xc000007b 오류
... 46  47  48  49  50  51  52  [53]  54  55  56  57  58  59  60  ...