DLL Surrogate를 이용한 Out-of-process COM 개체에서의 CoInitializeSecurity 문제

지난 글에서, dllhost.exe에 호스팅한 C# COM 개체를 만들어 봤는데요,

C# - DLL Surrogate를 이용한 Out-of-process COM 개체 제작
; https://www.sysnet.pe.kr/2/0/12668

그렇다면 EXE 프로세스 경계가 달라지므로 호출 측의 CoInitializeSecurity 제약을,

Wslhub.Sdk 사용으로 알아보는 CoInitializeSecurity 사용 제약
; https://www.sysnet.pe.kr/2/0/12665

마찬가지로 극복할 수 있을까요? 테스트를 위해 "COM+ 서버 응용 프로그램을 이용해 CoInitializeSecurity 제약 해결" 글에서 사용한 (Serializable 특성이 DistroRegistryInfo에 적용된) NativeMethods.cs, Wsl.cs 소스 코드를 가져와 DLL Surrogate 예제였던 ClassLibrary1에 추가합니다.

그럼 Class1.cs의 코드를 다음과 같이 구현할 수 있습니다.

using System;
using System.Diagnostics;
using System.Runtime.InteropServices;
using System.Linq;
using WslSdk;

namespace ClassLibrary1
{
    [ComVisible(true)]
    [Guid("62A4A0A9-8791-444B-ABF7-8BFD23DFF0FB")]
    [InterfaceType(ComInterfaceType.InterfaceIsDual)]
    public interface ITest
    {
        long GetPTIDValue();

        DistroRegistryInfo GetDefaultDistro();
        string[] GetDistroList();
        string RunWslCommand(string distroName, string commandLine);
    }

    [ComVisible(true)]
    [Guid("296A7E30-8592-4EE5-8FE1-E9DAF86D146E")]
    [ClassInterface(ClassInterfaceType.AutoDual)]
    public class CTest : ITest
    {
        public long GetPTIDValue()
        {
            long pid = Process.GetCurrentProcess().Id;
#pragma warning disable CS0618 // Type or member is obsolete
            long tid = AppDomain.GetCurrentThreadId();
#pragma warning restore CS0618 // Type or member is obsolete

            return tid | (pid << 32);
        }

        public DistroRegistryInfo GetDefaultDistro()
        {
            return Wsl.GetDefaultDistro();
        }

        public string[] GetDistroList()
        {
            return Wsl.GetDistroListFromRegistry().Select(x => x.DistroName).ToArray();
        }

        public string RunWslCommand(string distroName, string commandLine)
        {
            string result = null;

            int initResult = NativeMethods.CoInitializeSecurity(
                IntPtr.Zero,
                (-1),
                IntPtr.Zero,
                IntPtr.Zero,
                NativeMethods.RpcAuthnLevel.Default,
                NativeMethods.RpcImpLevel.Impersonate,
                IntPtr.Zero,
                NativeMethods.EoAuthnCap.StaticCloaking,
                IntPtr.Zero);

            try
            {
                result = Wsl.RunWslCommand(distroName, commandLine);
            }
            catch (Exception e)
            {
                result = $"{initResult} - {Environment.UserDomainName}\\{Environment.UserName}: " +  e.ToString();
            }

            return result;
        }
    }
}

그럼, ConsoleApp1 측에서는 다음과 같이 사용해 줄 수 있는데,

// Dll surrogated COM
{
    IntPtr pUnknown = IntPtr.Zero;
    int hr = CoCreateInstance(clsid, null, CLSCTX.LOCAL_SERVER, IID_IUnknown, ref pUnknown);
    ITest testObj = null;

    if (hr == 0)
    {
        try
        {
            testObj = Marshal.GetTypedObjectForIUnknown(pUnknown, typeof(ITest)) as ITest;
            long result = testObj.GetPTIDValue();
            Console.WriteLine($"Surrogated COM: pid = {result >> 32}, tid = {result & UInt32.MaxValue}");

            var distro = testObj.GetDefaultDistro();;
            if (distro == null)
            {
                Console.WriteLine("No WSL default distro");
                return;
            }

            Console.WriteLine(testObj.RunWslCommand(distro.DistroName, "cat /etc/passwd"));
        }
        finally
        {
            if (testObj != null)
            {
                Marshal.ReleaseComObject(testObj);
            }

            if (pUnknown != null)
            {
                Marshal.Release(pUnknown);
            }
        }
    }
}

위의 소스 코드를 실행하면 GetDefaultDistro 호출은 (레지스트리로부터 값을 읽어오므로) 정상 동작하지만 RunWslCommand 단계에서 다음과 같은 예외가 발생할 것입니다.

-2147417831 - TESTPC\testusr: System.Exception: Ubuntu20.04 is not registered distro.
   at WslSdk.Wsl.RunWslCommand(String distroName, String commandLine, Int32 bufferLength)
   at ClassLibrary1.CTest.RunWslCommand(String distroName, String commandLine)

보다시피 NativeMethods.CoInitializeSecurity 메서드의 반환 값이 RPC_E_TOO_LATE(0x80010119)로 나오는데, 이것은 곧 DLL Surrogate의 경우 dllhost.exe 수준에서 이미 CoInitializeSecurity가 호출된다는 것입니다. 따라서 아쉽지만, DLL Surrogate 상태에서의 Wsl 관련 API 호출은 정상 동작하지 않습니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)

---

이것을 극복하려면, 아마도 시스템이 제공하는 DLL Surrogate, 즉 dllhost.exe를 사용하지 않고 사용자 정의한 Surrogate용 EXE를 제공하면 될 것입니다. 이에 대해서는 다음의 문서에서 찾을 수 있는데,

Writing a Custom Surrogate
; https://learn.microsoft.com/en-us/windows/win32/com/writing-a-custom-surrogate

사실 복잡도를 낮추려고 DLL Surrogate를 사용하려는 것인데, 위와 같이 사용자 정의 Surrogate까지 만들 정도면 차라리 (out-of-process) Local Server COM 개체를 만드는 것이 더 낫습니다. 저는 더 이상 구현을 하지 않겠지만 ^^ 혹시 사용자 정의 Surrogate까지 구현해 CoInitializeSecurity를 완료하신 분이 계시다면 덧글 부탁드리겠습니다.

---

한 가지 더해 DLL Surrogate 관련해서 다음의 문서를 보면,

AppID Key
; https://learn.microsoft.com/en-us/windows/win32/com/appid-key

dllhost.exe 수준의 CoInitializeSecurity 상태를 AppID 키 하위의 여러 레지스트리 값을 이용해 설정할 수 있는 것으로 나옵니다. 그중에서 가장 중요한 것은 Impersonate인데요, 이와 관련해서는 AppIDFlags의 설명을 보면,

AppIDFlags
; https://learn.microsoft.com/en-us/windows/win32/com/appidflags

0x1 APPIDREGFLAGS_ACTIVATE_IUSERVER_INDESKTOP
0x2 APPIDREGFLAGS_SECURE_SERVER_PROCESS_SD_AND_BIND
0x4 APPIDREGFLAGS_ISSUE_ACTIVATION_RPC_AT_IDENTIFY

RPC_C_IMP_LEVEL_IMPERSONATE 설정이 기본 사용되는 것으로 보입니다. 마치 COM+ 서버의 응용 프로그램에서 Security 탭으로 Impersonation Level을 설정하는 것과 같은 효과일 것으로 보이는데요, 따라서 그냥 WSL API가 호출이 되어야 하는데... 안 되는 이유를 모르겠군요. ^^; 혹시 이에 대해 아시는 분은 덧글 부탁드립니다.

---

참고로, 이 글의 예제에서는 DLL Surrogate로 호스팅되는 ClassLibrary1에 Wslhub.Sdk nuget 패키지를 참조하지 않고 직접 소스 코드를 추가해 구현했습니다. 만약, 패키지 참조로 실습을 해보면 이를 사용하는 ConsoleApp1의 ITest로의 형변환 코드에서,

testObj = Marshal.GetTypedObjectForIUnknown(pUnknown, typeof(ITest)) as ITest;

다음과 같은 예외가 발생합니다.

System.InvalidCastException
  HResult=0x80004002
  Message=Unable to cast object of type 'System.__ComObject' to type 'ClassLibrary1.ITest'.
  Source=mscorlib
  StackTrace:
   at System.Runtime.InteropServices.Marshal.GetTypedObjectForIUnknown(IntPtr pUnk, Type t)
   at Program.Main(String[] args)

왜냐하면 ClassLibrary1은 regasm으로 전역적으로 등록된 상태고, 그것이 참조한 Wslhub.Sdk DLL은 그렇지 않으므로 DLL Surrogate를 제공하는 COM 런타임이 해당 dll을 찾을 수 없어 예외가 발생하는 것입니다. 이것이 동작하려면 Wslhub.Sdk.dll도 gacutil 등으로 등록을 해야 하는데, 아쉽게도 해당 DLL은 strong name 서명이 되어 있지 않으므로 gac 등록이 불가능합니다.

---

C# - CoCreateInstance 관련 Inteop 오류 정리
; https://www.sysnet.pe.kr/2/0/12678

Wslhub.Sdk 사용으로 알아보는 CoInitializeSecurity 사용 제약
; https://www.sysnet.pe.kr/2/0/12665

별도 DLL에 포함된 타입을 STAThread Main 메서드에서 사용하는 경우 CoInitializeSecurity 자동 호출
; https://www.sysnet.pe.kr/2/0/12666

COM+ 서버 응용 프로그램을 이용해 CoInitializeSecurity 제약 해결
; https://www.sysnet.pe.kr/2/0/12667

ionescu007/lxss github repo에 공개된 lxssmanager.dll의 CLSID_LxssUserSession/IID_ILxssSession 사용법
; https://www.sysnet.pe.kr/2/0/12676

역공학을 통한 lxssmanager.dll의 ILxssSession 사용법 분석
; https://www.sysnet.pe.kr/2/0/12677

C# - DLL Surrogate를 이용한 Out-of-process COM 개체 제작
; https://www.sysnet.pe.kr/2/0/12668

DLL Surrogate를 이용한 Out-of-process COM 개체에서의 CoInitializeSecurity 문제
; https://www.sysnet.pe.kr/2/0/12670

CoInitializeSecurity의 전역 설정을 재정의하는 CoSetProxyBlanket 함수 사용법
; https://www.sysnet.pe.kr/2/0/12679

---

[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[최초 등록일: 6/13/2021]
[최종 수정일: 2/4/2023]


이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.

by SeongTae Jeong, mailto:techsharer at outlook.com