Microsoft MVP성태의 닷넷 이야기
VC++: 42. 쓰기 전용 파일(예: 로그 파일)의 동기화 방법 [링크 복사], [링크+제목 복사],
조회: 28247
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일

쓰기 전용 파일(예: 로그 파일)의 동기화 방법

서문 필요 없이 바로 코드로 설명해보면, 보통 로그 파일을 쓰기 위한 코드는 아래와 같이 작성됩니다.

HANDLE hFile = ::CreateFile(filePath, GENERIC_WRITE, 0, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
if (hFile != INVALID_HANDLE_VALUE)
{
    ::SetFilePointerEx(hFile, ..., FILE_END);
    ::WriteFile(hFile, ...);
    CloseHandle(hFile); 
}

그런데, 스레드가 끼어들면 - 여러분들은 어떻게 하셨는지 모르겠지만 - 제 경우에는 다음과 같이 꼭!!! 언제나 스레드 동기화를 해주었습니다.

EnterCriticalSection(...);

HANDLE hFile = ::CreateFile(filePath, GENERIC_WRITE, 0, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
if (hFile != INVALID_HANDLE_VALUE)
{
    ...
}

LeaveCriticalSection(...);

만약 스레드가 아니라, 프로세스 간에 하나의 파일에 로그를 쓰려고 하는 경우가 발생하면 뮤텍스로 동기화를 해주었습니다.

WaitForSingleObject(mutexHandle,  INFINITE); 

HANDLE hFile = ::CreateFile(filePath, GENERIC_WRITE, 0, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
if (hFile != INVALID_HANDLE_VALUE)
{
    ...
}

ReleaseMutex(mutexHandle);

그런데,,, 동기화 작업은 쓸데없는 코드에 불과했습니다. 이유는? ^^




최근에 정말 재미있게 읽고 있는 책인데요.

IT EXPERT 윈도우 디바이스 드라이버 (저자 : 이봉석)
; http://www.yes24.com/24/goods/3219701

아주 재미있는 것을 하나 배웠습니다. 바로, ReadFile/WriteFile은 그 동작 자체에 이미 "직렬화" 과정이 포함되어 있다는 것입니다.

사실, 그동안 제가 생각 없이 살았던 것이지요. 어쩌면 굳이 저 책을 읽지 않았어도 '상식적'인 수준에서 평소에도 알 수 있었을 만한 것입니다. 왜냐하면, WriteFile 요청이 2개가 전달되었을 때 하드 디스크에 하나씩 전달되어 처리가 되는 것이 맞을 것입니다. 그렇지 않고, 첫 번째 WriteFile 요청으로 전달된 바이트 배열의 일부만을 디스크에 기록하다가 두 번째로 전달된 WriteFile 요청을 처리한다는 것은 '상식적'으로 맞지 않는 동작 방식입니다.

아하... 정말 그렇다면, "하나의 EXE 프로세스"에서 생성된 "다중 스레드"들은 굳이 CriticalSection을 사용할 필요도 없고, 핸들을 모든 스레드 간에 공유해도 전혀 문제가 안됩니다.


HANDLE g_hFile;
void Main()
{
    g_hFile = ::CreateFile(filePath, GENERIC_WRITE, 0, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
}

DWORD WINAPI ThreadFunc1(LPVOID lpParam) 
{
    WriteFile(g_hFile, ...);
    ...
}

그런데, 핸들을 공유하지 않고 매번 파일을 열고 닫는 식으로 사용해야 한다면 CriticalSection을 사용해야 합니다. 왜냐하면, "쓰기" 작업 전에 파일 포인터를 끝으로 옮겨야 하는 동작까지를 하나의 atomic 작업으로 묶어주어야 하기 때문입니다. 대신 임계영역을 묶어주는 범위가 줄어듭니다.

DWORD WINAPI ThreadFunc1(LPVOID lpParam) 
{
    HANDLE hFile = ::CreateFile(filePath, GENERIC_WRITE, FILE_SHARE_WRITE, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
    if (hFile != INVALID_HANDLE_VALUE)
    {
        ::EnterCriticalSection(&critic);

        ::SetFilePointerEx(hFile, ..., FILE_END);
        ::WriteFile(hFile, ...);

        ::LeaveCriticalSection(&critic);
        CloseHandle(hFile); 
    }
}

그런데, 더욱 깔끔한 방법이 있습니다. SetFilePointerEx 작업을 생략하기 위해 파일 자체를 append 모드로 열면 되는데, 다음과 같이 FILE_APPEND_DATA 플래그가 이런 경우에 사용됩니다.

DWORD WINAPI ThreadFunc1(LPVOID lpParam) 
{
    HANDLE hFile = ::CreateFile(filePath, FILE_APPEND_DATA,
        FILE_SHARE_WRITE, NULL, OPEN_ALWAYS, FILE_ATTRIBUTE_NORMAL, NULL);
    if (hFile != INVALID_HANDLE_VALUE)
    {
        ::WriteFile(hFile, ...);
        CloseHandle(hFile); 
    }
}




자,,, 그럼 2개 이상의 프로세스에서 하나의 파일에 대해 로그 작업을 남기는 경우라면 어떻게 될까요? 이 경우에는 FILE_APPEND_DATA를 쓰느냐/안쓰느냐에 따라서 달라집니다. 안 쓰는 경우에는 SetFilePointer/WriteFile 단위를 Mutex로 묶어주어야 합니다.

하지만, FILE_APPEND_DATA를 사용하게 되면 Mutex가 필요하지 않습니다. 즉, 단일 프로세스에서 로그 작업을 하는 것과 동일하게 다중 프로세스에서도 코드를 그대로 사용할 수 있습니다.

그럼, 간단히 아래와 같이 정리되었군요.

  • 동기화 작업을 하지 말고,
  • FILE_APPEND_DATA 모드로 파일을 연다.

여기까지는, Win32 API를 직접 사용한 경우의 이야기이고, 그렇다면 .NET Framework에서는 어떻게 될까요?

아쉽게도, .NET에서는 FileStream의 생성자에 FILE_APPEND_DATA와 동일한 기능을 하는 옵션을 줄 수가 없습니다. 이 때문에, P/Invoke로 직접 Win32 API의 CreateFile로 파일 핸들을 생성하고 그것을 FileStream에 전달해 주어야 합니다.

SafeFileHandle fileHandle = CreateFile(filePath, NativeFileAccess.FILE_APPEND_DATA, 
                NativeFileShare.FILE_SHARE_READ | NativeFileShare.FILE_SHARE_WRITE, 
                IntPtr.Zero, NativeFileMode.OPEN_ALWAYS, 
                NativeFileFlag.FILE_ATTRIBUTE_NORMAL, IntPtr.Zero);

using (file = new FileStream(fileHandle, FileAccess.Write))
{
    file.Write( ... );
}

첨부한 파일에는 위의 Win32 API와 .NET을 테스트한 예제 프로젝트가 들어 있습니다.

----------------

* 이래서... 공부는 끝이 없는 것 같습니다. ^^ 사실 이 맛에 또 공부하고!

* SetFilePointer(hFile, 0, 0, FILE_END);는 4GB가 넘는 파일에 대해서 정상적으로 파일 끝을 가리키지 못합니다. 대용량 파일을 다뤄야 할 필요가 있는 경우에는 필히 SetFilePointerEx를 사용하십시오. ^^




[이 토픽에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 7/10/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 61  62  63  64  65  [66]  67  68  69  70  71  72  73  74  75  ...
NoWriterDateCnt.TitleFile(s)
12288정성태8/5/202016012오류 유형: 637. WCF - The protocol 'net.tcp' does not have an implementation of HostedTransportConfiguration type registered.
12287정성태8/5/202017459오류 유형: 636. C# - libdl.so를 DllImport로 연결 시 docker container 내에서 System.DllNotFoundException 예외 발생
12286정성태8/5/202018821개발 환경 구성: 501. .NET Core 용 container 이미지 만들 때 unzip이 필요한 경우
12285정성태8/4/202018492오류 유형: 635. 윈도우 10 업데이트 - 0xc1900209 [2]
12284정성태8/4/202017853디버깅 기술: 169. Hyper-V의 VM에 대한 메모리 덤프를 뜨는 방법
12283정성태8/3/202018758디버깅 기술: 168. windbg - 필터 드라이버 확인하는 확장 명령어(!fltkd) [2]
12282정성태8/2/202016581디버깅 기술: 167. windbg 디버깅 사례: AppDomain 간의 static 변수 사용으로 인한 crash (2)
12281정성태8/2/202020225개발 환경 구성: 500. (PDB 연결이 없는) DLL의 소스 코드 디버깅을 dotPeek 도구로 해결하는 방법
12280정성태8/2/202018357오류 유형: 634. 오라클 (평생) 무료 클라우드 VM 생성 후 SSH 접속 시 키 오류 발생 [2]
12279정성태7/29/202020073개발 환경 구성: 499. 닷넷에서 접근해보는 InterSystems의 Cache 데이터베이스파일 다운로드1
12278정성태7/23/202016707VS.NET IDE: 149. ("Binary was not built with debug information" 상태로) 소스 코드 디버깅이 안되는 경우
12277정성태7/23/202018642개발 환경 구성: 498. DEVPATH 환경 변수의 사용 예 - .NET Reflector의 (PDB 연결이 없는) DLL의 소스 코드 디버깅
12276정성태7/23/202018023.NET Framework: 930. 개발자를 위한 닷넷 어셈블리 바인딩 - DEVPATH 환경 변수
12275정성태7/22/202020203개발 환경 구성: 497. 닷넷에서 접근해보는 InterSystems의 IRIS Data Platform 데이터베이스파일 다운로드1
12274정성태7/21/202019557개발 환경 구성: 496. Azure - Blob Storage Account의 Location 이전 방법 [1]파일 다운로드1
12273정성태7/18/202022307개발 환경 구성: 495. Azure - Location이 다른 웹/DB 서버의 경우 발생하는 성능 하락
12272정성태7/16/202015477.NET Framework: 929. (StrongName의 버전 구분이 필요 없는) .NET Core 어셈블리 바인딩 규칙 [2]파일 다운로드1
12271정성태7/16/202018419.NET Framework: 928. .NET Framework의 Strong-named 어셈블리 바인딩 (2) - 런타임에 바인딩 리디렉션파일 다운로드1
12270정성태7/16/202019085오류 유형: 633. SSL_CTX_use_certificate_file - error:140AB18F:SSL routines:SSL_CTX_use_certificate:ee key too small
12269정성태7/16/202016353오류 유형: 632. .NET Core 웹 응용 프로그램 - The process was terminated due to an unhandled exception.
12268정성태7/15/202018970오류 유형: 631. .NET Core 웹 응용 프로그램 오류 - HTTP Error 500.35 - ANCM Multiple In-Process Applications in same Process
12267정성태7/15/202021045.NET Framework: 927. C# - 윈도우 프로그램에서 Credential Manager를 이용한 보안 정보 저장파일 다운로드1
12266정성태7/14/202017971오류 유형: 630. 사용자 계정을 지정해 CreateService API로 서비스를 등록한 경우 "Error 1069: The service did not start due to a logon failure." 오류발생
12265정성태7/10/202016844오류 유형: 629. Visual Studio - 웹 애플리케이션 실행 시 "Unable to connect to web server 'IIS Express'." 오류 발생
12264정성태7/9/202028158오류 유형: 628. docker: Error response from daemon: Conflict. The container name "..." is already in use by container "...".
12261정성태7/9/202019420VS.NET IDE: 148. 윈도우 10에서 .NET Core 응용 프로그램을 리눅스 환경에서 실행하는 2가지 방법 - docker, WSL 2 [5]
... 61  62  63  64  65  [66]  67  68  69  70  71  72  73  74  75  ...