Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
(연관된 글이 1개 있습니다.)

C# - FILE_FLAG_OVERLAPPED가 적용된 파일의 읽기/쓰기 시 Position 관리

아래의 글을,

C# - CLR ThreadPool의 I/O 스레드에 작업을 맡기는 방법
; https://www.sysnet.pe.kr/2/0/13059

이렇게 실습해 보면,

using Console1;
using Microsoft.Win32.SafeHandles;
using System.Diagnostics.CodeAnalysis;
using System.Runtime.InteropServices;
using System.Runtime.Versioning;
using System.Text;

[assembly: SupportedOSPlatform("windows")]

class Program
{
    static void Main(string[] args)
    {
        byte[] buffer = Encoding.UTF8.GetBytes("tt");
        byte[] buffer2 = Encoding.UTF8.GetBytes("ee");

        File.Delete(@"C:\temp\test.txt");

        using (SafeFileHandle pHandle = NativeMethods.CreateFile(@"c:\temp\test.txt",
                (uint)FileAccess.ReadWrite,
                0,
                IntPtr.Zero,
                (uint)2,
                NativeMethods.FILE_FLAG_OVERLAPPED,
                IntPtr.Zero))
        {
            WriteAsync(pHandle, buffer);
            Thread.Sleep(1000);
            WriteAsync(pHandle, buffer2);
        }

        Console.WriteLine("Press Enter to exit ...");
        Console.ReadLine();
    }

    private static void WriteAsync(SafeFileHandle pHandle, byte[] buf)
    {
        uint written;
        NativeOverlapped o = new NativeOverlapped();

        EventWaitHandle writeEvent = new EventWaitHandle(false, EventResetMode.AutoReset);
        o.EventHandle = writeEvent.SafeWaitHandle.DangerousGetHandle();

        if (NativeMethods.WriteFile(pHandle, buf, buf.Length, out written, ref o) == false)
        {
            int lastError = Marshal.GetLastWin32Error();
            if (lastError == 997) //  ERROR_IO_PENDING == 997
            {
                OverlappedParameter op = new OverlappedParameter()
                {
                    Event = writeEvent,
                };

                op.WaitHandle = ThreadPool.RegisterWaitForSingleObject(writeEvent, WriteCompleted, op, -1, false);
                op.TryUnregister();
            }
            else
            {
                // Write File Error
                Console.WriteLine("Write File Error");
                writeEvent.Close();
            }
        }
    }

    public static void WriteCompleted(object? objState, bool timedOut)
    {
        Console.WriteLine($"{DateTime.Now} async WriteCompleted");

        OverlappedParameter? op = objState as OverlappedParameter;
        if (op == null)
        {
            return;
        }

        op.Done();
    }
}

public class OverlappedParameter
{
    // ...[생략]...
}

2번의 WriteAsync 호출에서 전달한 2바이트 내용이,

WriteAsync(pHandle, buf); // buf == 'tt'
Thread.Sleep(1000);
WriteAsync(pHandle, buf2); // buf2 == 'ee'

"FileStream.Position == 0"인 위치에 써지기 때문에 출력 파일의 결과는 "ee"만 담고 있게 됩니다. 실제로 FILE_FLAG_OVERLAPPED가 적용된 파일은 Read/Write 동작을 한 후 파일 포인터를 전혀 변경하지 않습니다. 가령, 다음과 같이 SetFilePointerEx Win32 API를 호출해 현재의 파일 포인터 위치를 구해봐도,

WriteAsync(pHandle, buf);
Thread.Sleep(1000);
Console.WriteLine(GetCurrentPosition(pHandle)); // 출력 결과: 0

WriteAsync(pHandle, buf2);

private static long GetCurrentPosition(SafeFileHandle handle)
{
    if (NativeMethods.SetFilePointerEx(handle, 0, out long result, NativeMethods.FILE_CURRENT) == true)
    {
        return result;
    }

    return 0;
}

0이 나옵니다. 좀 이상한가요? ^^




사실 이것은 맞는 동작이긴 합니다. 왜냐하면 비동기 읽기/쓰기를 위해 ReadFile/WriteFile에 전달하는 NativeOverlapped 구조체에는 이미 OffsetLow, OffsetHigh 필드를 통해 (FileStream.Position에 해당하는) 위치를 지정하기 때문입니다.

그래서, 정확한 결과를 보려면 위와 같은 소스 코드에서 WriteAsync 메서드에 데이터가 쓰일 위치를 함께 전달해야 합니다.

using (SafeFileHandle pHandle = NativeMethods.CreateFile(@"c:\temp\test.txt",
        (uint)FileAccess.ReadWrite, 0, IntPtr.Zero, (uint)2, NativeMethods.FILE_FLAG_OVERLAPPED, IntPtr.Zero))
{
    WriteAsync(pHandle, 0, buf);
    Thread.Sleep(1000);
    WriteAsync(pHandle, 2, buf2);
}

private static void WriteAsync(SafeFileHandle pHandle, long pos, byte[] buf)
{
    //...[생략]...
    NativeOverlapped o = new NativeOverlapped();

    o.OffsetLow = unchecked((int)pos);
    o.OffsetHigh = (int)(pos >> 32);

    //...[생략]...
}

// test.txt 파일 내용: "ttee"

재미있는 것은 우리가 사용하는 FileStream.WriteAsync의 Read/Write는 별도의 File Position을 전달하지 않습니다.

using System;
using System.Text;

internal class Program
{
    static async Task Main(string[] args)
    {
        string filePath = @"C:\temp\test.txt";

        File.Delete(filePath);
        using (FileStream fs = File.OpenWrite(filePath))
        {

            byte[] buffer = Encoding.UTF8.GetBytes("tt");
            byte[] buffer2 = Encoding.UTF8.GetBytes("ee");

            await fs.WriteAsync(buffer, 0, buffer.Length);
            await fs.WriteAsync(buffer2, 0, buffer2.Length);

            // test.txt 파일 내용
            // ttee
        }
    }
}

왜냐하면 내부적으로 "_pos"라는 필드를 FileStream에서 관리를 하기 때문입니다. 여기서 더욱 재미있는 것은, FileStream은 최대한 _pos와 FILE 자원의 포인터 위치를 맞추려고 노력한다는 점입니다. 그래서 단순히 WriteAsync와 같은 동작을 할 때 _pos 변수만 업데이트하는 것이 아니라, SetFilePointer를 이용해 파일 포인터 위치까지 바꿔줍니다.

// 참고: https://github.com/microsoft/referencesource/blob/master/mscorlib/system/io/filestream.cs#L2010

intOverlapped->OffsetLow = unchecked((int)_pos);
intOverlapped->OffsetHigh = (int)(_pos>>32);

SeekCore(numBytes, SeekOrigin.Current);

[System.Security.SecuritySafeCritical]
private long SeekCore(long offset, SeekOrigin origin) {
    int hr = 0;
    long ret = 0;
            
    ret = Win32Native.SetFilePointer(_handle, offset, origin, out hr);
    if (ret == -1) {
        if (hr == Win32Native.ERROR_INVALID_HANDLE)
            _handle.Dispose();
        __Error.WinIOError(hr, String.Empty);
    }
            
    _pos = ret;
    return ret;}
}

그런데, 위에서 보면 약간의 허점이 있긴 합니다. 즉, 어쨌든 비동기 I/O의 파일 위치는 _pos 변수를 기준으로 하기 때문에 파일 포인터의 위치와는 무관하다는 점입니다. 그래서, 만약 해당 파일에 대해 직접 SetFilePointerEx 함수를 이용해 파일 포인터를 변경하는 것은,

static async Task Main(string[] args)
{
    string filePath = @"C:\temp\test.txt";

    File.Delete(filePath);
    using (FileStream fs = File.OpenWrite(filePath))
    {
        byte[] buffer = Encoding.UTF8.GetBytes("tt");
        byte[] buffer2 = Encoding.UTF8.GetBytes("ee");

        await fs.WriteAsync(buffer, 0, buffer.Length);

        NativeMethods.SetFilePointerEx(fs.SafeFileHandle, 0, out _, NativeMethods.FILE_BEGIN);

        await fs.WriteAsync(buffer2, 0, buffer2.Length);
    }
}

/* test 파일 출력 결과
ttee
*/

WriteAsync에 아무런 효력도 없습니다. 반면, FileStream이 제공하는 Position 필드를 이용해 위치를 바꾸는 것은,

await fs.WriteAsync(buffer, 0, buffer.Length);

fs.Position = 0; // 내부적으로 _pos 필드를 업데이트하기 때문에,

await fs.WriteAsync(buffer2, 0, buffer2.Length);

/* test 파일 출력 결과
ee
*/

효력을 발휘합니다. 은근슬쩍 복잡한 상황들이 전개됩니다. ^^




자, 그럼 최종적으로 우리가 구현하는 비동기 파일 연산도 별도의 클래스를 만들어 대충 이런 식으로 구색을 낼 수 있습니다.

public class MyAsyncFileStream : IDisposable
{
    long _pos;
    SafeFileHandle? _pHandle;

    public MyAsyncFileStream(string filePath)
    {
        _pHandle = NativeMethods.CreateFile(@"c:\temp\test.txt",
            (uint)FileAccess.ReadWrite,
            0,
            IntPtr.Zero,
            (uint)2,
            NativeMethods.FILE_FLAG_OVERLAPPED,
            IntPtr.Zero);
    }

    public long Position
    {
        get { return _pos; }
        set
        {
            _pos = value;
            SeekCore(_pos, SeekOrigin.Begin);
        }
    }

    void SeekCore(long offset, SeekOrigin origin)
    {
        if (NativeMethods.SetFilePointerEx(_pHandle!, offset, out long moved, (uint)origin) == true)
        {
            _pos = moved;
        }
    }

    public void WriteAsync(byte[] buf)
    {
        uint written;
        NativeOverlapped o = new NativeOverlapped();
        o.OffsetLow = unchecked((int)_pos);
        o.OffsetHigh = (int)(_pos >> 32);

        SeekCore(buf.Length, SeekOrigin.Current);

        EventWaitHandle writeEvent = new EventWaitHandle(false, EventResetMode.AutoReset);
        o.EventHandle = writeEvent.SafeWaitHandle.DangerousGetHandle();

        if (NativeMethods.WriteFile(_pHandle!, buf, buf.Length, out written, ref o) == false)
        {
            int lastError = Marshal.GetLastWin32Error();
            if (lastError == 997) //  ERROR_IO_PENDING == 997
            {
                OverlappedParameter op = new OverlappedParameter()
                {
                    Event = writeEvent,
                };

                op.WaitHandle = ThreadPool.RegisterWaitForSingleObject(writeEvent, WriteCompleted, op, -1, false);
                op.TryUnregister();
            }
            else
            {
                // Write File Error
                Console.WriteLine("Write File Error");
                writeEvent.Close();
            }
        }
    }

    public static void WriteCompleted(object? objState, bool timedOut)
    {
        Console.WriteLine($"{DateTime.Now} async WriteCompleted");

        OverlappedParameter? op = objState as OverlappedParameter;
        if (op == null)
        {
            return;
        }

        op.Done();
    }

    public void Dispose()
    {
        if (_pHandle != null)
        {
            _pHandle.Dispose();
            _pHandle = null;
        }
    }
}

public class OverlappedParameter
{
    // ...[생략]...
}

그리고 사용을 이렇게 하면,

static void Main(string[] args)
{
    byte[] buffer = Encoding.UTF8.GetBytes("tt");
    byte[] buffer2 = Encoding.UTF8.GetBytes("ee");

    File.Delete(@"C:\temp\test.txt");

    using (MyAsyncFileStream fs = new MyAsyncFileStream("C:\temp\test.txt"))
    {
        fs.WriteAsync(buffer);
        Console.WriteLine(fs.Position); // 출력 결과: 2
        fs.WriteAsync(buffer2);
    }

    Console.WriteLine("Press Enter to exit ...");
    Console.ReadLine();
}

/* test.txt 파일 출력 결과
ttee
*/

FileStream처럼 별도의 파일 위치를 관리할 필요 없이 순차적으로 read/write 연산을 할 수 있습니다.

(첨부 파일은 이 글의 예제 코드를 포함합니다.)




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 2/16/2023]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... [46]  47  48  49  50  51  52  53  54  55  56  57  58  59  60  ...
NoWriterDateCnt.TitleFile(s)
12499정성태1/20/202110659.NET Framework: 1013. .NET Core Kestrel 호스팅 - 포트 변경, non-localhost 접속 지원 및 https 등의 설정 변경 [1]파일 다운로드1
12498정성태1/20/20219653.NET Framework: 1012. .NET Core Kestrel 호스팅 - 비주얼 스튜디오의 Kestrel/IIS Express 프로파일 설정
12497정성태1/20/202110606.NET Framework: 1011. C# - OWIN Web API 예제 프로젝트 [1]파일 다운로드2
12496정성태1/19/20219536.NET Framework: 1010. .NET Core 콘솔 프로젝트에서 Kestrel 호스팅 방법 [1]
12495정성태1/19/202111440웹: 40. IIS의 HTTP/2 지원 여부 - h2, h2c [1]
12494정성태1/19/202110749개발 환경 구성: 522. WSL2 인스턴스와 호스트 측의 Hyper-V에 운영 중인 VM과 네트워크 연결을 하는 방법 [2]
12493정성태1/18/20218973.NET Framework: 1009. .NET 5에서의 네트워크 라이브러리 개선 (1) - HTTP 관련 [1]파일 다운로드1
12492정성태1/17/20218401오류 유형: 695. ASP.NET 0x80131620 Failed to bind to address
12491정성태1/16/202110152.NET Framework: 1008. 배열을 반환하는 C# COM 개체의 메서드를 C++에서 사용 시 메모리 누수 현상 [1]파일 다운로드1
12490정성태1/15/20219652.NET Framework: 1007. C# - foreach에서 열거 변수의 타입을 var로 쓰면 object로 추론하는 문제 [1]파일 다운로드1
12489정성태1/13/202110625.NET Framework: 1006. C# - DB에 저장한 텍스트의 (이모티콘을 비롯해) 유니코드 문자가 '?'로 보인다면? [1]
12488정성태1/13/202110866.NET Framework: 1005. C# - string 타입은 shallow copy일까요? deep copy일까요? [2]파일 다운로드1
12487정성태1/13/20219281.NET Framework: 1004. C# - GC Heap에 위치한 참조 개체의 주소를 알아내는 방법파일 다운로드1
12486정성태1/12/202110254.NET Framework: 1003. x64 환경에서 참조형의 기본 메모리 소비는 얼마나 될까요? [1]
12485정성태1/11/202110994Graphics: 38. C# - OpenCvSharp.VideoWriter에 BMP 파일을 1초씩 출력하는 예제파일 다운로드1
12484정성태1/9/202111659.NET Framework: 1002. C# - ReadOnlySequence<T> 소개파일 다운로드1
12483정성태1/8/20218712개발 환경 구성: 521. dotPeek - 훌륭한 역어셈블 소스 코드 생성 도구
12482정성태1/8/202110292.NET Framework: 1001. C# - 제네릭 타입/메서드에서 사용 시 경우에 따라 CS8377 컴파일 에러
12481정성태1/7/20219940.NET Framework: 1000. C# - CS8344 컴파일 에러: ref struct 타입의 사용 제한 메서드파일 다운로드1
12480정성태1/6/202112588.NET Framework: 999. C# - ArrayPool<T>와 MemoryPool<T> 소개파일 다운로드1
12479정성태1/6/20219998.NET Framework: 998. C# - OWIN 예제 프로젝트 만들기
12478정성태1/5/202111636.NET Framework: 997. C# - ArrayPool<T> 소개파일 다운로드1
12477정성태1/5/202113947기타: 79. github 코드 검색 방법 [1]
12476정성태1/5/202110693.NET Framework: 996. C# - 닷넷 코어에서 다른 스레드의 callstack을 구하는 방법파일 다운로드1
12475정성태1/5/202113283.NET Framework: 995. C# - Span<T>와 Memory<T> [1]파일 다운로드1
12474정성태1/4/202110722.NET Framework: 994. C# - (.NET Core 2.2부터 가능한) 프로세스 내부에서 CLR ETW 이벤트 수신 [1]파일 다운로드1
... [46]  47  48  49  50  51  52  53  54  55  56  57  58  59  60  ...