Microsoft MVP성태의 닷넷 이야기
Java: 18. Java의 Memory Mapped File 자원 반환이 안 되는 문제 [링크 복사], [링크+제목 복사],
조회: 23372
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

Java의 Memory Mapped File 자원 반환이 안 되는 문제

Java에서는 다음의 글에 소개된 대로,

Memory Mapped File
; http://www.javacodex.com/Files/Memory-Mapped-File

이렇게 MMF를 사용한다고 합니다.

import java.io.*;
import java.nio.*;
import java.nio.channels.*;

public class MemoryMappedFile {

   public static void main(String[] args) {

      try {

         File file = new File("/tmp/myfile.txt");
         FileChannel fc = new RandomAccessFile(file, "rw").getChannel();
         ByteBuffer bb = fc.map(FileChannel.MapMode.READ_ONLY, 0, (int) fc.size());

         // print contents of ByteBuffer //
         while (bb.hasRemaining()) {
            System.out.print((char) bb.get());
         }

      } catch (IOException e) {
         System.out.println("Error: " + e.toString());
      }
   }
}

그런데, 사내 자바 개발자가 메모리 맵 파일이 GC가 발생하기 전까지는 어떻게 해도 해제할 수 없다는 문제를 경험했습니다. 이를, 간단하게 다음의 코드로 재현해 볼 수 있습니다.

package com.company;

import java.io.*;
import java.nio.*;
import java.nio.channels.*;

public class Main {

    public static void main(String[] args) {

        try {
            while (true) {

                UseMemoryMap();
                if (System.in.available() != 0) {
                    break;
                }

                Thread.sleep(1000);
            }
        } catch (IOException e) {
        } catch (InterruptedException e) {
        }
    }

    public static void UseMemoryMap() {
        try {
            File file = new File("c:/temp/Installer.exe"); // 1MB짜리 파일
            FileChannel fc = new RandomAccessFile(file, "rw").getChannel();
            MappedByteBuffer bb = fc.map(FileChannel.MapMode.READ_ONLY, 0, (int) fc.size());

            bb.clear();
            fc.close(); // clear / close를 해도 메모리는 지속적으로 증가!
        } catch (IOException e) {
            System.out.println("Error: " + e.toString());
        }
    }
}

위의 자바 코드는 1MB 파일에 대한 MMF 설정을 1초마다 반복하는 바람에 "Private Bytes"가 끊임없이 증가하는 문제가 있습니다. 실제로 위의 프로그램이 실행되는 동안 "Process Explorer"로 File Handle의 상황을 모니터링해 보면 다음과 같이 해제되지 않고 끊임없이 증가하는 것을 볼 수 있습니다.

java_mem_map_leak_1.png

이 문제를 해결하려면 명시적으로 System.gc()를 호출해야 하는데, 가령 다음과 같이 위의 코드를 수정해 주면,

try {
    while (true) {

        UseMemoryMap();
        if (System.in.available() != 0) {
            break;
        }

        Thread.sleep(1000);
        System.gc();
    }
} catch (IOException e) {
} catch (InterruptedException e) {
}

메모리 증가 문제가 없어집니다.

이 문제가 발생하는 원인은 2가지가 복합적으로 작용해 발생합니다. 하나는, Java 측에서 MMF 자원을 명시적으로 해제하는 방법을 제공하지 않는다는 점입니다. 또 하나는, Java의 GC 입장에서 GC Heap이 아닌 Native 메모리에 대한 증가는 System.gc 호출을 발생시키지 않는다는 점입니다.

이로 인해, 특정 자바 프로그램이 지속적으로 MMF를 열고/닫는 작업을 하지만 딱히 GC Heap에 대한 변동이 없는 상황이라면 저런 식으로 메모리가 무한정 소비되는 문제가 발생하는 것입니다.




다음은 사내 개발자가 제시한 부가적인 해결 방법입니다.

How to unmap a file from memory mapped using FileChannel in java?
; http://stackoverflow.com/questions/2972986/how-to-unmap-a-file-from-memory-mapped-using-filechannel-in-java

덧글에 보면, SUN JDK에서의 우회 방법이 나옵니다. 또한, 주기적으로 System.gc를 하라는 것도 나오는데 이는 "-XX:+DisableExplicitGC" 옵션이 있는 경우 동작하지 않는다고 합니다. 따라서, (호스트 환경을 장담할 수 없는) 라이브러리 개발자가 써먹기에는 부담스럽습니다.




그렇다면 혹시 닷넷은 어떨까요? 다행히, 닷넷은 MemoryMappedFile.Dispose 메서드가 제공되는데 이를 호출하면 Native 리소스가 잘 해제됩니다.

아래는 참고 글입니다.

Memory-mapped File은 Private Bytes 크기에 포함될까요?
; https://www.sysnet.pe.kr/2/0/11159




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 9/28/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




... 121  122  123  124  125  126  127  128  129  130  [131]  132  133  134  135  ...
NoWriterDateCnt.TitleFile(s)
1780정성태10/15/201424178오류 유형: 249. The application-specific permission settings do not grant Local Activation permission for the COM Server application with CLSID
1779정성태10/15/201419706오류 유형: 248. Active Directory에서 OU가 지워지지 않는 경우
1778정성태10/10/201418156오류 유형: 247. The Netlogon service could not create server share C:\Windows\SYSVOL\sysvol\[도메인명]\SCRIPTS.
1777정성태10/10/201421261오류 유형: 246. The processing of Group Policy failed. Windows attempted to read the file \\[도메인]\sysvol\[도메인]\Policies\{...GUID...}\gpt.ini
1776정성태10/10/201418304오류 유형: 245. 이벤트 로그 - Name resolution for the name _ldap._tcp.dc._msdcs.[도메인명]. timed out after none of the configured DNS servers responded.
1775정성태10/9/201419429오류 유형: 244. Visual Studio 디버깅 (2) - Unable to break execution. This process is not currently executing the type of code that you selected to debug.
1774정성태10/9/201426624개발 환경 구성: 246. IIS 작업자 프로세스의 20분 자동 재생(Recycle)을 끄는 방법
1773정성태10/8/201429781.NET Framework: 471. 웹 브라우저로 다운로드가 되는 파일을 왜 C# 코드로 하면 안되는 걸까요? [1]
1772정성태10/3/201418569.NET Framework: 470. C# 3.0의 기본 인자(default parameter)가 .NET 1.1/2.0에서도 실행될까? [3]
1771정성태10/2/201428082개발 환경 구성: 245. 실행된 프로세스(EXE)의 명령행 인자를 확인하고 싶다면 - Sysmon [4]
1770정성태10/2/201421689개발 환경 구성: 244. 매크로 정의를 이용해 파일 하나로 C++과 C#에서 공유하는 방법 [1]파일 다운로드1
1769정성태10/1/201424109개발 환경 구성: 243. Scala 개발 환경 구성(JVM, 닷넷) [1]
1768정성태10/1/201419531개발 환경 구성: 242. 배치 파일에서 Thread.Sleep 효과를 주는 방법 [5]
1767정성태10/1/201424632VS.NET IDE: 94. Visual Studio 2012/2013에서의 매크로 구현 - Visual Commander [2]
1766정성태10/1/201422488개발 환경 구성: 241. 책 "프로그래밍 클로저: Lisp"을 읽고 나서. [1]
1765정성태9/30/201426054.NET Framework: 469. Unity3d에서 transform을 변수에 할당해 사용하는 특별한 이유가 있을까요?
1764정성태9/30/201422289오류 유형: 243. 파일 삭제가 안 되는 경우 - The action can't be comleted because the file is open in System
1763정성태9/30/201423858.NET Framework: 468. PDB 파일을 연동해 소스 코드 라인 정보를 알아내는 방법파일 다운로드1
1762정성태9/30/201424550.NET Framework: 467. 닷넷에서 EIP/RIP 레지스터 값을 구하는 방법 [1]파일 다운로드1
1761정성태9/29/201421577.NET Framework: 466. 윈도우 운영체제의 보안 그룹 이름 및 설명 문자열을 바꾸는 방법파일 다운로드1
1760정성태9/28/201419843.NET Framework: 465. ICorProfilerInfo::GetILToNativeMapping 메서드가 0x80131358을 반환하는 경우
1759정성태9/27/201430977개발 환경 구성: 240. Visual C++ / x64 환경에서 inline-assembly를 매크로 어셈블리로 대체하는 방법파일 다운로드1
1758정성태9/23/201437885개발 환경 구성: 239. 원격 데스크톱 접속(RDP)을 기존의 콘솔 모드처럼 사용하는 방법 [1]
1757정성태9/23/201418412오류 유형: 242. Lync로 모임 참여 시 소리만 들리지 않는 경우 - 두 번째 이야기
1756정성태9/23/201427414기타: 48. NVidia 제품의 과다한 디스크 사용 [2]
1755정성태9/22/201434202오류 유형: 241. Unity Web Player를 설치해도 여전히 설치하라는 화면이 나오는 경우 [4]
... 121  122  123  124  125  126  127  128  129  130  [131]  132  133  134  135  ...