Java의 Memory Mapped File 자원 반환이 안되는 문제
Java에서는 다음의 글에 소개된 데로,
Memory Mapped File
; http://www.javacodex.com/Files/Memory-Mapped-File
이렇게 MMF를 사용한다고 합니다.
import java.io.*;
import java.nio.*;
import java.nio.channels.*;
public class MemoryMappedFile {
public static void main(String[] args) {
try {
File file = new File("/tmp/myfile.txt");
FileChannel fc = new RandomAccessFile(file, "rw").getChannel();
ByteBuffer bb = fc.map(FileChannel.MapMode.READ_ONLY, 0, (int) fc.size());
// print contents of ByteBuffer //
while (bb.hasRemaining()) {
System.out.print((char) bb.get());
}
} catch (IOException e) {
System.out.println("Error: " + e.toString());
}
}
}
그런데, 사내 자바 개발자가 메모리 맵 파일이 GC가 발생하기 전까지는 어떻게 해도 해제할 수 없다는 문제를 경험했습니다. 이를, 간단하게 다음의 코드로 재현해 볼 수 있습니다.
package com.company;
import java.io.*;
import java.nio.*;
import java.nio.channels.*;
public class Main {
public static void main(String[] args) {
try {
while (true) {
UseMemoryMap();
if (System.in.available() != 0) {
break;
}
Thread.sleep(1000);
}
} catch (IOException e) {
} catch (InterruptedException e) {
}
}
public static void UseMemoryMap() {
try {
File file = new File("c:/temp/Installer.exe"); // 1MB짜리 파일
FileChannel fc = new RandomAccessFile(file, "rw").getChannel();
MappedByteBuffer bb = fc.map(FileChannel.MapMode.READ_ONLY, 0, (int) fc.size());
bb.clear();
fc.close(); // clear / close를 해도 메모리는 지속적으로 증가!
} catch (IOException e) {
System.out.println("Error: " + e.toString());
}
}
}
위의 자바 코드는 1MB 파일에 대한 MMF 설정을 1초마다 반복하는 바람에 "Private Bytes"가 끊임없이 증가하는 문제가 있습니다. 실제로 위의 프로그램이 실행되는 동안 "Process Explorer"로 File Handle의 상황을 모니터링해 보면 다음과 같이 해제되지 않고 끊임없이 증가하는 것을 볼 수 있습니다.
이 문제를 해결하려면 명시적으로 System.gc()를 호출해야 하는데, 가령 다음과 같이 위의 코드를 수정해 주면,
try {
while (true) {
UseMemoryMap();
if (System.in.available() != 0) {
break;
}
Thread.sleep(1000);
System.gc();
}
} catch (IOException e) {
} catch (InterruptedException e) {
}
메모리 증가 문제가 없어집니다.
이 문제가 발생하는 원인은 2가지가 복합적으로 작용해 발생합니다. 하나는, Java 측에서 MMF 자원을 명시적으로 해제하는 방법을 제공하지 않는다는 점입니다. 또 하나는, Java의 GC 입장에서 GC Heap이 아닌 Native 메모리에 대한 증가는 System.gc 호출을 발생시키지 않는다는 점입니다.
이로 인해, 특정 자바 프로그램이 지속적으로 MMF를 열고/닫는 작업을 하지만 딱히 GC Heap에 대한 변동이 없는 상황이라면 저런 식으로 메모리가 무한정 소비되는 문제가 발생하는 것입니다.
다음은 사내 개발자가 제시한 부가적인 해결 방법입니다.
How to unmap a file from memory mapped using FileChannel in java?
; http://stackoverflow.com/questions/2972986/how-to-unmap-a-file-from-memory-mapped-using-filechannel-in-java
덧글에 보면, SUN JDK에서의 우회 방법이 나옵니다. 또한, 주기적으로 System.gc를 하라는 것도 나오는데 이는 "-XX:+DisableExplicitGC" 옵션이 있는 경우 동작하지 않는다고 합니다. 따라서, (호스트 환경을 장담할 수 없는) 라이브러리 개발자가 써먹기에는 부담스럽습니다.
그렇다면 혹시 닷넷은 어떨까요? 다행히, 닷넷은 MemoryMappedFile.Dispose 메서드가 제공되는데 이를 호출하면 Native 리소스가 잘 해제됩니다.
아래는 참고 글입니다.
Memory-mapped File은 Private Bytes 크기에 포함될까요?
; https://www.sysnet.pe.kr/2/0/11159
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]