Microsoft MVP성태의 닷넷 이야기
Linux: 110. eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법 [링크 복사], [링크+제목 복사],
조회: 5629
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)
(시리즈 글이 14개 있습니다.)
Linux: 86. Golang + bpf2go를 사용한 eBPF 기본 예제
; https://www.sysnet.pe.kr/2/0/13769

Linux: 94. eBPF - vmlinux.h 헤더 포함하는 방법 (bpf2go에서 사용)
; https://www.sysnet.pe.kr/2/0/13783

Linux: 95. eBPF - kprobe를 이용한 트레이스
; https://www.sysnet.pe.kr/2/0/13784

Linux: 96. eBPF (bpf2go) - fentry, fexit를 이용한 트레이스
; https://www.sysnet.pe.kr/2/0/13788

Linux: 100.  eBPF의 2가지 방식 - libbcc와 libbpf(CO-RE)
; https://www.sysnet.pe.kr/2/0/13801

Linux: 103. eBPF (bpf2go) - Tracepoint를 이용한 트레이스 (BPF_PROG_TYPE_TRACEPOINT)
; https://www.sysnet.pe.kr/2/0/13810

Linux: 105. eBPF - bpf2go에서 전역 변수 설정 방법
; https://www.sysnet.pe.kr/2/0/13815

Linux: 106. eBPF / bpf2go - (BPF_MAP_TYPE_HASH) Map을 이용한 전역 변수 구현
; https://www.sysnet.pe.kr/2/0/13817

Linux: 107. eBPF - libbpf CO-RE의 CONFIG_DEBUG_INFO_BTF 빌드 여부에 대한 의존성
; https://www.sysnet.pe.kr/2/0/13819

Linux: 109. eBPF / bpf2go - BPF_PERF_OUTPUT / BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법
; https://www.sysnet.pe.kr/2/0/13824

Linux: 110. eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법
; https://www.sysnet.pe.kr/2/0/13825

Linux: 115. eBPF (bpf2go) - ARRAY / HASH map 기본 사용법
; https://www.sysnet.pe.kr/2/0/13893

Linux: 116. eBPF / bpf2go - BTF Style Maps 정의 구문과 데이터 정렬 문제
; https://www.sysnet.pe.kr/2/0/13894

Linux: 117. eBPF / bpf2go - Map에 추가된 요소의 개수를 확인하는 방법
; https://www.sysnet.pe.kr/2/0/13895




eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법

지난 글에서 BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법을 알아봤는데요,

eBPF / bpf2go - BPF_PERF_OUTPUT / BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법
; https://www.sysnet.pe.kr/2/0/13824

이번에는 같은 stream map 방식의 BPF_MAP_TYPE_RINGBUF도 마저 살펴보겠습니다.

Map type BPF_MAP_TYPE_RINGBUF (커널 5.8부터 구현)
; https://docs.ebpf.io/linux/map-type/BPF_MAP_TYPE_RINGBUF/




우선 BPF_MAP_TYPE_RINGBUF 타입의 경우 개념적으로는 BPF_MAP_TYPE_PERF_EVENT_ARRAY의 개선된 버전이라고 보시면 됩니다. 아래는 일반적인 BPF_MAP_TYPE_RINGBUF 정의를 보여주는데요,

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 64 * 4096);
} task_creation_events SEC(".maps");

/* libbcc 방식이었다면 BPF_RINGBUF_OUTPUT 매크로를 이용해 정의합니다.

5. BPF_RINGBUF_OUTPUT
; https://github.com/iovisor/bcc/blob/master/docs/reference_guide.md#5-bpf_ringbuf_output
*/

BPF_MAP_TYPE_PERF_EVENT_ARRAY와는 달리 key_size, value_size가 무조건 0이어야 한다고 해서 그런지 정의에서 생략하게 됩니다. 또한 BPF_MAP_TYPE_PERF_EVENT_ARRAY는 맵의 크기를 사용하는 측에서 결정했는데, BPF_MAP_TYPE_RINGBUF는 eBPF 코드에서 결정한다는 차이점이 있습니다.

또한, 아래의 글에 보면 클라이언트 측에서 결정하는 방법도 제공한다고 하는데요,

// https://nakryiko.com/posts/bpf-ringbuf/#bpf-ringbuf-bpf-ringbuf-output

it's still possible to omit it in BPF-side definition and specify (or override if you do specify it on BPF side) on user-space side with bpf_map__set_max_entries() API.


(제가 방법을 모르는 걸 수도 있지만) 현재 bpf2go에서는 max_entries를 생략하는 경우 자동 생성 코드 단계는 통과하지만 eBPF 코드 로딩 시에 이런 오류가 발생합니다.

/*
struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
} task_creation_events SEC(".maps");
*/

map create: invalid argument (MaxEntries may be incorrectly set to zero)

여하튼 이렇게 정의하는 max_entries의 제약 사항이라면, Page 크기의 배수이면서 2의 n승이어야 한다는 제약이 있습니다. 위의 예제는 64개의 페이지 크기, 262,144 바이트니까 218을 만족합니다.




BPF_MAP_TYPE_RINGBUF에 대해 사용 가능한 함수는 문서에서 "Ring buffer helper"로 분류된 함수만 가능합니다.

  • bpf_ringbuf_output
  • bpf_ringbuf_reserve
  • bpf_ringbuf_submit
  • bpf_ringbuf_discard
  • bpf_ringbuf_query
  • bpf_ringbuf_reserve_dynptr
  • bpf_ringbuf_submit_dynptr
  • bpf_ringbuf_discard_dynptr

우선 쓰기 관련해서는 크게 2가지 방식으로 나뉘는데요,


bpf_ringbuf_output은 BPF_MAP_TYPE_PERF_EVENT_ARRAY 방식의 관행을 따라 제공하는 함수인 반면, reserve/submit은 BPF_MAP_TYPE_RINGBUF 전용 방식에 해당합니다.

따라서 bpf_ringbuf_output의 방식이 손쉬운 마이그레이션을 제공하긴 해도 비효율적인 동작을 하게 되는데, 일례로 클라이언트로 보낼 버퍼가 소진돼 더 이상 쓸 수 없는 상황에서도 여전히 bpf_ringbuf_output는 이벤트 기록을 위한 메모리도, 또한 그 메모리에 값을 채워야 하는 동작도 모두 완료돼 있어야 합니다.

그런 문제를 해결하는 방법이 바로 reserve/submit 방식인데요, 우선 현재의 이벤트를 기록할 수 있는 공간을 확보할 수 있는지를 알아보고 (reserve), 확보가 된 경우에만 이후 이벤트를 구성하는 코드를 수행해 submit하는 코드를 진행하도록 코딩할 수 있습니다. 일례로, 지난 글의 BPF_MAP_TYPE_PERF_EVENT_ARRAY 코드를 BPF_MAP_TYPE_RINGBUF로 바꾸면 대충 이렇게 구현할 수 있습니다.

// eBPF Tutorial by Example 8: Monitoring Process Exit Events, Output with Ring Buffer
// https://eunomia.dev/en/tutorials/8-exitsnoop/

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 64 * 4096);
} task_creation_events SEC(".maps");

#define TASK_COMM_LEN 32

struct task_creation_info {
    uint32_t pid;
    uint32_t ppid;
    uint32_t uid;
    char comm[TASK_COMM_LEN];
};

SEC("tracepoint/syscalls/sys_enter_execve")
int sys_enter_execve(struct trace_event_raw_sys_enter* ctx)
{
    struct task_creation_info *item = bpf_ringbuf_reserve(&task_creation_events, sizeof(*item), 0);
    if (item == NULL)
    {
        return 0;
    }

    struct task_struct *task = (struct task_struct*)bpf_get_current_task();

    u64 pid_tgid = bpf_get_current_pid_tgid();
    item->pid = pid_tgid >> 32;

    item->ppid = BPF_CORE_READ(task, real_parent, tgid);

    uid_t uid = (u32)bpf_get_current_uid_gid();
    item->uid = uid;

    char *cmd_ptr = (char *) BPF_CORE_READ(ctx, args[0]);
    bpf_probe_read_str(&item->comm, sizeof(item->comm), cmd_ptr);

    bpf_ringbuf_submit(item, 0);
    return 0;
}

BPF_MAP_TYPE_PERF_EVENT_ARRAY 예제의 경우와는 달리, ringbuf에 공간이 없다면 그 이후의 데이터 처리 과정은 조기에 "return 0"으로 벗어날 수 있는 장점은 제공하고 있습니다.




eBPF 측의 마이그레이션을 저렇게 끝냈다면, 이제 클라이언트 측을 손봐야 하는데요, 다행히 (bpf2go 덕분에) go 측의 코드도 거의 바뀌는 점은 없습니다. 단지 NewReader를 호출하는 패키지만 perf가 아닌 ringbuf로 바뀌는 정도의 간단한 변경만 하면 됩니다.

func ReadExeCve(bpfObj ebpf_basicObjects) {
    rd, err := ringbuf.NewReader(bpfObj.TaskCreationEvents)

    // ...[생략: BPF_MAP_TYPE_PERF_EVENT_ARRAY 방식과 동일]...

    for {
        // ...[생략: BPF_MAP_TYPE_PERF_EVENT_ARRAY 방식과 동일]...
    }
}

실행해 보면, 이전의 BPF_MAP_TYPE_PERF_EVENT_ARRAY를 사용했던 코드와 정확히 동일한 출력 결과를 얻을 수 있습니다.




보다 자세한 BPF_MAP_TYPE_PERF_EVENT_ARRAY, BPF_MAP_TYPE_RINGBUF의 차이점은 아래의 글에서 잘 설명하고 있으니 참고하시고,

BPF ring buffer
; https://nakryiko.com/posts/bpf-ringbuf/#bpf-ringbuf-bpf-ringbuf-output

단지, CPU마다 개별 할당되는 BPF_MAP_TYPE_PERF_EVENT_ARRAY는 몇 가지 단점이 존재하는데요,


이런 문제를 해결한 것이 BPF_MAP_TYPE_RINGBUF이므로 커널 버전이 5.8이라는 제약만 없다면 BPF_MAP_TYPE_RINGBUF를 사용하는 것이 더 성능에 좋습니다.. 따라서 가능한 마이그레이션을 권장하는데요, 문제는 커널 버전이 범용적으로 쓰기에는 아직 제약이 있습니다. 가령 2022년 4월에 나온 Ubuntu 22.04의 5.15 커널 버전이고, 그보다 앞선 2020년 4월에 나온 Ubuntu 20.04가 5.4 버전을 사용하고 있으니 대략 어느 정도의 배포판에서 사용 가능한지 가늠할 수 있을 것입니다.




아래의 글을 보면,

An Applied Introduction to eBPF with Go
; https://edgedelta.com/company/blog/applied-introduction-ebpf-go

BPF_MAP_TYPE_RINGBUF의 max_entries를 (page 크기의 배수가 아닌) 1000으로 설정한 예제가 있습니다.

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 1000);
} events SEC(".maps");

아마도 저렇게 설정해도 되는 시절이 있었는지는 모르겠지만, 현재는 bpf2go의 경우 로딩 시에 이런 오류가 발생합니다.

field SysEnterExecve: program sys_enter_execve: map task_creation_events: map create: invalid argument (ring map size 1024 not a multiple of page size 4096)

아울러 아래의 예제는,

eBPF Tutorial by Example 8: Monitoring Process Exit Events, Print Output with Ring Buffer
; https://medium.com/@yunwei356/ebpf-tutorial-by-example-8-monitoring-process-exit-events-print-output-with-ring-buffer-73291d5e3a50

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 256 * 1024);
} rb SEC(".maps");

다행히 256을 곱했기 때문에 운이 좋았군요. ^^ 만약 3, 5, ... 등의 수를 곱했다면 오류가 발생했을 겁니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 11/21/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  [4]  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13843정성태12/13/20244365오류 유형: 938. Docker container 내에서 빌드 시 error MSB3021: Unable to copy file "..." to "...". Access to the path '...' is denied.
13842정성태12/12/20244506디버깅 기술: 205. Windbg - KPCR, KPRCB
13841정성태12/11/20244836오류 유형: 937. error MSB4044: The "ValidateValidArchitecture" task was not given a value for the required parameter "RemoteTarget"
13840정성태12/11/20244412오류 유형: 936. msbuild - Your project file doesn't list 'win' as a "RuntimeIdentifier"
13839정성태12/11/20244838오류 유형: 936. msbuild - error CS1617: Invalid option '12.0' for /langversion. Use '/langversion:?' to list supported values.
13838정성태12/4/20244580오류 유형: 935. Windbg - Breakpoint 0's offset expression evaluation failed.
13837정성태12/3/20245031디버깅 기술: 204. Windbg - 윈도우 핸들 테이블 (3) - Windows 10 이상인 경우
13836정성태12/3/20244594디버깅 기술: 203. Windbg - x64 가상 주소를 물리 주소로 변환 (페이지 크기가 2MB인 경우)
13835정성태12/2/20245039오류 유형: 934. Azure - rm: cannot remove '...': Directory not empty
13834정성태11/29/20245265Windows: 275. C# - CUI 애플리케이션과 Console 윈도우 (Windows 10 미만의 Classic Console 모드인 경우) [1]파일 다운로드1
13833정성태11/29/20244949개발 환경 구성: 737. Azure Web App에서 Scale-out으로 늘어난 리눅스 인스턴스에 SSH 접속하는 방법
13832정성태11/27/20244894Windows: 274. Windows 7부터 도입한 conhost.exe
13831정성태11/27/20244366Linux: 111. eBPF - BPF_MAP_TYPE_PERF_EVENT_ARRAY, BPF_MAP_TYPE_RINGBUF에 대한 다양한 용어들
13830정성태11/25/20245159개발 환경 구성: 736. 파이썬 웹 앱을 Azure App Service에 배포하기
13829정성태11/25/20245114스크립트: 67. 파이썬 - Windows 버전에서 함께 설치되는 py.exe
13828정성태11/25/20244423개발 환경 구성: 735. Azure - 압축 파일을 이용한 web app 배포 시 디렉터리 구분이 안 되는 문제파일 다운로드1
13827정성태11/25/20245074Windows: 273. Windows 환경의 파일 압축 방법 (tar, Compress-Archive)
13826정성태11/21/20245301닷넷: 2313. C# - (비밀번호 등의) Console로부터 입력받을 때 문자열 출력 숨기기(echo 끄기)파일 다운로드1
13825정성태11/21/20245629Linux: 110. eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법
13824정성태11/20/20244727Linux: 109. eBPF / bpf2go - BPF_PERF_OUTPUT / BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법
13823정성태11/20/20245266개발 환경 구성: 734. Ubuntu에 docker, kubernetes (k3s) 설치
13822정성태11/20/20245130개발 환경 구성: 733. Windbg - VirtualBox VM의 커널 디버거 연결 시 COM 포트가 없는 경우
13821정성태11/18/20245063Linux: 108. Linux와 Windows의 프로세스/스레드 ID 관리 방식
13820정성태11/18/20245216VS.NET IDE: 195. Visual C++ - C# 프로젝트처럼 CopyToOutputDirectory 항목을 추가하는 방법
13819정성태11/15/20244460Linux: 107. eBPF - libbpf CO-RE의 CONFIG_DEBUG_INFO_BTF 빌드 여부에 대한 의존성
13818정성태11/15/20245232Windows: 272. Windows 11 24H2 - sudo 추가
1  2  3  [4]  5  6  7  8  9  10  11  12  13  14  15  ...