Microsoft MVP성태의 닷넷 이야기
Linux: 110. eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법 [링크 복사], [링크+제목 복사],
조회: 5626
글쓴 사람
정성태 (seongtaejeong at gmail.com)
홈페이지
첨부 파일
 
(연관된 글이 1개 있습니다.)
(시리즈 글이 14개 있습니다.)
Linux: 86. Golang + bpf2go를 사용한 eBPF 기본 예제
; https://www.sysnet.pe.kr/2/0/13769

Linux: 94. eBPF - vmlinux.h 헤더 포함하는 방법 (bpf2go에서 사용)
; https://www.sysnet.pe.kr/2/0/13783

Linux: 95. eBPF - kprobe를 이용한 트레이스
; https://www.sysnet.pe.kr/2/0/13784

Linux: 96. eBPF (bpf2go) - fentry, fexit를 이용한 트레이스
; https://www.sysnet.pe.kr/2/0/13788

Linux: 100.  eBPF의 2가지 방식 - libbcc와 libbpf(CO-RE)
; https://www.sysnet.pe.kr/2/0/13801

Linux: 103. eBPF (bpf2go) - Tracepoint를 이용한 트레이스 (BPF_PROG_TYPE_TRACEPOINT)
; https://www.sysnet.pe.kr/2/0/13810

Linux: 105. eBPF - bpf2go에서 전역 변수 설정 방법
; https://www.sysnet.pe.kr/2/0/13815

Linux: 106. eBPF / bpf2go - (BPF_MAP_TYPE_HASH) Map을 이용한 전역 변수 구현
; https://www.sysnet.pe.kr/2/0/13817

Linux: 107. eBPF - libbpf CO-RE의 CONFIG_DEBUG_INFO_BTF 빌드 여부에 대한 의존성
; https://www.sysnet.pe.kr/2/0/13819

Linux: 109. eBPF / bpf2go - BPF_PERF_OUTPUT / BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법
; https://www.sysnet.pe.kr/2/0/13824

Linux: 110. eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법
; https://www.sysnet.pe.kr/2/0/13825

Linux: 115. eBPF (bpf2go) - ARRAY / HASH map 기본 사용법
; https://www.sysnet.pe.kr/2/0/13893

Linux: 116. eBPF / bpf2go - BTF Style Maps 정의 구문과 데이터 정렬 문제
; https://www.sysnet.pe.kr/2/0/13894

Linux: 117. eBPF / bpf2go - Map에 추가된 요소의 개수를 확인하는 방법
; https://www.sysnet.pe.kr/2/0/13895




eBPF / bpf2go - BPF_RINGBUF_OUTPUT / BPF_MAP_TYPE_RINGBUF 사용법

지난 글에서 BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법을 알아봤는데요,

eBPF / bpf2go - BPF_PERF_OUTPUT / BPF_MAP_TYPE_PERF_EVENT_ARRAY 사용법
; https://www.sysnet.pe.kr/2/0/13824

이번에는 같은 stream map 방식의 BPF_MAP_TYPE_RINGBUF도 마저 살펴보겠습니다.

Map type BPF_MAP_TYPE_RINGBUF (커널 5.8부터 구현)
; https://docs.ebpf.io/linux/map-type/BPF_MAP_TYPE_RINGBUF/




우선 BPF_MAP_TYPE_RINGBUF 타입의 경우 개념적으로는 BPF_MAP_TYPE_PERF_EVENT_ARRAY의 개선된 버전이라고 보시면 됩니다. 아래는 일반적인 BPF_MAP_TYPE_RINGBUF 정의를 보여주는데요,

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 64 * 4096);
} task_creation_events SEC(".maps");

/* libbcc 방식이었다면 BPF_RINGBUF_OUTPUT 매크로를 이용해 정의합니다.

5. BPF_RINGBUF_OUTPUT
; https://github.com/iovisor/bcc/blob/master/docs/reference_guide.md#5-bpf_ringbuf_output
*/

BPF_MAP_TYPE_PERF_EVENT_ARRAY와는 달리 key_size, value_size가 무조건 0이어야 한다고 해서 그런지 정의에서 생략하게 됩니다. 또한 BPF_MAP_TYPE_PERF_EVENT_ARRAY는 맵의 크기를 사용하는 측에서 결정했는데, BPF_MAP_TYPE_RINGBUF는 eBPF 코드에서 결정한다는 차이점이 있습니다.

또한, 아래의 글에 보면 클라이언트 측에서 결정하는 방법도 제공한다고 하는데요,

// https://nakryiko.com/posts/bpf-ringbuf/#bpf-ringbuf-bpf-ringbuf-output

it's still possible to omit it in BPF-side definition and specify (or override if you do specify it on BPF side) on user-space side with bpf_map__set_max_entries() API.


(제가 방법을 모르는 걸 수도 있지만) 현재 bpf2go에서는 max_entries를 생략하는 경우 자동 생성 코드 단계는 통과하지만 eBPF 코드 로딩 시에 이런 오류가 발생합니다.

/*
struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
} task_creation_events SEC(".maps");
*/

map create: invalid argument (MaxEntries may be incorrectly set to zero)

여하튼 이렇게 정의하는 max_entries의 제약 사항이라면, Page 크기의 배수이면서 2의 n승이어야 한다는 제약이 있습니다. 위의 예제는 64개의 페이지 크기, 262,144 바이트니까 218을 만족합니다.




BPF_MAP_TYPE_RINGBUF에 대해 사용 가능한 함수는 문서에서 "Ring buffer helper"로 분류된 함수만 가능합니다.

  • bpf_ringbuf_output
  • bpf_ringbuf_reserve
  • bpf_ringbuf_submit
  • bpf_ringbuf_discard
  • bpf_ringbuf_query
  • bpf_ringbuf_reserve_dynptr
  • bpf_ringbuf_submit_dynptr
  • bpf_ringbuf_discard_dynptr

우선 쓰기 관련해서는 크게 2가지 방식으로 나뉘는데요,


bpf_ringbuf_output은 BPF_MAP_TYPE_PERF_EVENT_ARRAY 방식의 관행을 따라 제공하는 함수인 반면, reserve/submit은 BPF_MAP_TYPE_RINGBUF 전용 방식에 해당합니다.

따라서 bpf_ringbuf_output의 방식이 손쉬운 마이그레이션을 제공하긴 해도 비효율적인 동작을 하게 되는데, 일례로 클라이언트로 보낼 버퍼가 소진돼 더 이상 쓸 수 없는 상황에서도 여전히 bpf_ringbuf_output는 이벤트 기록을 위한 메모리도, 또한 그 메모리에 값을 채워야 하는 동작도 모두 완료돼 있어야 합니다.

그런 문제를 해결하는 방법이 바로 reserve/submit 방식인데요, 우선 현재의 이벤트를 기록할 수 있는 공간을 확보할 수 있는지를 알아보고 (reserve), 확보가 된 경우에만 이후 이벤트를 구성하는 코드를 수행해 submit하는 코드를 진행하도록 코딩할 수 있습니다. 일례로, 지난 글의 BPF_MAP_TYPE_PERF_EVENT_ARRAY 코드를 BPF_MAP_TYPE_RINGBUF로 바꾸면 대충 이렇게 구현할 수 있습니다.

// eBPF Tutorial by Example 8: Monitoring Process Exit Events, Output with Ring Buffer
// https://eunomia.dev/en/tutorials/8-exitsnoop/

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 64 * 4096);
} task_creation_events SEC(".maps");

#define TASK_COMM_LEN 32

struct task_creation_info {
    uint32_t pid;
    uint32_t ppid;
    uint32_t uid;
    char comm[TASK_COMM_LEN];
};

SEC("tracepoint/syscalls/sys_enter_execve")
int sys_enter_execve(struct trace_event_raw_sys_enter* ctx)
{
    struct task_creation_info *item = bpf_ringbuf_reserve(&task_creation_events, sizeof(*item), 0);
    if (item == NULL)
    {
        return 0;
    }

    struct task_struct *task = (struct task_struct*)bpf_get_current_task();

    u64 pid_tgid = bpf_get_current_pid_tgid();
    item->pid = pid_tgid >> 32;

    item->ppid = BPF_CORE_READ(task, real_parent, tgid);

    uid_t uid = (u32)bpf_get_current_uid_gid();
    item->uid = uid;

    char *cmd_ptr = (char *) BPF_CORE_READ(ctx, args[0]);
    bpf_probe_read_str(&item->comm, sizeof(item->comm), cmd_ptr);

    bpf_ringbuf_submit(item, 0);
    return 0;
}

BPF_MAP_TYPE_PERF_EVENT_ARRAY 예제의 경우와는 달리, ringbuf에 공간이 없다면 그 이후의 데이터 처리 과정은 조기에 "return 0"으로 벗어날 수 있는 장점은 제공하고 있습니다.




eBPF 측의 마이그레이션을 저렇게 끝냈다면, 이제 클라이언트 측을 손봐야 하는데요, 다행히 (bpf2go 덕분에) go 측의 코드도 거의 바뀌는 점은 없습니다. 단지 NewReader를 호출하는 패키지만 perf가 아닌 ringbuf로 바뀌는 정도의 간단한 변경만 하면 됩니다.

func ReadExeCve(bpfObj ebpf_basicObjects) {
    rd, err := ringbuf.NewReader(bpfObj.TaskCreationEvents)

    // ...[생략: BPF_MAP_TYPE_PERF_EVENT_ARRAY 방식과 동일]...

    for {
        // ...[생략: BPF_MAP_TYPE_PERF_EVENT_ARRAY 방식과 동일]...
    }
}

실행해 보면, 이전의 BPF_MAP_TYPE_PERF_EVENT_ARRAY를 사용했던 코드와 정확히 동일한 출력 결과를 얻을 수 있습니다.




보다 자세한 BPF_MAP_TYPE_PERF_EVENT_ARRAY, BPF_MAP_TYPE_RINGBUF의 차이점은 아래의 글에서 잘 설명하고 있으니 참고하시고,

BPF ring buffer
; https://nakryiko.com/posts/bpf-ringbuf/#bpf-ringbuf-bpf-ringbuf-output

단지, CPU마다 개별 할당되는 BPF_MAP_TYPE_PERF_EVENT_ARRAY는 몇 가지 단점이 존재하는데요,


이런 문제를 해결한 것이 BPF_MAP_TYPE_RINGBUF이므로 커널 버전이 5.8이라는 제약만 없다면 BPF_MAP_TYPE_RINGBUF를 사용하는 것이 더 성능에 좋습니다.. 따라서 가능한 마이그레이션을 권장하는데요, 문제는 커널 버전이 범용적으로 쓰기에는 아직 제약이 있습니다. 가령 2022년 4월에 나온 Ubuntu 22.04의 5.15 커널 버전이고, 그보다 앞선 2020년 4월에 나온 Ubuntu 20.04가 5.4 버전을 사용하고 있으니 대략 어느 정도의 배포판에서 사용 가능한지 가늠할 수 있을 것입니다.




아래의 글을 보면,

An Applied Introduction to eBPF with Go
; https://edgedelta.com/company/blog/applied-introduction-ebpf-go

BPF_MAP_TYPE_RINGBUF의 max_entries를 (page 크기의 배수가 아닌) 1000으로 설정한 예제가 있습니다.

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 1000);
} events SEC(".maps");

아마도 저렇게 설정해도 되는 시절이 있었는지는 모르겠지만, 현재는 bpf2go의 경우 로딩 시에 이런 오류가 발생합니다.

field SysEnterExecve: program sys_enter_execve: map task_creation_events: map create: invalid argument (ring map size 1024 not a multiple of page size 4096)

아울러 아래의 예제는,

eBPF Tutorial by Example 8: Monitoring Process Exit Events, Print Output with Ring Buffer
; https://medium.com/@yunwei356/ebpf-tutorial-by-example-8-monitoring-process-exit-events-print-output-with-ring-buffer-73291d5e3a50

struct {
    __uint(type, BPF_MAP_TYPE_RINGBUF);
    __uint(max_entries, 256 * 1024);
} rb SEC(".maps");

다행히 256을 곱했기 때문에 운이 좋았군요. ^^ 만약 3, 5, ... 등의 수를 곱했다면 오류가 발생했을 겁니다.




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]

[연관 글]






[최초 등록일: ]
[최종 수정일: 11/21/2024]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
13917정성태4/30/202528VS.NET IDE: 199. Directory.Build.props에 정의한 속성에 대해 Condition 제약으로 값을 변경하는 방법
13916정성태4/23/2025430디버깅 기술: 221. WinDbg 분석 사례 - ASP.NET HttpCookieCollection을 다중 스레드에서 사용할 경우 무한 루프 현상 - 두 번째 이야기
13915정성태4/13/20251637닷넷: 2331. C# - 실행 시에 메서드 가로채기 (.NET 9)파일 다운로드1
13914정성태4/11/20251964디버깅 기술: 220. windbg 분석 사례 - x86 ASP.NET 웹 응용 프로그램의 CPU 100% 현상 (4)
13913정성태4/10/20251187오류 유형: 950. Process Explorer - 64비트 윈도우에서 32비트 프로세스의 덤프를 뜰 때 "Error writing dump file: Access is denied." 오류
13912정성태4/9/2025848닷넷: 2330. C# - 실행 시에 메서드 가로채기 (.NET 5 ~ .NET 8)파일 다운로드1
13911정성태4/8/20251075오류 유형: 949. WinDbg - .NET Core/5+ 응용 프로그램 디버깅 시 sos 확장을 자동으로 로드하지 못하는 문제
13910정성태4/8/20251240디버깅 기술: 219. WinDbg - 명령어 내에서 환경 변수 사용법
13909정성태4/7/20251710닷넷: 2329. C# - 실행 시에 메서드 가로채기 (.NET Framework 4.8)파일 다운로드1
13908정성태4/2/20252121닷넷: 2328. C# - MailKit: SMTP, POP3, IMAP 지원 라이브러리
13907정성태3/29/20251906VS.NET IDE: 198. (OneDrive, Dropbox 등의 공유 디렉터리에 있는) C# 프로젝트의 출력 경로 변경하기
13906정성태3/27/20252160닷넷: 2327. C# - 초기화되지 않은 메모리에 접근하는 버그?파일 다운로드1
13905정성태3/26/20252191Windows: 281. C++ - Windows / Critical Section의 안정화를 위해 도입된 "Keyed Event"파일 다운로드1
13904정성태3/25/20251880디버깅 기술: 218. Windbg로 살펴보는 Win32 Critical Section파일 다운로드1
13903정성태3/24/20251508VS.NET IDE: 197. (OneDrive, Dropbox 등의 공유 디렉터리에 있는) C++ 프로젝트의 출력 경로 변경하기
13902정성태3/24/20251720개발 환경 구성: 742. Oracle - 테스트용 hr 계정 및 데이터 생성파일 다운로드1
13901정성태3/9/20252097Windows: 280. Hyper-V의 3가지 Thread Scheduler (Classic, Core, Root)
13900정성태3/8/20252331스크립트: 72. 파이썬 - SQLAlchemy + oracledb 연동
13899정성태3/7/20251790스크립트: 71. 파이썬 - asyncio의 ContextVar 전달
13898정성태3/5/20252109오류 유형: 948. Visual Studio - Proxy Authentication Required: dotnetfeed.blob.core.windows.net
13897정성태3/5/20252351닷넷: 2326. C# - PowerShell과 연동하는 방법 (두 번째 이야기)파일 다운로드1
13896정성태3/5/20252169Windows: 279. Hyper-V Manager - VM 목록의 CPU Usage 항목이 항상 0%로 나오는 문제
13895정성태3/4/20252205Linux: 117. eBPF / bpf2go - Map에 추가된 요소의 개수를 확인하는 방법
13894정성태2/28/20252233Linux: 116. eBPF / bpf2go - BTF Style Maps 정의 구문과 데이터 정렬 문제
13893정성태2/27/20252182Linux: 115. eBPF (bpf2go) - ARRAY / HASH map 기본 사용법
[1]  2  3  4  5  6  7  8  9  10  11  12  13  14  15  ...