eBPF / bpf2go - Map에 추가된 요소의 개수를 확인하는 방법
BPF_MAP_TYPE_PERF_EVENT_ARRAY, BPF_MAP_TYPE_RINGBUF 등의 stream map이 아닌 BPF_MAP_TYPE_HASH같은 경우에는 추가된 요소의 개수를 확인하고 싶을 때가 있습니다. 그런데 아무리 문서를 찾아봐도,
Map helpers
; https://docs.ebpf.io/linux/helper-function/#map-helpers
이에 대한 함수가 딱히 없습니다. 혹시나 검색해 보면, 그나마 max_entries 정도의 값만 구할 수 있다는 의견이 나오는데요,
How ti get the size of eBPF map?
; https://stackoverflow.com/questions/72772724/how-ti-get-the-size-of-ebpf-map
BPF map find the number of elements
; https://stackoverflow.com/questions/68459312/bpf-map-find-the-number-of-elements
그렇다면, 직접 해당 맵에 값을 추가 또는 삭제할 때마다 관련 카운트를 함께 증가/감소시켜야만 합니다.
bpf_map_update_elem(&my_map, &key, &value, BPF_ANY);
__sync_fetch_and_add(&count, 1);
bpf_map_delete_elem(&my_map, &key);
__sync_fetch_and_add(&count, -1);
그리곤 저 count 값을 읽어내는 함수를 추가하든가, 아니면
저 정보를 담는 맵을 하나 만들어 연동하든가 해야 합니다.
하지만 위의 코드에는 유의해야 할 점이 하나 있는데요, bpf_map_update_elem에 BPF_ANY 옵션을 주는 경우 값을 신규로 insert한 것인지, 기존에 있던 것을 update한 것인지 반환 값만으로는 알 수 없는 문제가 있습니다. 따라서, 카운팅을 원한다면 상황에 따라 BPF_NOEXIST, BPF_EXIST로 나눠서 호출해야 합니다.
if (bpf_map_update_elem(&my_map, &key, &value, BPF_NOEXIST) == 0) {
__sync_fetch_and_add(&count, 1); // 신규 insert가 된 경우 (하지만, 만약 이 짧은 순간에 다른 스레드가 bpf_map_update_elem을 했다면?)
} else {
// BPF_ANY로 동작할 것을 의도했으므로 update 동작을 수행 (하지만, 만약 이 짧은 순간에 다른 스레드가 bpf_map_delete_elem를 했다면?)
bpf_map_update_elem(&my_map, &key, &value, BPF_EXIST)
}
음... 마음에 안 드는군요. ^^;
제한적으로 사용한다면 약간 우회 방법이 하나 있긴 합니다. 바로 bpf_for_each_map_elem() 함수를 이용하는 것인데요,
ebpf-docs/docs/linux/helper-function/bpf_for_each_map_elem.md
; https://github.com/isovalent/ebpf-docs/blob/master/docs/linux/helper-function/bpf_for_each_map_elem.md
예를 들어, 특정 맵의 항목 수를 알고 싶을 때 다음과 같은 식으로 정의할 수 있습니다.
static long counting_map_callback_fn(struct bpf_map* map, const void* key, void* value, void* ctx) {
__u64* pcount = (__u64*)ctx;
__sync_fetch_and_add(pcount, 1);
return 0; // return 0 to continue iteration, or 1 to stop
}
SEC("socket") int refresh_count() {
__u64 count = 0;
long (*callback_func)(struct bpf_map *, const void *, void *, void *) = &counting_map_callback_fn;
bpf_for_each_map_elem(&my_map, callback_func, &count, 0);
return count;
}
보는 바와 같이 호출 이후에는 count에 요소의 수가 담겨 있을 것입니다.
eBPF와는 달리 동일한 맵을 Go 측에서 카운팅할 때는 iterator를 이용해 좀 더 직관적으로 코딩할 수 있습니다.
iter := bpfObj.MyMap.Iterate()
var (
key [... map의 key 타입 ...]
value [... map의 value 타입 ...]
)
count := int64(0)
for iter.Next(&key, &value) {
count++
}
그런데 Iterate 함수와 iter.Next 함수 호출에 대해 혹시나 싶어 다음과 같이 공통 함수를 만들어 둬도 좋지 않을까... 했는데,
func getMapElementCount(m *ebpf.Map) int64 {
iter := m.Iterate()
var (
key interface{}
value interface{}
)
count := int64(0)
for iter.Next(&key, &value) {
count++
}
err := iter.Err()
if err != nil {
log.Printf("%v\n", err) // 에러 발생: look up next key: binary.Read: invalid type *interface {}
return -1
}
return count
}
아쉽게도 iter.Next가 정확한 key/value 타입의 크기를 알아야 내부에서 역직렬화를 할 수 있기 때문에 저런 경우 "look up next key: binary.Read: invalid type *interface {}" 오류가 발생합니다.
이 외에, eBPF 측에서 bpf_for_each_map_elem을 호출하는 함수를
Go 언어 측에 제공해 호출하는 방법도 있습니다.
inData := make([]byte, 14)
ret, _, err := bpfObj.RefreshCount.Test(inData)
즉, 원할 때마다 RefreshCount.Test를 호출하면 특정 맵의 요소 개수를 알 수 있으므로 디버깅에 도움이 될 것입니다.
참고로 stream map이긴 하지만 비교적 최근에 나온 BPF_MAP_TYPE_RINGBUF는 맵의 정보를 조회하는 함수를 제공하고 있는데요,
bpf_ringbuf_query
; https://docs.ebpf.io/linux/helper-function/bpf_ringbuf_query/
- BPF_RB_AVAIL_DATA: Amount of data not yet consumed.
- BPF_RB_RING_SIZE: The size of ring buffer.
- BPF_RB_CONS_POS: Consumer position (can wrap around).
- BPF_RB_PROD_POS: Producer(s) position (can wrap around).
long avail_data = 0;
long ring_size = 0;
long cons_pos = 0;
long prod_pos = 0;
avail_data = bpf_ringbuf_query(&my_ringbuf, BPF_RB_AVAIL_DATA);
ring_size = bpf_ringbuf_query(&my_ringbuf, BPF_RB_RING_SIZE);
cons_pos = bpf_ringbuf_query(&my_ringbuf, BPF_RB_CONS_POS);
prod_pos = bpf_ringbuf_query(&my_ringbuf, BPF_RB_PROD_POS);
아마도 향후에는 다른 맵에 대해서도 이런 함수가 추가되지 않을까 싶기도 합니다. ^^
문서에도 나오지만, bpf_for_each_map_elem에 전달하는 4번째 context 변수는 반드시 stack에 있는 주소를 전달해야 합니다. 만약 전역 변수나, 다른 맵의 요소를 사용하면,
__u64 g_count;
SEC("socket") int refresh_count() {
// ...[생략]...
bpf_for_each_map_elem(&fd_while_enter_exit_map, callback_func, &g_count, 0);
return g_count;
}
eBPF 코드 로딩 과정에서 이런 오류가 발생합니다.
load program: permission denied: 23: (85) call bpf_for_each_map_elem#164: R3 type=map_value expected=fp (25 line(s) omitted)
그리고 만약 이런 오류가 발생한다면?
program refresh_count: load program: invalid argument: At callback return the register R0 has unknown scalar value should have been in [0, 1] (22 line(s) omitted)
bpf_for_each_map_elem의 callback으로 전달한 함수가 0과 1 이외의 값을 반환하도록 만들어진 경우입니다. 즉, 아래와 같은 식으로 반환하면 오류가 발생합니다.
static long counting_map_callback_fn(struct bpf_map* map, const void* key, void* value, void* ctx) {
__u64* pcount = (__u64*)ctx;
__sync_fetch_and_add(pcount, 1);
return *pcount; // return 0 to continue iteration, or 1 to stop
}
암튼, 사용하기 전에 꼼꼼히 문서를 한번 읽어보실 것을 권장합니다. ^^
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]