eBPF (bpf2go) - BPF_PROG_TYPE_SOCKET_FILTER 예제 - SEC("socket")
이번엔 소켓을 모니터링하는 eBPF 프로그램의 하나인 Socket Filter 유형(BPF_PROG_TYPE_SOCKET_FILTER)에 대해 알아보겠습니다.
Program type BPF_PROG_TYPE_SOCKET_FILTER
; https://docs.ebpf.io/linux/program-type/BPF_PROG_TYPE_SOCKET_FILTER/
아래의 글에서 이와 관련한 예제를 볼 수 있는데,
L7 Tracing with eBPF: HTTP and Beyond via Socket Filters and Syscall Tracepoints
; https://eunomia.dev/en/tutorials/23-http/
SEC("socket") 매크로를 사용하여 소켓 필터 프로그램을 정의하고 있습니다.
SEC("socket")
int socket_handler(struct __sk_buff *skb)
{
// ...[생략]...Your eBPF program logic here
return skb->len; // 반드시 패킷의 길이를 반환해야 통신이 허용됩니다.
}
함수의 인자로 전달되는
__sk_buff 구조체는 sk_buff 구조체의 eBPF 표현인데요,
// (제 테스트 시스템 기준으로) sizeof(__sk_buff) == 184
// cat vmlinux.h | grep -A 38 "struct __sk_buff {"
struct __sk_buff {
__u32 len;
__u32 pkt_type;
__u32 mark;
__u32 queue_mapping;
__u32 protocol; // This field indicates the Layer 3 protocol of the packet and is one of the ETH_P_* values defined in include/uapi/linux/if_ether.h.
__u32 vlan_present;
__u32 vlan_tci;
__u32 vlan_proto;
__u32 priority;
__u32 ingress_ifindex;
__u32 ifindex;
__u32 tc_index;
__u32 cb[5];
__u32 hash;
__u32 tc_classid;
__u32 data;
__u32 data_end;
__u32 napi_id;
__u32 family;
__u32 remote_ip4;
__u32 local_ip4;
__u32 remote_ip6[4];
__u32 local_ip6[4];
__u32 remote_port;
__u32 local_port;
__u32 data_meta;
union {
struct bpf_flow_keys *flow_keys;
};
__u64 tstamp;
__u32 wire_len;
__u32 gso_segs;
union {
struct bpf_sock *sk;
};
__u32 gso_size;
};
// cat vmlinux.h | grep -A 118 "struct sk_buff {"
struct sk_buff {
union {
struct {
struct sk_buff *next;
struct sk_buff *prev;
union {
struct net_device *dev;
long unsigned int dev_scratch;
};
};
struct rb_node rbnode;
struct list_head list;
};
union {
struct sock *sk;
int ip_defrag_offset;
};
union {
ktime_t tstamp;
u64 skb_mstamp_ns;
};
char cb[48];
union {
struct {
long unsigned int _skb_refdst;
void (*destructor)(struct sk_buff *);
};
struct list_head tcp_tsorted_anchor;
long unsigned int _sk_redir;
};
long unsigned int _nfct;
unsigned int len;
unsigned int data_len;
__u16 mac_len;
__u16 hdr_len;
__u16 queue_mapping;
__u8 __cloned_offset[0];
__u8 cloned: 1;
__u8 nohdr: 1;
__u8 fclone: 2;
__u8 peeked: 1;
__u8 head_frag: 1;
__u8 pfmemalloc: 1;
__u8 pp_recycle: 1;
__u8 active_extensions;
__u32 headers_start[0];
__u8 __pkt_type_offset[0];
__u8 pkt_type: 3;
__u8 ignore_df: 1;
__u8 nf_trace: 1;
__u8 ip_summed: 2;
__u8 ooo_okay: 1;
__u8 l4_hash: 1;
__u8 sw_hash: 1;
__u8 wifi_acked_valid: 1;
__u8 wifi_acked: 1;
__u8 no_fcs: 1;
__u8 encapsulation: 1;
__u8 encap_hdr_csum: 1;
__u8 csum_valid: 1;
__u8 __pkt_vlan_present_offset[0];
__u8 vlan_present: 1;
__u8 csum_complete_sw: 1;
__u8 csum_level: 2;
__u8 csum_not_inet: 1;
__u8 dst_pending_confirm: 1;
__u8 ndisc_nodetype: 2;
__u8 ipvs_property: 1;
__u8 inner_protocol_type: 1;
__u8 remcsum_offload: 1;
__u8 offload_fwd_mark: 1;
__u8 offload_l3_fwd_mark: 1;
__u8 tc_skip_classify: 1;
__u8 tc_at_ingress: 1;
__u8 redirected: 1;
__u8 slow_gro: 1;
__u8 scm_io_uring: 1;
__u16 tc_index;
union {
__wsum csum;
struct {
__u16 csum_start;
__u16 csum_offset;
};
};
__u32 priority;
int skb_iif;
__u32 hash;
__be16 vlan_proto;
__u16 vlan_tci;
union {
unsigned int napi_id;
unsigned int sender_cpu;
};
__u32 secmark;
union {
__u32 mark;
__u32 reserved_tailroom;
};
union {
__be16 inner_protocol;
__u8 inner_ipproto;
};
__u16 inner_transport_header;
__u16 inner_network_header;
__u16 inner_mac_header;
__be16 protocol;
__u16 transport_header;
__u16 network_header;
__u16 mac_header;
__u32 headers_end[0];
sk_buff_data_t tail;
sk_buff_data_t end;
unsigned char *head;
unsigned char *data;
unsigned int truesize;
refcount_t users;
struct skb_ext *extensions;
};
대충 이런 식으로 접근해 사용할 수 있습니다.
SEC("socket")
int socket_handler(struct __sk_buff *skb)
{
__u16 protocol = skb->protocol;
char isIPv4Packet = (protocol == bpf_htons(ETH_P_IP)); // ETH_P_IP == 0x0800(BE) == 8(LE)
char isIPv6Packet = (protocol == bpf_htons(ETH_P_IPV6)); // ETH_P_IPV6 == 0x86DD(BE) == dd86(LE)
if (isIPv4Packet == 0 && isIPv6Packet == 0) {
return skb->len;
}
// Your eBPF program logic here
return skb->len;
}
하지만, 무시할 수 없는 제약이 좀 있는데요, 우선, 1) 오직 ingoing 패킷에 대해서만 작동하고, 2) 무엇보다도 특정 socket descriptor에 attach 시키는 식으로만 활성화할 수 있기 때문에,
remoteAddr, err := net.ResolveTCPAddr("tcp", "192.168.100.50:80")
// 이렇게 Socket 관련 File Descriptor를 얻어온 다음,
conn, err := net.DialTCP("tcp", nil, remoteAddr)
if err != nil {
return
}
defer conn.Close()
// 해당 FD에 eBPF 프로그램을 attach 시켜야 합니다.
err = link.AttachSocketFilter(conn, bpfObj.SocketHandler)
if err != nil {
fmt.Printf("link.AttachNetfilter: %v\n", err)
return
}
defer func(tcpConn *net.TCPConn) {
_ = link.DetachSocketFilter(tcpConn)
}(conn)
(일반적인 다른 eBPF 프로그램들이 기본적으로 전역 모니터링할 수 있었다는 점과 비교해) 로컬 프로세스 내의 정보만을 얻을 수 있다는 점이 아쉽습니다. 즉, in-process 내부의 소켓에 대해 Input 패킷만을 모니터링할 수 있을 뿐입니다.
아마도 그런 점 때문에, "
Program type BPF_PROG_TYPE_SOCKET_FILTER" 문서에 다음과 같은 주석이 있는 것 같습니다.
Socket filters pre-date eBPF itself, socket filters were the first ever prototype in the original BPF implementation, now referred to as cBPF (classic BPF). In fact, usage of this program type was the reason for inventing the whole system1.
참고로, 전에 SEC("socket") 매크로를
전역 변수를 제어하기 위한 함수를 위해서도 사용한 적이 있는데요, 이것이 BPF_PROG_TYPE_SOCKET_FILTER 유형의 프로그램이라는 것을 알았음에도... 왜 유독 SEC("socket") 매크로만 유효했는지 여전히 의문이 남는군요. ^^
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]