[Mon Jan 12 21:29:21 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 25 root cwd DIR 9,3 4096 13773703 /data udp_sendm 25 root rtd DIR 0,80 4096 7260677 / udp_sendm 25 root txt REG 0,80 125640 28221037 /usr/bin/dash udp_sendm 25 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) udp_sendm 25 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) udp_sendm 25 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) udp_sendm 25 root 0r CHR LG 1,3 0t0 17 /dev/null udp_sendm 25 root 1w FIFO W 0,13 0t0 1851072447 pipe udp_sendm 25 root 2w FIFO W 0,13 0t0 1851072448 pipe udp_sendm 25 root 10r REG LG,CX 9,3 106 13773718 /data/bpftrace/udp_sendmsg_delay.sh maps output: 563da8818000-563da881c000 r--p 00000000 09:03 28221037 /usr/bin/dash 563da881c000-563da882f000 r-xp 00004000 09:03 28221037 /usr/bin/dash 563da882f000-563da8835000 r--p 00017000 09:03 28221037 /usr/bin/dash 563da8835000-563da8837000 r--p 0001c000 09:03 28221037 /usr/bin/dash 563da8837000-563da8838000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 563da8838000-563da883a000 rw-p 00000000 00:00 0 563ddb95c000-563ddb97d000 rw-p 00000000 00:00 0 [heap] 7fb55587d000-7fb555880000 rw-p 00000000 00:00 0 7fb555880000-7fb5558a6000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb5558a6000-7fb5559fc000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb5559fc000-7fb555a4f000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb555a4f000-7fb555a53000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb555a53000-7fb555a55000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb555a55000-7fb555a62000 rw-p 00000000 00:00 0 7fb555a6f000-7fb555a71000 rw-p 00000000 00:00 0 7fb555a71000-7fb555a72000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb555a72000-7fb555a98000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb555a98000-7fb555aa2000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb555aa2000-7fb555aa4000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb555aa4000-7fb555aa6000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffcc57a2000-7ffcc57c3000 rw-p 00000000 00:00 0 [stack] 7ffcc57cf000-7ffcc57d3000 r--p 00000000 00:00 0 [vvar] 7ffcc57d3000-7ffcc57d5000 r-xp 00000000 00:00 0 [vdso] @latency[0]: [1] 2 | | [2, 4) 1 | | [4, 8) 14 | | [8, 16) 765 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 35 |@@ | [32, 64) 18 |@ | @latency[5705]: [0] 85 |@ | [1] 1866 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2383 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 977 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 736 |@@@@@@@@@@@@@@@@ | [16, 32) 7 | | @latency[5707]: [0] 96 |@ | [1] 1826 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2562 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 796 |@@@@@@@@@@@@@@@@ | [8, 16) 765 |@@@@@@@@@@@@@@@ | [16, 32) 9 | | @latency[5703]: [0] 98 |@@ | [1] 1558 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2474 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1100 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 834 |@@@@@@@@@@@@@@@@@ | [16, 32) 7 | | @latency[5704]: [1] 4 | | [2, 4) 4 | | [4, 8) 170 |@ | [8, 16) 6366 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 22 | | @latency[5701]: [0] 33 | | [1] 2373 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3312 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1533 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2374 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 178 |@@ | [32, 64) 1 | | @latency[5702]: [0] 3482 | | [1] 540275 |@@@@@@@@@ | [2, 4) 279139 |@@@@ | [4, 8) 349636 |@@@@@ | [8, 16) 3038477 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10863 | | [32, 64) 204 | | [64, 128) 6 | | [128, 256) 1 | | @latency[4729]: [0] 28363 | | [1] 1222936 |@@@@@@@@ | [2, 4) 1283802 |@@@@@@@@ | [4, 8) 790580 |@@@@@ | [8, 16) 7574348 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 76551 | | [32, 64) 66296 | | [64, 128) 1782 | | [128, 256) 0 | | [256, 512) 1 | | [Mon Jan 12 22:35:53 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Mon Jan 12 22:35:53 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 22:35:55 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 8 --unsafe osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 27 root cwd DIR 9,3 4096 13773703 /data udp_sendm 27 root rtd DIR 0,62 4096 7260971 / udp_sendm 27 root txt REG 0,62 125640 28221037 /usr/bin/dash udp_sendm 27 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,62) udp_sendm 27 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,62) udp_sendm 27 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,62) udp_sendm 27 root 0r CHR LG 1,3 0t0 17 /dev/null udp_sendm 27 root 1w FIFO W 0,13 0t0 1851665448 pipe udp_sendm 27 root 2w FIFO W 0,13 0t0 1851665449 pipe udp_sendm 27 root 10r REG LG,CX 9,3 106 13773710 /data/bpftrace/udp_sendmsg_delay.sh maps output: 55e5e332e000-55e5e3332000 r--p 00000000 09:03 28221037 /usr/bin/dash 55e5e3332000-55e5e3345000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55e5e3345000-55e5e334b000 r--p 00017000 09:03 28221037 /usr/bin/dash 55e5e334b000-55e5e334d000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55e5e334d000-55e5e334e000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55e5e334e000-55e5e3350000 rw-p 00000000 00:00 0 55e5e84cb000-55e5e84ec000 rw-p 00000000 00:00 0 [heap] 7faa6a445000-7faa6a448000 rw-p 00000000 00:00 0 7faa6a448000-7faa6a46e000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7faa6a46e000-7faa6a5c4000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7faa6a5c4000-7faa6a617000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7faa6a617000-7faa6a61b000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7faa6a61b000-7faa6a61d000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7faa6a61d000-7faa6a62a000 rw-p 00000000 00:00 0 7faa6a637000-7faa6a639000 rw-p 00000000 00:00 0 7faa6a639000-7faa6a63a000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7faa6a63a000-7faa6a660000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7faa6a660000-7faa6a66a000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7faa6a66a000-7faa6a66c000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7faa6a66c000-7faa6a66e000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff25ecc000-7fff25eed000 rw-p 00000000 00:00 0 [stack] 7fff25fcb000-7fff25fcf000 r--p 00000000 00:00 0 [vvar] 7fff25fcf000-7fff25fd1000 r-xp 00000000 00:00 0 [vdso] @latency[5703]: [0] 1 |@@@@ | [1] 1 |@@@@ | [2, 4) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@ | @latency[5705]: [0] 2 |@@@@@@@@@@ | [1] 1 |@@@@@ | [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@ | [16, 32) 1 |@@@@@ | @latency[5707]: [1] 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5701]: [1] 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 5 |@@@@@@@@@@@@@@@@@ | [4, 8) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@@ | @latency[4729]: [0] 1399 |@@@@@@@ | [1] 9880 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 4252 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1582 |@@@@@@@@ | [8, 16) 3040 |@@@@@@@@@@@@@@@@ | [16, 32) 57 | | [32, 64) 34 | | [64, 128) 6 | | [Mon Jan 12 22:37:33 UTC 2026] respawn: 0: stopped pid 27 with status 0 [Mon Jan 12 22:37:33 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 22:37:35 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 25 root cwd DIR 9,3 4096 13773703 /data udp_sendm 25 root rtd DIR 0,80 4096 7260676 / udp_sendm 25 root txt REG 0,80 125640 28221037 /usr/bin/dash udp_sendm 25 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) udp_sendm 25 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) udp_sendm 25 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) udp_sendm 25 root 0r CHR LG 1,3 0t0 17 /dev/null udp_sendm 25 root 1w FIFO W 0,13 0t0 1851706420 pipe udp_sendm 25 root 2w FIFO W 0,13 0t0 1851706421 pipe udp_sendm 25 root 10r REG LG,CX 9,3 106 13773726 /data/bpftrace/udp_sendmsg_delay.sh maps output: 55b3cd68a000-55b3cd68e000 r--p 00000000 09:03 28221037 /usr/bin/dash 55b3cd68e000-55b3cd6a1000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55b3cd6a1000-55b3cd6a7000 r--p 00017000 09:03 28221037 /usr/bin/dash 55b3cd6a7000-55b3cd6a9000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55b3cd6a9000-55b3cd6aa000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55b3cd6aa000-55b3cd6ac000 rw-p 00000000 00:00 0 55b3cd76e000-55b3cd78f000 rw-p 00000000 00:00 0 [heap] 7f064f5ee000-7f064f5f1000 rw-p 00000000 00:00 0 7f064f5f1000-7f064f617000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f064f617000-7f064f76d000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f064f76d000-7f064f7c0000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f064f7c0000-7f064f7c4000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f064f7c4000-7f064f7c6000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f064f7c6000-7f064f7d3000 rw-p 00000000 00:00 0 7f064f7e0000-7f064f7e2000 rw-p 00000000 00:00 0 7f064f7e2000-7f064f7e3000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f064f7e3000-7f064f809000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f064f809000-7f064f813000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f064f813000-7f064f815000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f064f815000-7f064f817000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff76558000-7fff76579000 rw-p 00000000 00:00 0 [stack] 7fff765b0000-7fff765b4000 r--p 00000000 00:00 0 [vvar] 7fff765b4000-7fff765b6000 r-xp 00000000 00:00 0 [vdso] @latency[0]: [1] 1 | | [2, 4) 218 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 235 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 366 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 23 |@@@ | [32, 64) 1 | | @latency[5707]: [0] 72 |@ | [1] 1270 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3151 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 815 |@@@@@@@@@@@@@ | [8, 16) 702 |@@@@@@@@@@@ | [16, 32) 29 | | [32, 64) 1 | | @latency[5705]: [0] 76 |@ | [1] 1232 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2935 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1032 |@@@@@@@@@@@@@@@@@@ | [8, 16) 737 |@@@@@@@@@@@@@ | [16, 32) 29 | | @latency[5703]: [0] 68 |@ | [1] 933 |@@@@@@@@@@@@@@@ | [2, 4) 3066 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1099 |@@@@@@@@@@@@@@@@@@ | [8, 16) 850 |@@@@@@@@@@@@@@ | [16, 32) 37 | | @latency[5701]: [0] 23 | | [1] 1755 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3975 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1676 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1918 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 369 |@@@@ | [32, 64) 8 | | @latency[5706]: [0] 5 | | [1] 338 |@@ | [2, 4) 496 |@@@ | [4, 8) 586 |@@@ | [8, 16) 8269 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 47 | | @latency[5708]: [0] 1 | | [1] 495 |@ | [2, 4) 616 |@@ | [4, 8) 691 |@@ | [8, 16) 13876 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 38 | | @latency[5704]: [0] 5 | | [1] 612 |@ | [2, 4) 814 |@@ | [4, 8) 951 |@@ | [8, 16) 17352 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 57 | | [32, 64) 1 | | @latency[5702]: [0] 1432 | | [1] 220242 |@@@ | [2, 4) 210654 |@@@ | [4, 8) 192649 |@@ | [8, 16) 3508741 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 33241 | | [32, 64) 398 | | [64, 128) 11 | | @latency[4729]: [0] 24057 | | [1] 518305 |@@@ | [2, 4) 1027130 |@@@@@@ | [4, 8) 449725 |@@@ | [8, 16) 7787756 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 300032 |@@ | [32, 64) 144658 | | [64, 128) 7847 | | [128, 256) 1 | | [Mon Jan 12 23:43:39 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Mon Jan 12 23:43:39 UTC 2026] respawn: sleeping 1 seconds...