[Thu Jan 15 12:38:18 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace --no-warnings /data/bpftrace/udp_sendmsg_delay.bt -p 9 osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 29 root cwd DIR 9,3 4096 13773060 /data udp_sendm 29 root rtd DIR 0,107 4096 13534486 / udp_sendm 29 root txt REG 0,107 129736 7647243 /usr/bin/dash udp_sendm 29 root mem REG 9,3 7647243 /usr/bin/dash (path dev=0,107) udp_sendm 29 root mem REG 9,3 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,107) udp_sendm 29 root mem REG 9,3 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,107) udp_sendm 29 root 0r CHR LG 1,3 0t0 15 /dev/null udp_sendm 29 root 1w FIFO W 0,13 0t0 13660106 pipe udp_sendm 29 root 2w FIFO W 0,13 0t0 13660107 pipe udp_sendm 29 root 10r REG LG,CX 9,3 111 13773075 /data/bpftrace/udp_sendmsg_delay.sh maps output: 55cb9b682000-55cb9b686000 r--p 00000000 09:03 7647243 /usr/bin/dash 55cb9b686000-55cb9b69a000 r-xp 00004000 09:03 7647243 /usr/bin/dash 55cb9b69a000-55cb9b6a0000 r--p 00018000 09:03 7647243 /usr/bin/dash 55cb9b6a0000-55cb9b6a2000 r--p 0001d000 09:03 7647243 /usr/bin/dash 55cb9b6a2000-55cb9b6a3000 rw-p 0001f000 09:03 7647243 /usr/bin/dash 55cb9b6a3000-55cb9b6a5000 rw-p 00000000 00:00 0 55cbc9a15000-55cbc9a36000 rw-p 00000000 00:00 0 [heap] 7fc63d69d000-7fc63d6a0000 rw-p 00000000 00:00 0 7fc63d6a0000-7fc63d6c8000 r--p 00000000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc63d6c8000-7fc63d82c000 r-xp 00028000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc63d82c000-7fc63d882000 r--p 0018c000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc63d882000-7fc63d886000 r--p 001e1000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc63d886000-7fc63d888000 rw-p 001e5000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc63d888000-7fc63d895000 rw-p 00000000 00:00 0 7fc63d8a3000-7fc63d8a5000 rw-p 00000000 00:00 0 7fc63d8a5000-7fc63d8a6000 r--p 00000000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc63d8a6000-7fc63d8ce000 r-xp 00001000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc63d8ce000-7fc63d8d9000 r--p 00029000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc63d8d9000-7fc63d8db000 r--p 00034000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc63d8db000-7fc63d8dc000 rw-p 00036000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc63d8dc000-7fc63d8dd000 rw-p 00000000 00:00 0 7ffe4fe8f000-7ffe4feb0000 rw-p 00000000 00:00 0 [stack] 7ffe4ffef000-7ffe4fff3000 r--p 00000000 00:00 0 [vvar] 7ffe4fff3000-7ffe4fff5000 r-xp 00000000 00:00 0 [vdso] @latency[5703]: [0] 1 | | [1] 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 72 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10 |@@@@@@@ | [8, 16) 5 |@@@ | @latency[5705]: [1] 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 13 |@@@@@@@@@@ | [8, 16) 4 |@@@ | @latency[5707]: [0] 2 |@ | [1] 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@@@@@ | [8, 16) 6 |@@@@@ | @latency[5701]: [1] 48 |@@@ | [2, 4) 275 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 191 |@@@@@@@@@@@@@@ | [8, 16) 687 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 27 |@@ | @latency[5702]: [0] 1545 |@@ | [1] 37079 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 32907 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 23449 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 17703 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 583 | | [32, 64) 22 | | [64, 128) 1 | | @latency[4729]: [0] 3602 |@ | [1] 30258 |@@@@@@@@@@ | [2, 4) 156844 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 76384 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 60011 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 5207 |@ | [32, 64) 1703 | | [64, 128) 258 | | [128, 256) 5 | | [Thu Jan 15 12:39:57 UTC 2026] respawn: 0: stopped pid 29 with status 0 [Thu Jan 15 12:39:57 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 15 12:39:58 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace --no-warnings /data/bpftrace/udp_sendmsg_delay.bt -p 358 osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 362 root cwd DIR 9,3 4096 13773060 /data udp_sendm 362 root rtd DIR 0,107 4096 13534486 / udp_sendm 362 root txt REG 0,107 129736 7647243 /usr/bin/dash udp_sendm 362 root mem REG 9,3 7647243 /usr/bin/dash (path dev=0,107) udp_sendm 362 root mem REG 9,3 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,107) udp_sendm 362 root mem REG 9,3 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,107) udp_sendm 362 root 0r CHR LG 1,3 0t0 15 /dev/null udp_sendm 362 root 1w FIFO W 0,13 0t0 13660106 pipe udp_sendm 362 root 2w FIFO W 0,13 0t0 13660107 pipe udp_sendm 362 root 10r REG LG,CX 9,3 111 13773075 /data/bpftrace/udp_sendmsg_delay.sh maps output: 55e5522ee000-55e5522f2000 r--p 00000000 09:03 7647243 /usr/bin/dash 55e5522f2000-55e552306000 r-xp 00004000 09:03 7647243 /usr/bin/dash 55e552306000-55e55230c000 r--p 00018000 09:03 7647243 /usr/bin/dash 55e55230c000-55e55230e000 r--p 0001d000 09:03 7647243 /usr/bin/dash 55e55230e000-55e55230f000 rw-p 0001f000 09:03 7647243 /usr/bin/dash 55e55230f000-55e552311000 rw-p 00000000 00:00 0 55e56a74c000-55e56a76d000 rw-p 00000000 00:00 0 [heap] 7f3e67fbb000-7f3e67fbe000 rw-p 00000000 00:00 0 7f3e67fbe000-7f3e67fe6000 r--p 00000000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f3e67fe6000-7f3e6814a000 r-xp 00028000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f3e6814a000-7f3e681a0000 r--p 0018c000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f3e681a0000-7f3e681a4000 r--p 001e1000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f3e681a4000-7f3e681a6000 rw-p 001e5000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f3e681a6000-7f3e681b3000 rw-p 00000000 00:00 0 7f3e681c1000-7f3e681c3000 rw-p 00000000 00:00 0 7f3e681c3000-7f3e681c4000 r--p 00000000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f3e681c4000-7f3e681ec000 r-xp 00001000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f3e681ec000-7f3e681f7000 r--p 00029000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f3e681f7000-7f3e681f9000 r--p 00034000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f3e681f9000-7f3e681fa000 rw-p 00036000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f3e681fa000-7f3e681fb000 rw-p 00000000 00:00 0 7ffe758bb000-7ffe758dc000 rw-p 00000000 00:00 0 [stack] 7ffe759a7000-7ffe759ab000 r--p 00000000 00:00 0 [vvar] 7ffe759ab000-7ffe759ad000 r-xp 00000000 00:00 0 [vdso] @latency[5704]: [1] 1 | | [2, 4) 11 |@@ | [4, 8) 17 |@@@ | [8, 16) 283 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 | | [32, 64) 1 | | @latency[5705]: [0] 38 |@ | [1] 578 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1063 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 662 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 488 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 | | [32, 64) 1 | | @latency[5707]: [0] 38 |@ | [1] 485 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1224 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 616 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 461 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 12 | | @latency[5703]: [0] 24 |@ | [1] 445 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1106 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 700 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 553 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 12 | | @latency[5701]: [0] 8 | | [1] 613 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1492 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 763 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 892 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 176 |@@@@@@ | @latency[5702]: [0] 1170 | | [1] 253849 |@@@@@@@@ | [2, 4) 131956 |@@@@ | [4, 8) 149048 |@@@@ | [8, 16) 1594564 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 15950 | | [32, 64) 324 | | [64, 128) 26 | | [128, 256) 1 | | @latency[4729]: [0] 11508 | | [1] 290628 |@@@ | [2, 4) 864143 |@@@@@@@@@@@ | [4, 8) 380425 |@@@@ | [8, 16) 4048597 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 62584 | | [32, 64) 22848 | | [64, 128) 3916 | | [128, 256) 14 | | [256, 512) 1 | | [512, 1K) 1 | | [Thu Jan 15 13:12:20 UTC 2026] respawn: 1: stopped pid 362 with status 0 [Thu Jan 15 13:12:20 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 15 13:12:21 UTC 2026] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace --no-warnings /data/bpftrace/udp_sendmsg_delay.bt -p 6485 osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 6489 root cwd DIR 9,3 4096 13773060 /data udp_sendm 6489 root rtd DIR 0,107 4096 13534486 / udp_sendm 6489 root txt REG 0,107 129736 7647243 /usr/bin/dash udp_sendm 6489 root mem REG 9,3 7647243 /usr/bin/dash (path dev=0,107) udp_sendm 6489 root mem REG 9,3 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,107) udp_sendm 6489 root mem REG 9,3 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,107) udp_sendm 6489 root 0r CHR LG 1,3 0t0 15 /dev/null udp_sendm 6489 root 1w FIFO W 0,13 0t0 13660106 pipe udp_sendm 6489 root 2w FIFO W 0,13 0t0 13660107 pipe udp_sendm 6489 root 10r REG LG,CX 9,3 111 13773075 /data/bpftrace/udp_sendmsg_delay.sh maps output: 55e0a1705000-55e0a1709000 r--p 00000000 09:03 7647243 /usr/bin/dash 55e0a1709000-55e0a171d000 r-xp 00004000 09:03 7647243 /usr/bin/dash 55e0a171d000-55e0a1723000 r--p 00018000 09:03 7647243 /usr/bin/dash 55e0a1723000-55e0a1725000 r--p 0001d000 09:03 7647243 /usr/bin/dash 55e0a1725000-55e0a1726000 rw-p 0001f000 09:03 7647243 /usr/bin/dash 55e0a1726000-55e0a1728000 rw-p 00000000 00:00 0 55e0cb2fe000-55e0cb31f000 rw-p 00000000 00:00 0 [heap] 7f8bfda2b000-7f8bfda2e000 rw-p 00000000 00:00 0 7f8bfda2e000-7f8bfda56000 r--p 00000000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8bfda56000-7f8bfdbba000 r-xp 00028000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8bfdbba000-7f8bfdc10000 r--p 0018c000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8bfdc10000-7f8bfdc14000 r--p 001e1000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8bfdc14000-7f8bfdc16000 rw-p 001e5000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8bfdc16000-7f8bfdc23000 rw-p 00000000 00:00 0 7f8bfdc31000-7f8bfdc33000 rw-p 00000000 00:00 0 7f8bfdc33000-7f8bfdc34000 r--p 00000000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8bfdc34000-7f8bfdc5c000 r-xp 00001000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8bfdc5c000-7f8bfdc67000 r--p 00029000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8bfdc67000-7f8bfdc69000 r--p 00034000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8bfdc69000-7f8bfdc6a000 rw-p 00036000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8bfdc6a000-7f8bfdc6b000 rw-p 00000000 00:00 0 7ffde7e5f000-7ffde7e80000 rw-p 00000000 00:00 0 [stack] 7ffde7f29000-7ffde7f2d000 r--p 00000000 00:00 0 [vvar] 7ffde7f2d000-7ffde7f2f000 r-xp 00000000 00:00 0 [vdso] @latency[0]: [1] 1 | | [2, 4) 240 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 384 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 200 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 25 |@@@ | [32, 64) 3 | | @latency[5705]: [0] 6 | | [1] 421 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 800 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 105 |@@@@@@ | [8, 16) 49 |@@@ | [16, 32) 1 | | @latency[5707]: [0] 10 | | [1] 380 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 849 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 91 |@@@@@ | [8, 16) 51 |@@@ | [16, 32) 1 | | @latency[5703]: [0] 7 | | [1] 322 |@@@@@@@@@@@@@@@@@@ | [2, 4) 884 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 124 |@@@@@@@ | [8, 16) 53 |@@@ | [16, 32) 4 | | @latency[5701]: [0] 1 | | [1] 398 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 946 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 415 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 179 |@@@@@@@@@ | [16, 32) 29 |@ | [32, 64) 1 | | @latency[5704]: [0] 54 | | [1] 3246 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1968 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 486 |@@@@@@@ | [8, 16) 1687 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 | | @latency[5702]: [0] 2312 | | [1] 236011 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 170490 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 50548 |@@@@@@@@@@@ | [8, 16) 176537 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6663 |@ | [32, 64) 147 | | [64, 128) 4 | | @latency[4729]: [0] 7091 | | [1] 239146 |@@@@@@@@@@@@@@@ | [2, 4) 788281 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 135570 |@@@@@@@@ | [8, 16) 346495 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 19727 |@ | [32, 64) 14783 | | [64, 128) 4049 | | [128, 256) 13 | | [256, 512) 1 | | [Thu Jan 15 13:24:23 UTC 2026] respawn: 2: stopped pid 6489 with status 0 [Thu Jan 15 13:24:23 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 15 13:24:24 UTC 2026] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace --no-warnings /data/bpftrace/udp_sendmsg_delay.bt -p 8781 osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 8785 root cwd DIR 9,3 4096 13773060 /data udp_sendm 8785 root rtd DIR 0,107 4096 13534486 / udp_sendm 8785 root txt REG 0,107 129736 7647243 /usr/bin/dash udp_sendm 8785 root mem REG 9,3 7647243 /usr/bin/dash (path dev=0,107) udp_sendm 8785 root mem REG 9,3 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,107) udp_sendm 8785 root mem REG 9,3 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,107) udp_sendm 8785 root 0r CHR LG 1,3 0t0 15 /dev/null udp_sendm 8785 root 1w FIFO W 0,13 0t0 13660106 pipe udp_sendm 8785 root 2w FIFO W 0,13 0t0 13660107 pipe udp_sendm 8785 root 10r REG LG,CX 9,3 111 13773075 /data/bpftrace/udp_sendmsg_delay.sh maps output: 561121c58000-561121c5c000 r--p 00000000 09:03 7647243 /usr/bin/dash 561121c5c000-561121c70000 r-xp 00004000 09:03 7647243 /usr/bin/dash 561121c70000-561121c76000 r--p 00018000 09:03 7647243 /usr/bin/dash 561121c76000-561121c78000 r--p 0001d000 09:03 7647243 /usr/bin/dash 561121c78000-561121c79000 rw-p 0001f000 09:03 7647243 /usr/bin/dash 561121c79000-561121c7b000 rw-p 00000000 00:00 0 56115934d000-56115936e000 rw-p 00000000 00:00 0 [heap] 7f4fcdc65000-7f4fcdc68000 rw-p 00000000 00:00 0 7f4fcdc68000-7f4fcdc90000 r--p 00000000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4fcdc90000-7f4fcddf4000 r-xp 00028000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4fcddf4000-7f4fcde4a000 r--p 0018c000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4fcde4a000-7f4fcde4e000 r--p 001e1000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4fcde4e000-7f4fcde50000 rw-p 001e5000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4fcde50000-7f4fcde5d000 rw-p 00000000 00:00 0 7f4fcde6b000-7f4fcde6d000 rw-p 00000000 00:00 0 7f4fcde6d000-7f4fcde6e000 r--p 00000000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f4fcde6e000-7f4fcde96000 r-xp 00001000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f4fcde96000-7f4fcdea1000 r--p 00029000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f4fcdea1000-7f4fcdea3000 r--p 00034000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f4fcdea3000-7f4fcdea4000 rw-p 00036000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f4fcdea4000-7f4fcdea5000 rw-p 00000000 00:00 0 7ffd0ee7a000-7ffd0ee9b000 rw-p 00000000 00:00 0 [stack] 7ffd0eec6000-7ffd0eeca000 r--p 00000000 00:00 0 [vvar] 7ffd0eeca000-7ffd0eecc000 r-xp 00000000 00:00 0 [vdso] @latency[0]: [64G, 128G) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5703]: [0] 8 | | [1] 339 |@@@@@@@@@@@@@@@@@ | [2, 4) 1018 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 262 |@@@@@@@@@@@@@ | [8, 16) 128 |@@@@@@ | [16, 32) 7 | | @latency[5705]: [0] 13 | | [1] 433 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 947 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 229 |@@@@@@@@@@@@ | [8, 16) 138 |@@@@@@@ | [16, 32) 2 | | @latency[5707]: [0] 19 |@ | [1] 410 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 961 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 236 |@@@@@@@@@@@@ | [8, 16) 130 |@@@@@@@ | [16, 32) 6 | | @latency[5701]: [0] 3 | | [1] 467 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1162 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 545 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 410 |@@@@@@@@@@@@@@@@@@ | [16, 32) 91 |@@@@ | [32, 64) 2 | | @latency[5702]: [0] 2168 | | [1] 261825 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 341698 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 135752 |@@@@@@@@@@@ | [8, 16) 591380 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4950 | | [32, 64) 152 | | [64, 128) 9 | | [128, 256) 1 | | [256, 512) 1 | | @latency[4729]: [0] 7192 | | [1] 273019 |@@@@@@@@@ | [2, 4) 1200522 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 403365 |@@@@@@@@@@@@@ | [8, 16) 1557257 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 52417 |@ | [32, 64) 20755 | | [64, 128) 2432 | | [128, 256) 26 | | [Thu Jan 15 13:44:39 UTC 2026] respawn: 3: stopped pid 8785 with status 0 [Thu Jan 15 13:44:39 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 15 13:44:41 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace --no-warnings /data/bpftrace/udp_sendmsg_delay.bt -p 9 osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 25 root cwd DIR 9,3 4096 13773060 /data udp_sendm 25 root rtd DIR 0,95 4096 14157779 / udp_sendm 25 root txt REG 0,95 129736 7647243 /usr/bin/dash udp_sendm 25 root mem REG 9,3 7647243 /usr/bin/dash (path dev=0,95) udp_sendm 25 root mem REG 9,3 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,95) udp_sendm 25 root mem REG 9,3 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,95) udp_sendm 25 root 0r CHR LG 1,3 0t0 15 /dev/null udp_sendm 25 root 1w FIFO W 0,13 0t0 16156053 pipe udp_sendm 25 root 2w FIFO W 0,13 0t0 16156054 pipe udp_sendm 25 root 10r REG LG,CX 9,3 111 13773067 /data/bpftrace/udp_sendmsg_delay.sh maps output: 564845b58000-564845b5c000 r--p 00000000 09:03 7647243 /usr/bin/dash 564845b5c000-564845b70000 r-xp 00004000 09:03 7647243 /usr/bin/dash 564845b70000-564845b76000 r--p 00018000 09:03 7647243 /usr/bin/dash 564845b76000-564845b78000 r--p 0001d000 09:03 7647243 /usr/bin/dash 564845b78000-564845b79000 rw-p 0001f000 09:03 7647243 /usr/bin/dash 564845b79000-564845b7b000 rw-p 00000000 00:00 0 56485715a000-56485717b000 rw-p 00000000 00:00 0 [heap] 7ff394bf0000-7ff394bf3000 rw-p 00000000 00:00 0 7ff394bf3000-7ff394c1b000 r--p 00000000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff394c1b000-7ff394d7f000 r-xp 00028000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff394d7f000-7ff394dd5000 r--p 0018c000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff394dd5000-7ff394dd9000 r--p 001e1000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff394dd9000-7ff394ddb000 rw-p 001e5000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff394ddb000-7ff394de8000 rw-p 00000000 00:00 0 7ff394df6000-7ff394df8000 rw-p 00000000 00:00 0 7ff394df8000-7ff394df9000 r--p 00000000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff394df9000-7ff394e21000 r-xp 00001000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff394e21000-7ff394e2c000 r--p 00029000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff394e2c000-7ff394e2e000 r--p 00034000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff394e2e000-7ff394e2f000 rw-p 00036000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff394e2f000-7ff394e30000 rw-p 00000000 00:00 0 7ffe181e0000-7ffe18201000 rw-p 00000000 00:00 0 [stack] 7ffe183d6000-7ffe183da000 r--p 00000000 00:00 0 [vvar] 7ffe183da000-7ffe183dc000 r-xp 00000000 00:00 0 [vdso] @latency[5703]: [0] 1 |@@@@@@@@ | [1] 2 |@@@@@@@@@@@@@@@@@ | [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5705]: [0] 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 2 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5707]: [0] 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5701]: [1] 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2 |@@@@@@@@@ | [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 |@@@@ | @latency[4729]: [0] 750 |@@@@ | [1] 8054 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 5210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1964 |@@@@@@@@@@@@ | [8, 16) 4140 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 59 | | [32, 64) 35 | | [64, 128) 36 | | [128, 256) 2 | | [Thu Jan 15 13:46:19 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Thu Jan 15 13:46:19 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 15 13:46:21 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace --no-warnings /data/bpftrace/udp_sendmsg_delay.bt -p 9 osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 26 root cwd DIR 9,3 4096 13773060 /data udp_sendm 26 root rtd DIR 0,78 4096 14157843 / udp_sendm 26 root txt REG 0,78 129736 7647243 /usr/bin/dash udp_sendm 26 root mem REG 9,3 7647243 /usr/bin/dash (path dev=0,78) udp_sendm 26 root mem REG 9,3 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,78) udp_sendm 26 root mem REG 9,3 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,78) udp_sendm 26 root 0r CHR LG 1,3 0t0 15 /dev/null udp_sendm 26 root 1w FIFO W 0,13 0t0 16257707 pipe udp_sendm 26 root 2w FIFO W 0,13 0t0 16257708 pipe udp_sendm 26 root 10r REG LG,CX 9,3 111 13768871 /data/bpftrace/udp_sendmsg_delay.sh maps output: 557d6f5c4000-557d6f5c8000 r--p 00000000 09:03 7647243 /usr/bin/dash 557d6f5c8000-557d6f5dc000 r-xp 00004000 09:03 7647243 /usr/bin/dash 557d6f5dc000-557d6f5e2000 r--p 00018000 09:03 7647243 /usr/bin/dash 557d6f5e2000-557d6f5e4000 r--p 0001d000 09:03 7647243 /usr/bin/dash 557d6f5e4000-557d6f5e5000 rw-p 0001f000 09:03 7647243 /usr/bin/dash 557d6f5e5000-557d6f5e7000 rw-p 00000000 00:00 0 557d9ed8f000-557d9edb0000 rw-p 00000000 00:00 0 [heap] 7f12649a9000-7f12649ac000 rw-p 00000000 00:00 0 7f12649ac000-7f12649d4000 r--p 00000000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f12649d4000-7f1264b38000 r-xp 00028000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1264b38000-7f1264b8e000 r--p 0018c000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1264b8e000-7f1264b92000 r--p 001e1000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1264b92000-7f1264b94000 rw-p 001e5000 09:03 7647837 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1264b94000-7f1264ba1000 rw-p 00000000 00:00 0 7f1264baf000-7f1264bb1000 rw-p 00000000 00:00 0 7f1264bb1000-7f1264bb2000 r--p 00000000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1264bb2000-7f1264bda000 r-xp 00001000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1264bda000-7f1264be5000 r--p 00029000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1264be5000-7f1264be7000 r--p 00034000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1264be7000-7f1264be8000 rw-p 00036000 09:03 7647817 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1264be8000-7f1264be9000 rw-p 00000000 00:00 0 7fffe12ec000-7fffe130d000 rw-p 00000000 00:00 0 [stack] 7fffe1349000-7fffe134d000 r--p 00000000 00:00 0 [vvar] 7fffe134d000-7fffe134f000 r-xp 00000000 00:00 0 [vdso] @latency[0]: [1] 8 | | [2, 4) 27 |@@@ | [4, 8) 56 |@@@@@@ | [8, 16) 417 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 317 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@ | @latency[5705]: [0] 76 |@ | [1] 941 |@@@@@@@@@@@@@@@@ | [2, 4) 2961 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1219 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 786 |@@@@@@@@@@@@@ | [16, 32) 60 |@ | [32, 64) 1 | | @latency[5707]: [0] 83 |@ | [1] 1020 |@@@@@@@@@@@@@@@@@ | [2, 4) 3113 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1043 |@@@@@@@@@@@@@@@@@ | [8, 16) 714 |@@@@@@@@@@@ | [16, 32) 69 |@ | [32, 64) 2 | | @latency[5703]: [0] 63 |@ | [1] 767 |@@@@@@@@@@@@@ | [2, 4) 3017 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1225 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 905 |@@@@@@@@@@@@@@@ | [16, 32) 79 |@ | [32, 64) 3 | | @latency[5701]: [0] 17 | | [1] 1168 |@@@@@@@@@@@@@@ | [2, 4) 4289 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1723 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1926 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 598 |@@@@@@@ | [32, 64) 21 | | @latency[5706]: [0] 4 | | [1] 393 |@@ | [2, 4) 663 |@@@@ | [4, 8) 724 |@@@@ | [8, 16) 7888 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 111 | | [32, 64) 3 | | @latency[5708]: [0] 5 | | [1] 633 |@@ | [2, 4) 1105 |@@@@ | [4, 8) 1108 |@@@@ | [8, 16) 12886 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 181 | | [32, 64) 6 | | @latency[5704]: [0] 5 | | [1] 977 |@@@ | [2, 4) 1211 |@@@ | [4, 8) 1514 |@@@@ | [8, 16) 16114 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 210 | | [32, 64) 10 | | @latency[5702]: [0] 1364 | | [1] 301715 |@@@@ | [2, 4) 242001 |@@@ | [4, 8) 315507 |@@@@@ | [8, 16) 3265804 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 102228 |@ | [32, 64) 1426 | | [64, 128) 18 | | @latency[4729]: [0] 22645 | | [1] 471949 |@@@ | [2, 4) 1316821 |@@@@@@@@@ | [4, 8) 669285 |@@@@ | [8, 16) 7362514 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 445648 |@@@ | [32, 64) 72346 | | [64, 128) 33444 | | [128, 256) 12 | | [Thu Jan 15 14:52:23 UTC 2026] respawn: 0: stopped pid 26 with status 0 [Thu Jan 15 14:52:23 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 15 14:52:24 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace --no-warnings /data/bpftrace/udp_sendmsg_delay.bt -p 9 osmo-bts-trx