[Mon Jan 12 13:57:09 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 8 --unsafe osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 24 root cwd DIR 9,3 4096 13773703 /data udp_sendm 24 root rtd DIR 0,90 4096 7113328 / udp_sendm 24 root txt REG 0,90 125640 28221037 /usr/bin/dash udp_sendm 24 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,90) udp_sendm 24 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,90) udp_sendm 24 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,90) udp_sendm 24 root 0r CHR LG 1,3 0t0 17 /dev/null udp_sendm 24 root 1w FIFO W 0,13 0t0 1843487834 pipe udp_sendm 24 root 2w FIFO W 0,13 0t0 1843472827 pipe udp_sendm 24 root 10r REG LG,CX 9,3 106 13773718 /data/bpftrace/udp_sendmsg_delay.sh maps output: 5612e6cbc000-5612e6cc0000 r--p 00000000 09:03 28221037 /usr/bin/dash 5612e6cc0000-5612e6cd3000 r-xp 00004000 09:03 28221037 /usr/bin/dash 5612e6cd3000-5612e6cd9000 r--p 00017000 09:03 28221037 /usr/bin/dash 5612e6cd9000-5612e6cdb000 r--p 0001c000 09:03 28221037 /usr/bin/dash 5612e6cdb000-5612e6cdc000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 5612e6cdc000-5612e6cde000 rw-p 00000000 00:00 0 561317979000-56131799a000 rw-p 00000000 00:00 0 [heap] 7f9bcbb68000-7f9bcbb6b000 rw-p 00000000 00:00 0 7f9bcbb6b000-7f9bcbb91000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9bcbb91000-7f9bcbce7000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9bcbce7000-7f9bcbd3a000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9bcbd3a000-7f9bcbd3e000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9bcbd3e000-7f9bcbd40000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9bcbd40000-7f9bcbd4d000 rw-p 00000000 00:00 0 7f9bcbd5a000-7f9bcbd5c000 rw-p 00000000 00:00 0 7f9bcbd5c000-7f9bcbd5d000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9bcbd5d000-7f9bcbd83000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9bcbd83000-7f9bcbd8d000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9bcbd8d000-7f9bcbd8f000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9bcbd8f000-7f9bcbd91000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fffdac44000-7fffdac65000 rw-p 00000000 00:00 0 [stack] 7fffdad35000-7fffdad39000 r--p 00000000 00:00 0 [vvar] 7fffdad39000-7fffdad3b000 r-xp 00000000 00:00 0 [vdso] @latency[0]: [2, 4) 3 | | [4, 8) 52 |@@@ | [8, 16) 36 |@@ | [16, 32) 699 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 50 |@@@ | [64, 128) 1 | | @latency[5705]: [1] 154 |@@ | [2, 4) 941 |@@@@@@@@@@@@ | [4, 8) 3987 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 214 |@@ | [16, 32) 761 |@@@@@@@@@ | [32, 64) 4 | | @latency[5707]: [1] 178 |@@ | [2, 4) 1334 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 3608 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 205 |@@ | [16, 32) 734 |@@@@@@@@@@ | [32, 64) 2 | | @latency[5703]: [1] 106 |@ | [2, 4) 755 |@@@@@@@@@@ | [4, 8) 3742 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 672 |@@@@@@@@@ | [16, 32) 790 |@@@@@@@@@@ | [32, 64) 11 | | [64, 128) 1 | | @latency[5704]: [2, 4) 23 | | [4, 8) 272 |@@ | [8, 16) 331 |@@ | [16, 32) 6914 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 40 | | [64, 128) 0 | | [128, 256) 1 | | @latency[5701]: [1] 34 | | [2, 4) 330 |@@ | [4, 8) 5868 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1379 |@@@@@@@@@@@@ | [16, 32) 2087 |@@@@@@@@@@@@@@@@@@ | [32, 64) 117 |@ | @latency[5702]: [1] 1465 | | [2, 4) 84319 |@ | [4, 8) 392255 |@@@@@ | [8, 16) 353901 |@@@@@ | [16, 32) 3426952 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 8841 | | [64, 128) 36 | | [128, 256) 1 | | @latency[4729]: [0] 12278 | | [1] 33810 | | [2, 4) 18219 | | [4, 8) 1720998 |@@@@@@@@@@ | [8, 16) 606546 |@@@ | [16, 32) 8615045 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 102016 | | [64, 128) 52864 | | [128, 256) 39 | | [Mon Jan 12 15:04:01 UTC 2026] respawn: 0: stopped pid 24 with status 0 [Mon Jan 12 15:04:01 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 15:04:03 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 25 root cwd DIR 9,3 4096 13773703 /data udp_sendm 25 root rtd DIR 0,62 4096 7236650 / udp_sendm 25 root txt REG 0,62 125640 28221037 /usr/bin/dash udp_sendm 25 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,62) udp_sendm 25 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,62) udp_sendm 25 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,62) udp_sendm 25 root 0r CHR LG 1,3 0t0 17 /dev/null udp_sendm 25 root 1w FIFO W 0,13 0t0 1844170578 pipe udp_sendm 25 root 2w FIFO W 0,13 0t0 1844170579 pipe udp_sendm 25 root 10r REG LG,CX 9,3 106 13773710 /data/bpftrace/udp_sendmsg_delay.sh maps output: 55d1f8dc5000-55d1f8dc9000 r--p 00000000 09:03 28221037 /usr/bin/dash 55d1f8dc9000-55d1f8ddc000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55d1f8ddc000-55d1f8de2000 r--p 00017000 09:03 28221037 /usr/bin/dash 55d1f8de2000-55d1f8de4000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55d1f8de4000-55d1f8de5000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55d1f8de5000-55d1f8de7000 rw-p 00000000 00:00 0 55d20ed69000-55d20ed8a000 rw-p 00000000 00:00 0 [heap] 7f39bbbda000-7f39bbbdd000 rw-p 00000000 00:00 0 7f39bbbdd000-7f39bbc03000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f39bbc03000-7f39bbd59000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f39bbd59000-7f39bbdac000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f39bbdac000-7f39bbdb0000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f39bbdb0000-7f39bbdb2000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f39bbdb2000-7f39bbdbf000 rw-p 00000000 00:00 0 7f39bbdcc000-7f39bbdce000 rw-p 00000000 00:00 0 7f39bbdce000-7f39bbdcf000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f39bbdcf000-7f39bbdf5000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f39bbdf5000-7f39bbdff000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f39bbdff000-7f39bbe01000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f39bbe01000-7f39bbe03000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fffd4119000-7fffd413a000 rw-p 00000000 00:00 0 [stack] 7fffd41c2000-7fffd41c6000 r--p 00000000 00:00 0 [vvar] 7fffd41c6000-7fffd41c8000 r-xp 00000000 00:00 0 [vdso] @latency[5703]: [0] 1 |@@@@@@ | [1] 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@ | @latency[5705]: [0] 1 |@@@@@@ | [1] 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@ | @latency[5707]: [0] 1 |@@@@@@@@ | [1] 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5701]: [1] 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@@ | @latency[4729]: [0] 1303 |@@@@@@@@ | [1] 8290 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 5284 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1777 |@@@@@@@@@@@ | [8, 16) 3493 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 43 | | [32, 64) 27 | | [64, 128) 32 | | [128, 256) 1 | | [Mon Jan 12 15:05:41 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Mon Jan 12 15:05:41 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 15:05:43 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME udp_sendm 25 root cwd DIR 9,3 4096 13773703 /data udp_sendm 25 root rtd DIR 0,80 4096 7236675 / udp_sendm 25 root txt REG 0,80 125640 28221037 /usr/bin/dash udp_sendm 25 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) udp_sendm 25 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) udp_sendm 25 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) udp_sendm 25 root 0r CHR LG 1,3 0t0 17 /dev/null udp_sendm 25 root 1w FIFO W 0,13 0t0 1844182501 pipe udp_sendm 25 root 2w FIFO W 0,13 0t0 1844182502 pipe udp_sendm 25 root 10r REG LG,CX 9,3 106 13773726 /data/bpftrace/udp_sendmsg_delay.sh maps output: 55f330ddd000-55f330de1000 r--p 00000000 09:03 28221037 /usr/bin/dash 55f330de1000-55f330df4000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55f330df4000-55f330dfa000 r--p 00017000 09:03 28221037 /usr/bin/dash 55f330dfa000-55f330dfc000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55f330dfc000-55f330dfd000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55f330dfd000-55f330dff000 rw-p 00000000 00:00 0 55f36d335000-55f36d356000 rw-p 00000000 00:00 0 [heap] 7fb38d6a6000-7fb38d6a9000 rw-p 00000000 00:00 0 7fb38d6a9000-7fb38d6cf000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb38d6cf000-7fb38d825000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb38d825000-7fb38d878000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb38d878000-7fb38d87c000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb38d87c000-7fb38d87e000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb38d87e000-7fb38d88b000 rw-p 00000000 00:00 0 7fb38d898000-7fb38d89a000 rw-p 00000000 00:00 0 7fb38d89a000-7fb38d89b000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb38d89b000-7fb38d8c1000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb38d8c1000-7fb38d8cb000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb38d8cb000-7fb38d8cd000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb38d8cd000-7fb38d8cf000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffefa116000-7ffefa137000 rw-p 00000000 00:00 0 [stack] 7ffefa17c000-7ffefa180000 r--p 00000000 00:00 0 [vvar] 7ffefa180000-7ffefa182000 r-xp 00000000 00:00 0 [vdso] @latency[0]: [2, 4) 6 | | [4, 8) 16 |@ | [8, 16) 650 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 155 |@@@@@@@@@@@@ | [32, 64) 15 |@ | @latency[5705]: [0] 89 |@ | [1] 1244 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2657 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1094 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 957 |@@@@@@@@@@@@@@@@@@ | [16, 32) 11 | | @latency[5707]: [0] 73 |@ | [1] 1149 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2965 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 953 |@@@@@@@@@@@@@@@@ | [8, 16) 890 |@@@@@@@@@@@@@@@ | [16, 32) 22 | | @latency[5703]: [0] 79 |@ | [1] 921 |@@@@@@@@@@@@@@@@@ | [2, 4) 2689 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1216 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1127 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 30 | | [32, 64) 1 | | @latency[5706]: [1] 69 | | [2, 4) 229 |@ | [4, 8) 616 |@@@ | [8, 16) 8765 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 32 | | [32, 64) 5 | | [64, 128) 1 | | @latency[5701]: [0] 19 | | [1] 1522 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3751 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1576 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2438 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 442 |@@@@@@ | [32, 64) 5 | | @latency[5708]: [0] 3 | | [1] 281 |@ | [2, 4) 588 |@@ | [4, 8) 1028 |@@@ | [8, 16) 13777 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 34 | | [32, 64) 4 | | @latency[5704]: [1] 249 | | [2, 4) 603 |@ | [4, 8) 1329 |@@@ | [8, 16) 17527 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 50 | | [32, 64) 10 | | @latency[5702]: [0] 782 | | [1] 107512 |@ | [2, 4) 115912 |@ | [4, 8) 260694 |@@@ | [8, 16) 3630057 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 41902 | | [32, 64) 1372 | | [64, 128) 29 | | @latency[4729]: [0] 30309 | | [1] 289923 |@ | [2, 4) 710048 |@@@@ | [4, 8) 573877 |@@@ | [8, 16) 8348281 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 148366 | | [32, 64) 120365 | | [64, 128) 3938 | | [128, 256) 18 | | [256, 512) 5 | | [Mon Jan 12 16:11:40 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Mon Jan 12 16:11:40 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 16:11:41 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 --unsafe osmo-bts-trx