[Thu Jan 1 01:31:11 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [16, 32) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16420]: [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16406]: [16, 32) 1 |@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [16, 32) 2 |@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16412]: [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16404]: [16, 32) 2 |@@@@@@ | [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [16, 32) 2 |@@@@@@ | [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[2427]: [4, 8) 1 |@@ | [8, 16) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 |@@ | @latency[16432]: [16, 32) 2 |@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16428]: [16, 32) 5 |@@@@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16426]: [16, 32) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16424]: [16, 32) 1 |@ | [32, 64) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16434]: [8, 16) 2 |@@@@ | [16, 32) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16430]: [4, 8) 1 |@@ | [8, 16) 4 |@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[1984]: [16, 32) 5 |@@@@@ | [32, 64) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@ | @latency[16394]: [16, 32) 2 |@ | [32, 64) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16400]: [4, 8) 1 | | [8, 16) 4 |@@ | [16, 32) 5 |@@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16398]: [8, 16) 2 |@ | [16, 32) 9 |@@@@@ | [32, 64) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@ | @latency[16396]: [16, 32) 2 |@ | [32, 64) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16402]: [8, 16) 3 |@ | [16, 32) 5 |@@ | [32, 64) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16416]: [2, 4) 1 | | [4, 8) 0 | | [8, 16) 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16422]: [8, 16) 2 |@ | [16, 32) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 98 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[53]: [1] 12 | | [2, 4) 563 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 483 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 213 |@@@@@@@@@@@@@@ | [16, 32) 429 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 771 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 100 |@@@@@@ | [128, 256) 1 | | @latency[5707]: [1] 75 |@ | [2, 4) 2844 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2269 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 166 |@@@ | [16, 32) 720 |@@@@@@@@@@@@@ | [32, 64) 7 | | @latency[5705]: [1] 98 |@ | [2, 4) 2111 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2977 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 183 |@@@ | [16, 32) 708 |@@@@@@@@@@@@ | [32, 64) 4 | | @latency[5703]: [1] 80 |@ | [2, 4) 2033 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2435 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 823 |@@@@@@@@@@@@@@@@@ | [16, 32) 722 |@@@@@@@@@@@@@@@ | [32, 64) 4 | | @latency[6701]: [1] 285 |@@@@@@ | [2, 4) 1392 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1137 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2336 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1129 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 914 |@@@@@@@@@@@@@@@@@@@@ | [64, 128) 38 | | [128, 256) 1 | | @latency[5704]: [2, 4) 4 | | [4, 8) 127 | | [8, 16) 64 | | [16, 32) 7534 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 55 | | @latency[5701]: [1] 79 |@ | [2, 4) 2629 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 3822 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1540 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2422 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 223 |@@@ | [64, 128) 22 | | @latency[6702]: [1] 210983 |@@@ | [2, 4) 146906 |@@ | [4, 8) 299450 |@@@@@ | [8, 16) 2836290 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 122976 |@@ | [32, 64) 111063 |@@ | [64, 128) 1473 | | [128, 256) 103 | | [256, 512) 14 | | [512, 1K) 6 | | [1K, 2K) 0 | | [2K, 4K) 2 | | @latency[5702]: [1] 4264 | | [2, 4) 354905 |@@@@@@@@ | [4, 8) 358553 |@@@@@@@@ | [8, 16) 1314149 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2214389 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3179 | | [64, 128) 17 | | @latency[0]: [0] 1973 | | [1] 516576 |@@@@ | [2, 4) 662904 |@@@@@ | [4, 8) 251976 |@@ | [8, 16) 5784414 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 141879 |@ | [32, 64) 141171 |@ | [64, 128) 7729 | | [128, 256) 7 | | [256, 512) 2 | | @latency[4729]: [0] 16354 | | [1] 691375 |@@@@ | [2, 4) 450965 |@@ | [4, 8) 2383999 |@@@@@@@@@@@@@@@ | [8, 16) 455398 |@@ | [16, 32) 8249524 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 106070 | | [64, 128) 32045 | | [128, 256) 29 | | [Thu Jan 1 02:37:49 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Thu Jan 1 02:37:49 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:37:51 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 1 |@@ | [1] 1 |@@ | [2, 4) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 7 |@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@@ | [16, 32) 0 | | [32, 64) 1 |@@ | @latency[5705]: [0] 1 |@ | [1] 1 |@ | [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@@@@@@ | [8, 16) 1 |@ | [16, 32) 1 |@ | @latency[5707]: [0] 2 |@@@@@ | [1] 1 |@@ | [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@@@@@@@@@@@@ | [8, 16) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@ | @latency[5701]: [0] 2 |@@@ | [1] 5 |@@@@@@@@@ | [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@ | [16, 32) 4 |@@@@@@@ | @latency[0]: [2, 4) 19 |@@@@@@@@@@@@@@@@@@ | [4, 8) 54 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@ | [64, 128) 4 |@@@ | @latency[4729]: [0] 1582 |@@@@@@@ | [1] 10947 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 3274 |@@@@@@@@@@@@@@@ | [4, 8) 1322 |@@@@@@ | [8, 16) 3439 |@@@@@@@@@@@@@@@@ | [16, 32) 66 | | [32, 64) 23 | | [64, 128) 52 | | [Thu Jan 1 02:39:31 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Thu Jan 1 02:39:31 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:39:32 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 [Thu Jan 1 02:39:34 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [1] 57 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 102 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 33 |@@@@@@@@@@@@@@@@ | [8, 16) 21 |@@@@@@@@@@ | @latency[5705]: [1] 54 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 48 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 12 |@@@@@@ | [16, 32) 2 |@ | @latency[5707]: [1] 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 102 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 33 |@@@@@@@@@@@@@@@@ | [8, 16) 12 |@@@@@@ | [16, 32) 1 | | @latency[5706]: [1] 143 |@@@@@@@@@@@@@@@@ | [2, 4) 61 |@@@@@@@ | [4, 8) 57 |@@@@@@ | [8, 16) 447 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 20 |@@ | [32, 64) 2 | | @latency[6701]: [1] 55 |@@@@@@@@@ | [2, 4) 255 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 168 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 316 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 104 |@@@@@@@@@@@@@@@@@ | [32, 64) 45 |@@@@@@@ | [64, 128) 11 |@ | @latency[5708]: [0] 1 | | [1] 366 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 210 |@@@@@@@@@@@@@@@@@@ | [4, 8) 94 |@@@@@@@@ | [8, 16) 586 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 28 |@@ | [32, 64) 1 | | @latency[5704]: [0] 3 | | [1] 353 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 102 |@@@@@@ | [4, 8) 97 |@@@@@ | [8, 16) 871 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 35 |@@ | [32, 64) 1 | | @latency[5701]: [0] 1 | | [1] 194 |@@@@@@@@@ | [2, 4) 1074 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 92 |@@@@ | [8, 16) 105 |@@@@@ | [16, 32) 37 |@ | [32, 64) 7 | | @latency[6702]: [0] 4 | | [1] 42985 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 19349 |@@@@@@@@@@@@ | [4, 8) 16173 |@@@@@@@@@@ | [8, 16) 77435 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 8701 |@@@@@ | [32, 64) 7528 |@@@@@ | [64, 128) 579 | | [128, 256) 3 | | @latency[5702]: [0] 348 | | [1] 92997 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 26124 |@@@@@@@@@@@@@@ | [4, 8) 35941 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 92164 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3278 |@ | [32, 64) 44 | | [64, 128) 2 | | @latency[0]: [0] 150 | | [1] 105718 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 45881 |@@@@@@@@@@@@@@@ | [4, 8) 19399 |@@@@@@ | [8, 16) 155511 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12406 |@@@@ | [32, 64) 9833 |@@@ | [64, 128) 566 | | @latency[4729]: [0] 876 | | [1] 231897 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 96382 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 50600 |@@@@@@@@@@ | [8, 16) 257132 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 27038 |@@@@@ | [32, 64) 5263 |@ | [64, 128) 571 | | [Thu Jan 1 02:42:54 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Thu Jan 1 02:42:54 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:42:55 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[6701]: [2, 4) 2 |@@@@@@@@ | [4, 8) 2 |@@@@@@@@ | [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 |@@@@@@@@@@@@@@@@ | [32, 64) 4 |@@@@@@@@@@@@@@@@ | @latency[5703]: [1] 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 4 |@@@@@@@@ | [4, 8) 6 |@@@@@@@@@@@@ | [8, 16) 5 |@@@@@@@@@@ | @latency[5705]: [1] 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@@ | [8, 16) 4 |@@@@@@@@@ | @latency[5707]: [1] 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 9 |@@@@@@@@@@@@@@@@@ | [4, 8) 0 | | [8, 16) 3 |@@@@@ | [16, 32) 1 |@ | @latency[5701]: [1] 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@ | [8, 16) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4 |@@@@@@@@@ | [32, 64) 2 |@@@@ | @latency[6702]: [1] 885 |@@@@ | [2, 4) 605 |@@@ | [4, 8) 1024 |@@@@@ | [8, 16) 9996 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 369 |@ | [32, 64) 365 |@ | [64, 128) 16 | | [128, 256) 2 | | [256, 512) 1 | | @latency[5702]: [0] 236 |@ | [1] 1142 |@@@@@@ | [2, 4) 756 |@@@@ | [4, 8) 2663 |@@@@@@@@@@@@@@@ | [8, 16) 9036 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 56 | | [32, 64) 1 | | @latency[0]: [0] 10 | | [1] 1680 |@@@@ | [2, 4) 1366 |@@@ | [4, 8) 1881 |@@@@ | [8, 16) 20047 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 685 |@ | [32, 64) 1144 |@@ | [64, 128) 66 | | @latency[4729]: [0] 91 | | [1] 7647 |@@@@@@@@@@@@@ | [2, 4) 3788 |@@@@@@ | [4, 8) 5125 |@@@@@@@@@ | [8, 16) 28549 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 484 | | [32, 64) 115 | | [64, 128) 34 | | [128, 256) 1 | | [Thu Jan 1 02:43:21 UTC 2026] respawn: 1: stopped pid 38 with status 0 [Thu Jan 1 02:43:21 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:43:22 UTC 2026] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Thu Jan 1 02:43:22 UTC 2026] respawn: 2: stopped pid 58 with status 1 [Thu Jan 1 02:43:22 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:43:23 UTC 2026] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 64 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [16, 32) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 0 | | [64, 128) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5707]: [0] 6 | | [1] 297 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 323 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 72 |@@@@@@@@@@@ | [8, 16) 59 |@@@@@@@@@ | [16, 32) 9 |@ | [32, 64) 1 | | @latency[5705]: [0] 5 | | [1] 305 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 308 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 82 |@@@@@@@@@@@@@ | [8, 16) 65 |@@@@@@@@@@ | [16, 32) 3 | | @latency[5703]: [0] 4 | | [1] 268 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 335 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 103 |@@@@@@@@@@@@@@@ | [8, 16) 58 |@@@@@@@@@ | [16, 32) 4 | | @latency[6701]: [1] 45 |@@@@@@@ | [2, 4) 180 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 216 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 309 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 148 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 72 |@@@@@@@@@@@@ | [64, 128) 23 |@@@ | @latency[5706]: [0] 18 |@ | [1] 37 |@@@ | [2, 4) 542 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 108 |@@@@@@@@@@ | [8, 16) 414 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 | | @latency[5701]: [0] 4 | | [1] 271 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 448 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 209 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 213 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 91 |@@@@@@@@@@ | [32, 64) 5 | | [64, 128) 2 | | @latency[5704]: [0] 19 |@ | [1] 108 |@@@@@@@@@ | [2, 4) 576 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 146 |@@@@@@@@@@@@@ | [8, 16) 536 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 | | @latency[5708]: [0] 15 |@ | [1] 87 |@@@@@@@ | [2, 4) 626 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 145 |@@@@@@@@@@@@ | [8, 16) 584 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 8 | | [32, 64) 1 | | @latency[6702]: [0] 18 | | [1] 67398 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 55313 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 93743 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 118200 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 32407 |@@@@@@@@@@@@@@ | [32, 64) 16466 |@@@@@@@ | [64, 128) 2294 |@ | [128, 256) 27 | | [256, 512) 5 | | [512, 1K) 2 | | @latency[5702]: [0] 1071 | | [1] 170682 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 80050 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 88507 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 161339 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5459 |@ | [32, 64) 130 | | [64, 128) 15 | | @latency[0]: [0] 720 | | [1] 135807 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 231798 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 101844 |@@@@@@@@@@@@@@@@@@ | [8, 16) 282238 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 16931 |@@@ | [32, 64) 8330 |@ | [64, 128) 345 | | [128, 256) 1 | | @latency[4729]: [0] 6281 | | [1] 395360 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 348657 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 222253 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 469104 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 19601 |@@ | [32, 64) 10884 |@ | [64, 128) 742 | | [128, 256) 8 | | [256, 512) 4 | | [512, 1K) 0 | | [1K, 2K) 1 | | [Thu Jan 1 02:51:35 UTC 2026] respawn: 3: stopped pid 67 with status 0 [Thu Jan 1 02:51:35 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:51:36 UTC 2026] respawn: 4: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 85 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[3989354]: 0 @dport[3989505]: 6701 @latency[5704]: [1] 4 |@@@ | [2, 4) 15 |@@@@@@@@@@@@ | [4, 8) 19 |@@@@@@@@@@@@@@@ | [8, 16) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 | | @latency[5706]: [1] 5 |@@@ | [2, 4) 20 |@@@@@@@@@@@@@@@ | [4, 8) 11 |@@@@@@@@ | [8, 16) 67 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 0 | | [32, 64) 1 | | [64, 128) 1 | | @latency[6701]: [1] 11 |@@@@@@@@@ | [2, 4) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 52 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 20 |@@@@@@@@@@@@@@@@ | [64, 128) 7 |@@@@@ | [128, 256) 1 | | @latency[53]: [2, 4) 101 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 11 |@@@@@ | [16, 32) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 6 |@@@ | @latency[5703]: [0] 4 |@ | [1] 163 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 157 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 25 |@@@@@@@ | [8, 16) 32 |@@@@@@@@@@ | [16, 32) 2 | | @latency[5705]: [0] 4 |@ | [1] 151 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 176 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 18 |@@@@@ | [8, 16) 33 |@@@@@@@@@ | [16, 32) 1 | | @latency[5707]: [0] 4 |@ | [1] 171 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 154 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 18 |@@@@@ | [8, 16) 34 |@@@@@@@@@@ | [16, 32) 2 | | @latency[5708]: [1] 40 |@@@@@@@@@@ | [2, 4) 109 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 97 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 204 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3 | | @latency[5701]: [0] 6 |@ | [1] 142 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 60 |@@@@@@@@@@@@@@ | [8, 16) 70 |@@@@@@@@@@@@@@@@@ | [16, 32) 40 |@@@@@@@@@ | [32, 64) 8 |@ | [64, 128) 2 | | @latency[6702]: [0] 17 | | [1] 96591 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 50785 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 59129 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 96231 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 20373 |@@@@@@@@@@ | [32, 64) 10157 |@@@@@ | [64, 128) 1385 | | [128, 256) 22 | | [256, 512) 4 | | [512, 1K) 1 | | @latency[5702]: [0] 1147 | | [1] 141332 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 52583 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 63216 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 89831 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1187 | | [32, 64) 41 | | [64, 128) 5 | | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[0]: [0] 808 | | [1] 170803 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 176166 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 85201 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 221134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12177 |@@ | [32, 64) 6443 |@ | [64, 128) 264 | | [128, 256) 2 | | @latency[4729]: [0] 2284 | | [1] 386836 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 196342 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 129934 |@@@@@@@@@@@@@@@@@ | [8, 16) 292940 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11615 |@ | [32, 64) 3310 | | [64, 128) 192 | | [128, 256) 4 | | [256, 512) 0 | | [512, 1K) 1 | | [1K, 2K) 1 | | @start[3989505]: 69764393722743465 @start[3989354]: 69764393722961183 [Thu Jan 1 02:56:34 UTC 2026] respawn: 4: stopped pid 88 with status 0 [Thu Jan 1 02:56:34 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:56:35 UTC 2026] respawn: 5: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 106 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[6701]: [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 |@@@@@@@@@@@@@@@@ | @latency[5703]: [0] 1 | | [1] 100 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@ | [8, 16) 2 |@ | @latency[5705]: [1] 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 83 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 10 |@@@@@ | [8, 16) 2 |@ | @latency[5707]: [0] 1 | | [1] 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 90 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8 |@@@@ | [8, 16) 2 |@ | @latency[5701]: [1] 82 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 115 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 30 |@@@@@@@@@@@@@ | [8, 16) 15 |@@@@@@ | [16, 32) 7 |@@@ | [32, 64) 3 |@ | @latency[6702]: [0] 1 | | [1] 32150 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 17321 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 12947 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5193 |@@@@@@@@ | [16, 32) 864 |@ | [32, 64) 109 | | [64, 128) 14 | | @latency[5702]: [0] 559 | | [1] 56023 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 9606 |@@@@@@@@ | [4, 8) 1872 |@ | [8, 16) 1294 |@ | [16, 32) 30 | | @latency[0]: [0] 112 | | [1] 77425 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 50179 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 4852 |@@@ | [8, 16) 5277 |@@@ | [16, 32) 349 | | [32, 64) 48 | | [64, 128) 7 | | @latency[4729]: [0] 1556 | | [1] 159393 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 47674 |@@@@@@@@@@@@@@@ | [4, 8) 13763 |@@@@ | [8, 16) 8113 |@@ | [16, 32) 563 | | [32, 64) 78 | | [64, 128) 5 | | [128, 256) 0 | | [256, 512) 1 | | [Thu Jan 1 02:58:04 UTC 2026] respawn: 5: stopped pid 109 with status 0 [Thu Jan 1 02:58:04 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 02:58:05 UTC 2026] respawn: 6: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 127 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[6701]: [4, 8) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5703]: [1] 2 | | [2, 4) 56 |@@@@@@@@@@@@@@@@@ | [4, 8) 170 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 41 |@@@@@@@@@@@@ | [16, 32) 3 | | @latency[5705]: [2, 4) 57 |@@@@@@@@@@@@@@@@@ | [4, 8) 172 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 38 |@@@@@@@@@@@ | [16, 32) 5 |@ | @latency[5707]: [1] 1 | | [2, 4) 59 |@@@@@@@@@@@@@@@@@ | [4, 8) 172 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 37 |@@@@@@@@@@@ | [16, 32) 3 | | @latency[53]: [1] 2 | | [2, 4) 1 | | [4, 8) 43 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 24 |@@@@@@@@@@@ | [32, 64) 47 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 110 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5701]: [2, 4) 46 |@@@@@@@@@@@@@ | [4, 8) 184 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 79 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 44 |@@@@@@@@@@@@ | [32, 64) 6 |@ | @latency[6702]: [0] 2 | | [1] 19255 |@@@@@@@@@@@@@@ | [2, 4) 26146 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 66801 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 12575 |@@@@@@@@@ | [16, 32) 3073 |@@ | [32, 64) 150 | | [64, 128) 23 | | [128, 256) 2 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5702]: [0] 18 | | [1] 1910 |@ | [2, 4) 76050 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 57651 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5671 |@@@ | [16, 32) 3597 |@@ | [32, 64) 11 | | [64, 128) 1 | | @latency[0]: [0] 778 | | [1] 82204 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 146722 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 14826 |@@@@@ | [8, 16) 9893 |@@@ | [16, 32) 3035 |@ | [32, 64) 571 | | [64, 128) 4 | | @latency[4729]: [0] 2095 | | [1] 11716 |@@ | [2, 4) 102273 |@@@@@@@@@@@@@@@@@@ | [4, 8) 284165 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 18273 |@@@ | [16, 32) 11818 |@@ | [32, 64) 2933 | | [64, 128) 139 | | [128, 256) 3 | | [256, 512) 1 | | [512, 1K) 1 | | [1K, 2K) 1 | | [Thu Jan 1 03:00:42 UTC 2026] respawn: 6: stopped pid 130 with status 0 [Thu Jan 1 03:00:42 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 03:00:43 UTC 2026] respawn: 7: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 148 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[436867]: 0 @dport[3988975]: 4729 @dport[436674]: 4729 @dport[437004]: 6702 @latency[16408]: [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@ | @latency[16410]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16394]: [16, 32) 1 |@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16396]: [16, 32) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 4 |@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@@@ | @latency[16400]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16402]: [16, 32) 2 |@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16398]: [16, 32) 2 |@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16404]: [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16422]: [16, 32) 2 |@@@ | [32, 64) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@ | @latency[16416]: [16, 32) 4 |@@@@@@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16418]: [8, 16) 1 |@ | [16, 32) 3 |@@@@@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16414]: [16, 32) 5 |@@@@@@@@@@@@@ | [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16424]: [16, 32) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@ | @latency[16420]: [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[1984]: [16, 32) 9 |@@@@@@@@@@@ | [32, 64) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@ | @latency[16388]: [8, 16) 16 |@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@ | [32, 64) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16386]: [8, 16) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@@@@@@ | [32, 64) 52 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@ | @latency[16384]: [8, 16) 1 | | [16, 32) 4 |@@ | [32, 64) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@ | @latency[16392]: [8, 16) 3 |@ | [16, 32) 10 |@@@@@ | [32, 64) 87 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16390]: [8, 16) 5 |@@ | [16, 32) 5 |@@ | [32, 64) 88 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16406]: [8, 16) 1 | | [16, 32) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 3 |@ | @latency[16412]: [4, 8) 1 | | [8, 16) 1 | | [16, 32) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 7 |@@@ | @latency[53]: [1] 1 | | [2, 4) 166 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 106 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 53 |@@@@@@@@@@@@@@@ | [16, 32) 157 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 174 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@ | @latency[5707]: [0] 61 |@ | [1] 1154 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2380 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 686 |@@@@@@@@@@@@@@ | [8, 16) 534 |@@@@@@@@@@@ | [16, 32) 178 |@@@ | [32, 64) 1 | | @latency[5705]: [0] 45 |@ | [1] 1106 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2141 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 958 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 610 |@@@@@@@@@@@@@@ | [16, 32) 136 |@@@ | [32, 64) 1 | | @latency[5703]: [0] 21 | | [1] 989 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2002 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1038 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 826 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 126 |@@@ | [32, 64) 2 | | @latency[5706]: [1] 85 | | [2, 4) 102 | | [4, 8) 219 |@@ | [8, 16) 5635 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 20 | | @latency[6701]: [1] 264 |@@@@@@ | [2, 4) 1278 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 942 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2036 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 938 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 879 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 98 |@@ | [128, 256) 1 | | [256, 512) 1 | | @latency[5701]: [0] 45 | | [1] 1168 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 3055 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1797 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1634 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1085 |@@@@@@@@@@@@@@@@@@ | [32, 64) 337 |@@@@@ | [64, 128) 45 | | @latency[5708]: [0] 2 | | [1] 110 | | [2, 4) 192 |@ | [4, 8) 334 |@ | [8, 16) 9497 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 30 | | [32, 64) 2 | | @latency[5704]: [1] 201 | | [2, 4) 210 | | [4, 8) 512 |@@ | [8, 16) 11790 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 38 | | @latency[6702]: [0] 2 | | [1] 53213 |@ | [2, 4) 42287 |@ | [4, 8) 67531 |@ | [8, 16) 1856615 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 267644 |@@@@@@@ | [32, 64) 133653 |@@@ | [64, 128) 3498 | | [128, 256) 135 | | [256, 512) 29 | | [512, 1K) 18 | | [1K, 2K) 1 | | @latency[5702]: [0] 1266 | | [1] 156460 |@@@ | [2, 4) 92025 |@@ | [4, 8) 373562 |@@@@@@@@ | [8, 16) 2373247 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 458046 |@@@@@@@@@@ | [32, 64) 618 | | [64, 128) 7 | | @latency[0]: [0] 291 | | [1] 109534 |@ | [2, 4) 130970 |@ | [4, 8) 139080 |@ | [8, 16) 4077121 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 207668 |@@ | [32, 64) 212111 |@@ | [64, 128) 12967 | | [128, 256) 1 | | @latency[4729]: [0] 23571 | | [1] 868107 |@@@@@@@@@ | [2, 4) 637306 |@@@@@@ | [4, 8) 666391 |@@@@@@@ | [8, 16) 4870358 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2428977 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 96376 |@ | [64, 128) 5840 | | [128, 256) 44 | | [256, 512) 26 | | [512, 1K) 34 | | [1K, 2K) 3 | | @start[3988975]: 69767163653835231 @start[437004]: 69767163686528058 @start[436867]: 69767163686647437 @start[436674]: 69767163686684665 [Thu Jan 1 03:42:44 UTC 2026] respawn: 7: stopped pid 151 with status 0 [Thu Jan 1 03:42:44 UTC 2026] respawn: sleeping 1 seconds... [Thu Jan 1 03:42:45 UTC 2026] respawn: 8: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 148 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end.