[Wed Jan 7 01:32:01 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[3436516]: 0 @dport[3436194]: 4729 @dport[3436330]: 4729 @latency[16418]: [16, 32) 1 |@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@@ | @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16404]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [8, 16) 1 |@@@@ | [16, 32) 3 |@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@ | @latency[16408]: [16, 32) 1 |@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16414]: [16, 32) 4 |@@@@@@@@@@@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [16, 32) 2 |@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16426]: [16, 32) 3 |@@@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [8, 16) 1 |@@ | [16, 32) 9 |@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16428]: [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16434]: [8, 16) 4 |@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16430]: [8, 16) 5 |@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[1984]: [16, 32) 8 |@@@@@@@@@@ | [32, 64) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@ | @latency[16394]: [16, 32) 2 |@ | [32, 64) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | [128, 256) 1 | | @latency[16398]: [32, 64) 95 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16402]: [8, 16) 12 |@@@@@@@@@ | [16, 32) 12 |@@@@@@@@@ | [32, 64) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 11 |@@@@@@@@ | @latency[16396]: [16, 32) 1 | | [32, 64) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16400]: [8, 16) 17 |@@@@@@@@@@@@@@@ | [16, 32) 14 |@@@@@@@@@@@@@ | [32, 64) 56 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 14 |@@@@@@@@@@@@@ | @latency[16416]: [8, 16) 39 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 100 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@ | @latency[16422]: [8, 16) 7 |@@@ | [16, 32) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 90 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@ | @latency[53]: [1] 25 |@@@@ | [2, 4) 265 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 104 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 54 |@@@@@@@@@@ | [16, 32) 192 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 213 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 5 | | [128, 256) 3 | | @latency[5707]: [0] 79 |@ | [1] 1151 |@@@@@@@@@@@@@@@@@@ | [2, 4) 3263 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 711 |@@@@@@@@@@@ | [8, 16) 808 |@@@@@@@@@@@@ | [16, 32) 80 |@ | [32, 64) 1 | | @latency[5705]: [0] 55 |@ | [1] 1179 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2792 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1166 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 851 |@@@@@@@@@@@@@@@ | [16, 32) 53 | | @latency[5703]: [0] 24 | | [1] 1073 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2421 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1406 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1147 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 40 | | [32, 64) 1 | | @latency[6701]: [1] 404 |@@@@@@@@ | [2, 4) 1409 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 815 |@@@@@@@@@@@@@@@@ | [8, 16) 2541 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 805 |@@@@@@@@@@@@@@@@ | [32, 64) 1164 |@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 129 |@@ | [128, 256) 2 | | @latency[5704]: [1] 3 | | [2, 4) 11 | | [4, 8) 210 |@ | [8, 16) 7263 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 64 | | [32, 64) 11 | | @latency[5701]: [0] 58 | | [1] 1721 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3882 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 952 |@@@@@@@@@@@@ | [8, 16) 3042 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 556 |@@@@@@@ | [32, 64) 509 |@@@@@@ | [64, 128) 46 | | [128, 256) 1 | | [256, 512) 1 | | @latency[6702]: [1] 65840 |@ | [2, 4) 52077 | | [4, 8) 72327 |@ | [8, 16) 3343923 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 131021 |@@ | [32, 64) 108429 |@ | [64, 128) 3455 | | [128, 256) 63 | | [256, 512) 7 | | [512, 1K) 3 | | @latency[5702]: [0] 697 | | [1] 117279 |@ | [2, 4) 63045 | | [4, 8) 697732 |@@@@@@@@@@ | [8, 16) 3399500 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 22325 | | [32, 64) 294 | | [64, 128) 6 | | @latency[0]: [0] 97 | | [1] 93887 | | [2, 4) 169337 |@ | [4, 8) 150008 |@ | [8, 16) 6496601 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 351132 |@@ | [32, 64) 322873 |@@ | [64, 128) 19058 | | [128, 256) 2 | | @latency[4729]: [0] 29929 | | [1] 955988 |@@@@@ | [2, 4) 807994 |@@@@ | [4, 8) 641377 |@@@ | [8, 16) 9911135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 101912 | | [32, 64) 77873 | | [64, 128) 5840 | | [128, 256) 17 | | [256, 512) 4 | | [512, 1K) 1 | | @start[3436516]: 70281765538567901 @start[3436330]: 70281765548205280 @start[3436194]: 70281765548414550 [Wed Jan 7 02:39:26 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Wed Jan 7 02:39:26 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 02:39:28 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 1 |@@@ | [1] 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | [8, 16) 1 |@@@ | [16, 32) 2 |@@@@@@ | @latency[5705]: [0] 2 |@@@@@@ | [1] 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@ | [8, 16) 2 |@@@@@@ | @latency[5707]: [0] 1 |@@ | [1] 5 |@@@@@@@@@@@@@ | [2, 4) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@ | [8, 16) 8 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@ | @latency[5701]: [0] 3 |@@@@@@ | [1] 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 5 |@@@@@@@@@@ | [4, 8) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 11 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@ | @latency[0]: [1] 3 |@@ | [2, 4) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 24 |@@@@@@@@@@@@@@@@ | [8, 16) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9 |@@@@@@ | [32, 64) 18 |@@@@@@@@@@@@ | [64, 128) 5 |@@@ | @latency[4729]: [0] 1539 |@@@@@@ | [1] 12763 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2066 |@@@@@@@@ | [4, 8) 603 |@@ | [8, 16) 3628 |@@@@@@@@@@@@@@ | [16, 32) 39 | | [32, 64) 12 | | [64, 128) 55 | | [Wed Jan 7 02:41:08 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Wed Jan 7 02:41:08 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 02:41:10 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [1] 1 | | [2, 4) 203 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 82 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 30 |@@@@@@@ | [16, 32) 161 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 162 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 9 |@@ | @latency[5705]: [0] 13 |@ | [1] 307 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 576 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 203 |@@@@@@@@@@@@@@@@@@ | [8, 16) 172 |@@@@@@@@@@@@@@@ | [16, 32) 7 | | @latency[5707]: [0] 18 |@ | [1] 326 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 614 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 152 |@@@@@@@@@@@@ | [8, 16) 156 |@@@@@@@@@@@@@ | [16, 32) 12 |@ | @latency[5703]: [0] 8 | | [1] 309 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 480 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 257 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 210 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18 |@ | @latency[6701]: [1] 125 |@@@@@@@ | [2, 4) 524 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 291 |@@@@@@@@@@@@@@@@@ | [8, 16) 886 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 338 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 308 |@@@@@@@@@@@@@@@@@@ | [64, 128) 112 |@@@@@@ | @latency[5706]: [0] 1 | | [1] 120 |@@ | [2, 4) 215 |@@@@ | [4, 8) 108 |@@ | [8, 16) 2363 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 20 | | [32, 64) 3 | | @latency[5701]: [0] 17 | | [1] 633 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 939 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 489 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 954 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 149 |@@@@@@@@ | [32, 64) 76 |@@@@ | [64, 128) 9 | | @latency[5704]: [0] 2 | | [1] 134 |@ | [2, 4) 232 |@@ | [4, 8) 166 |@@ | [8, 16) 4201 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 23 | | [32, 64) 4 | | @latency[5708]: [0] 3 | | [1] 202 |@@ | [2, 4) 303 |@@@ | [4, 8) 197 |@@ | [8, 16) 4127 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 18 | | [32, 64) 3 | | @latency[6702]: [0] 4 | | [1] 71089 |@@@@@@ | [2, 4) 46778 |@@@@ | [4, 8) 43766 |@@@@ | [8, 16) 566525 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 118311 |@@@@@@@@@@ | [32, 64) 60992 |@@@@@ | [64, 128) 9371 | | [128, 256) 26 | | [256, 512) 5 | | [512, 1K) 6 | | [1K, 2K) 1 | | @latency[5702]: [0] 1146 | | [1] 148673 |@@@@@@@@@ | [2, 4) 38671 |@@ | [4, 8) 190066 |@@@@@@@@@@@ | [8, 16) 825732 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9531 | | [32, 64) 276 | | [64, 128) 2 | | @latency[0]: [0] 585 | | [1] 149243 |@@@@@ | [2, 4) 141421 |@@@@@ | [4, 8) 59378 |@@ | [8, 16) 1338503 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 64847 |@@ | [32, 64) 88414 |@@@ | [64, 128) 4746 | | [128, 256) 2 | | @latency[4729]: [0] 8361 | | [1] 514380 |@@@@@@@@@@@ | [2, 4) 246584 |@@@@@ | [4, 8) 178719 |@@@ | [8, 16) 2350858 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 24449 | | [32, 64) 29473 | | [64, 128) 2003 | | [128, 256) 5 | | [256, 512) 1 | | [512, 1K) 1 | | [Wed Jan 7 02:58:15 UTC 2026] respawn: 0: stopped pid 18 with status 0 [Wed Jan 7 02:58:15 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 02:58:16 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 36 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [1] 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[6701]: [4, 8) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 0 | | [32, 64) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5703]: [1] 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@@@ | [8, 16) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5705]: [1] 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 6 |@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@ | @latency[5707]: [1] 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@@ | [8, 16) 2 |@@@@@ | [16, 32) 3 |@@@@@@@@ | @latency[5701]: [1] 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@ | [8, 16) 5 |@@@@@@@@@@@@@ | [16, 32) 4 |@@@@@@@@@@ | [32, 64) 3 |@@@@@@@ | @latency[6702]: [1] 5560 |@@@@@@@ | [2, 4) 5336 |@@@@@@ | [4, 8) 5945 |@@@@@@@ | [8, 16) 39857 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10348 |@@@@@@@@@@@@@ | [32, 64) 2505 |@@@ | [64, 128) 382 | | [128, 256) 5 | | [256, 512) 2 | | [512, 1K) 2 | | @latency[5702]: [0] 458 | | [1] 9148 |@@@@@@@@@@ | [2, 4) 5303 |@@@@@@ | [4, 8) 10438 |@@@@@@@@@@@@ | [8, 16) 44969 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 258 | | [32, 64) 8 | | @latency[0]: [0] 136 | | [1] 11295 |@@@@@@ | [2, 4) 13576 |@@@@@@@ | [4, 8) 11256 |@@@@@@ | [8, 16) 95725 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3432 |@ | [32, 64) 4567 |@@ | [64, 128) 265 | | @latency[4729]: [0] 755 | | [1] 23262 |@@@@@@@@@@ | [2, 4) 15657 |@@@@@@ | [4, 8) 16575 |@@@@@@@ | [8, 16) 118978 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1923 | | [32, 64) 485 | | [64, 128) 44 | | [128, 256) 1 | | [Wed Jan 7 02:59:10 UTC 2026] respawn: 1: stopped pid 39 with status 0 [Wed Jan 7 02:59:10 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 02:59:11 UTC 2026] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 57 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5706]: [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@@@@@@@ | [8, 16) 1 |@@@@@@@@@@@@@ | @latency[53]: [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 0 | | [16, 32) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[6701]: [1] 1 |@ | [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@ | @latency[5703]: [1] 160 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 358 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 155 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 59 |@@@@@@@@ | [16, 32) 9 |@ | @latency[5705]: [1] 171 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 377 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 143 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 46 |@@@@@@ | [16, 32) 4 | | @latency[5707]: [1] 159 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 417 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 117 |@@@@@@@@@@@@@@ | [8, 16) 47 |@@@@@ | [16, 32) 1 | | @latency[5701]: [1] 178 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 411 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 188 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 120 |@@@@@@@@@@@@@@@ | [16, 32) 68 |@@@@@@@@ | [32, 64) 13 |@ | [64, 128) 1 | | @latency[6702]: [1] 28647 |@@@@@@@@@@@ | [2, 4) 41402 |@@@@@@@@@@@@@@@@ | [4, 8) 131654 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 82038 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 80239 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 16041 |@@@@@@ | [64, 128) 587 | | [128, 256) 62 | | [256, 512) 1 | | @latency[5702]: [0] 706 | | [1] 91133 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 125488 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 117689 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 108657 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1586 | | [32, 64) 55 | | [64, 128) 3 | | @latency[0]: [1] 19 | | [2, 4) 2174 | | [4, 8) 265332 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 84003 |@@@@@@@@@@@ | [16, 32) 378958 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 29720 |@@@@ | [64, 128) 5880 | | [128, 256) 4 | | @latency[4729]: [0] 3952 | | [1] 242047 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 350500 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 271704 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 388459 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 19064 |@@ | [32, 64) 3650 | | [64, 128) 273 | | [128, 256) 4 | | [256, 512) 1 | | [512, 1K) 2 | | [1K, 2K) 1 | | [Wed Jan 7 03:06:38 UTC 2026] respawn: 2: stopped pid 60 with status 0 [Wed Jan 7 03:06:38 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 03:06:39 UTC 2026] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Wed Jan 7 03:06:39 UTC 2026] respawn: 3: stopped pid 80 with status 1 [Wed Jan 7 03:06:39 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 03:06:40 UTC 2026] respawn: 4: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 86 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[6701]: [1] 6 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@@@@@ | [16, 32) 2 |@@@@@@@@ | [32, 64) 0 | | [64, 128) 1 |@@@@ | @latency[5705]: [0] 1 |@ | [1] 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 6 |@@@@@@@ | [8, 16) 4 |@@@@@ | [16, 32) 1 |@ | @latency[5707]: [0] 1 |@ | [1] 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 6 |@@@@@@@@ | [8, 16) 3 |@@@@ | [16, 32) 1 |@ | @latency[5703]: [1] 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@ | [8, 16) 3 |@@@ | @latency[5701]: [0] 1 | | [1] 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 13 |@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@ | [16, 32) 7 |@@@@@@ | @latency[6702]: [1] 2103 |@@@@@@@@@@@@@ | [2, 4) 4110 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8247 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3270 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1537 |@@@@@@@@@ | [32, 64) 418 |@@ | [64, 128) 37 | | [128, 256) 1 | | @latency[5702]: [0] 129 | | [1] 16340 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 5712 |@@@@@@@@@@@@@@@@@@ | [4, 8) 3803 |@@@@@@@@@@@@ | [8, 16) 3403 |@@@@@@@@@@ | [16, 32) 94 | | [32, 64) 7 | | @latency[0]: [2, 4) 283 | | [4, 8) 27404 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4428 |@@@@@@@@ | [16, 32) 6896 |@@@@@@@@@@@@@ | [32, 64) 630 |@ | [64, 128) 194 | | [128, 256) 1 | | @latency[4729]: [0] 353 | | [1] 40940 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 28284 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 10092 |@@@@@@@@@@@@ | [8, 16) 10945 |@@@@@@@@@@@@@ | [16, 32) 1371 |@ | [32, 64) 505 | | [64, 128) 42 | | [Wed Jan 7 03:07:20 UTC 2026] respawn: 4: stopped pid 89 with status 0 [Wed Jan 7 03:07:20 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 03:07:21 UTC 2026] respawn: 5: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Wed Jan 7 03:07:21 UTC 2026] respawn: 5: stopped pid 109 with status 1 [Wed Jan 7 03:07:21 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 03:07:22 UTC 2026] respawn: 6: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 115 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[3466475]: 0 @dport[3980561]: 0 @dport[3466150]: 4729 @dport[3466608]: 6701 @latency[5706]: [0] 2 | | [1] 202 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 360 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 23 |@@@ | [8, 16) 39 |@@@@@ | [16, 32) 2 | | @latency[53]: [0] 1 | | [1] 1 | | [2, 4) 128 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 127 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 64 |@@@@@@@@@@@@@@ | [16, 32) 60 |@@@@@@@@@@@@@ | [32, 64) 235 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 27 |@@@@@ | @latency[5704]: [1] 193 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 395 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 38 |@@@@@ | [8, 16) 62 |@@@@@@@@ | [16, 32) 3 | | @latency[5707]: [0] 6 | | [1] 230 |@@@@@@@@@@@@@@@@@@ | [2, 4) 646 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 132 |@@@@@@@@@@ | [8, 16) 81 |@@@@@@ | [16, 32) 12 | | @latency[5705]: [0] 5 | | [1] 252 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 617 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 146 |@@@@@@@@@@@@ | [8, 16) 78 |@@@@@@ | [16, 32) 9 | | [32, 64) 1 | | @latency[5703]: [0] 4 | | [1] 251 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 605 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 151 |@@@@@@@@@@@@ | [8, 16) 87 |@@@@@@@ | [16, 32) 13 |@ | @latency[6701]: [1] 66 |@@@@@@@@ | [2, 4) 116 |@@@@@@@@@@@@@@ | [4, 8) 423 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 347 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 209 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 57 |@@@@@@@ | [64, 128) 5 | | @latency[5708]: [1] 347 |@@@@@@@@@@@@@@@ | [2, 4) 1135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 74 |@@@ | [8, 16) 81 |@@@ | [16, 32) 14 | | @latency[5701]: [0] 8 | | [1] 299 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 773 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 288 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 231 |@@@@@@@@@@@@@@@ | [16, 32) 94 |@@@@@@ | [32, 64) 19 |@ | [64, 128) 7 | | @latency[6702]: [0] 1 | | [1] 26182 |@@@@@@@@@@@ | [2, 4) 32351 |@@@@@@@@@@@@@@ | [4, 8) 116348 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 35232 |@@@@@@@@@@@@@@@ | [16, 32) 28463 |@@@@@@@@@@@@ | [32, 64) 5623 |@@ | [64, 128) 266 | | [128, 256) 12 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 1 | | @latency[5702]: [0] 2255 | | [1] 224091 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 80960 |@@@@@@@@@@@@@@@@@@ | [4, 8) 56035 |@@@@@@@@@@@@@ | [8, 16) 49107 |@@@@@@@@@@@ | [16, 32) 2500 | | [32, 64) 32 | | [64, 128) 3 | | @latency[0]: [1] 5 | | [2, 4) 1910 | | [4, 8) 301893 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 53487 |@@@@@@@@@ | [16, 32) 126248 |@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 10443 |@ | [64, 128) 3054 | | [128, 256) 2 | | [256, 512) 0 | | [512, 1K) 2 | | @latency[4729]: [0] 38718 |@@@@ | [1] 453549 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 447400 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 190149 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 186518 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 19321 |@@ | [32, 64) 5705 | | [64, 128) 520 | | [128, 256) 6 | | [256, 512) 2 | | [512, 1K) 1 | | [1K, 2K) 1 | | [2K, 4K) 0 | | [4K, 8K) 1 | | @start[3466150]: 70283976889474858 @start[3466608]: 70283976897679833 @start[3466475]: 70283976898008576 @start[3980561]: 70283976902663132 [Wed Jan 7 03:16:17 UTC 2026] respawn: 6: stopped pid 118 with status 0 [Wed Jan 7 03:16:17 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 03:16:18 UTC 2026] respawn: 7: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 136 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16408]: [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [16, 32) 1 |@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16394]: [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16396]: [8, 16) 4 |@@@@@@@@@@@@@@@@ | [16, 32) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16400]: [8, 16) 2 |@@@@@@@@ | [16, 32) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@@@@@ | @latency[16402]: [4, 8) 1 |@@@@@@ | [8, 16) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16398]: [8, 16) 2 |@@@@@@@ | [16, 32) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@@@@ | @latency[16404]: [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16422]: [8, 16) 1 |@ | [16, 32) 2 |@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16416]: [8, 16) 1 |@ | [16, 32) 4 |@@@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16414]: [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16418]: [8, 16) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 1 |@@@ | @latency[16424]: [4, 8) 1 |@@ | [8, 16) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 6 |@@@@@@@@@@@@@@@ | @latency[16420]: [4, 8) 1 |@@ | [8, 16) 8 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[1984]: [4, 8) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@@@ | @latency[53]: [2, 4) 14 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8 |@@@@@@@@@@@@ | [8, 16) 8 |@@@@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@@@@@@@ | [32, 64) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 8 |@@@@@@@@@@@@ | @latency[16392]: [4, 8) 2 |@ | [8, 16) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 55 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16388]: [2, 4) 11 |@@@@@@ | [4, 8) 0 | | [8, 16) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 | | @latency[16386]: [8, 16) 98 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3 |@ | @latency[16384]: [4, 8) 5 |@@ | [8, 16) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3 |@ | @latency[16390]: [8, 16) 101 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@ | @latency[16412]: [8, 16) 10 |@@@@ | [16, 32) 106 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 10 |@@@@ | @latency[16406]: [2, 4) 5 |@@ | [4, 8) 7 |@@@ | [8, 16) 98 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 80 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 8 |@@@@ | @latency[5707]: [0] 18 | | [1] 603 |@@@@@@@@@@@@@@@@@@ | [2, 4) 1669 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 994 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 341 |@@@@@@@@@@ | [16, 32) 160 |@@@@ | [32, 64) 2 | | @latency[5705]: [0] 14 | | [1] 555 |@@@@@@@@@@@@@@@@@@ | [2, 4) 1577 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1122 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 352 |@@@@@@@@@@@ | [16, 32) 181 |@@@@@ | @latency[5703]: [0] 5 | | [1] 557 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1417 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1173 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 496 |@@@@@@@@@@@@@@@@@@ | [16, 32) 177 |@@@@@@ | [32, 64) 1 | | @latency[6701]: [1] 252 |@@@@@@@ | [2, 4) 881 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 980 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1679 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 839 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 695 |@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 62 |@ | [128, 256) 1 | | @latency[5706]: [0] 1 | | [1] 304 |@@@@@ | [2, 4) 376 |@@@@@@ | [4, 8) 256 |@@@@ | [8, 16) 1459 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3067 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 7 | | @latency[5701]: [0] 24 | | [1] 781 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1878 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1840 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1760 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 815 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 212 |@@@@@ | [64, 128) 17 | | @latency[5708]: [0] 1 | | [1] 323 |@@@ | [2, 4) 459 |@@@@ | [4, 8) 325 |@@@ | [8, 16) 1672 |@@@@@@@@@@@@@@@@ | [16, 32) 5358 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 13 | | [64, 128) 1 | | @latency[5704]: [1] 393 |@@ | [2, 4) 569 |@@@@ | [4, 8) 609 |@@@@ | [8, 16) 3632 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6934 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 12 | | @latency[6702]: [1] 51541 |@@ | [2, 4) 52197 |@@ | [4, 8) 798670 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1086411 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 334799 |@@@@@@@@@@@@@@@@ | [32, 64) 97902 |@@@@ | [64, 128) 1321 | | [128, 256) 154 | | [256, 512) 11 | | [512, 1K) 5 | | [1K, 2K) 1 | | @latency[5702]: [0] 537 | | [1] 134429 |@@@ | [2, 4) 135675 |@@@@ | [4, 8) 702558 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1759381 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 495204 |@@@@@@@@@@@@@@ | [32, 64) 908 | | [64, 128) 3 | | @latency[0]: [0] 160 | | [1] 47969 |@ | [2, 4) 64926 |@ | [4, 8) 510735 |@@@@@@@@@@@@@ | [8, 16) 1888419 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2035852 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 232968 |@@@@@ | [64, 128) 97920 |@@ | [128, 256) 6 | | @latency[4729]: [0] 15061 | | [1] 683386 |@@@@@@@@@ | [2, 4) 671250 |@@@@@@@@@ | [4, 8) 1306920 |@@@@@@@@@@@@@@@@@@ | [8, 16) 3752831 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2303123 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 66028 | | [64, 128) 10656 | | [128, 256) 17 | | [256, 512) 46 | | [512, 1K) 10 | | [Wed Jan 7 03:47:08 UTC 2026] respawn: 7: stopped pid 139 with status 0 [Wed Jan 7 03:47:08 UTC 2026] respawn: sleeping 1 seconds... [Wed Jan 7 03:47:09 UTC 2026] respawn: 8: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 136 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end.