[Fri Dec 26 01:31:14 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[2427]: [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@ | @latency[5703]: [1] 4 |@ | [2, 4) 27 |@@@@@@@@@@@ | [4, 8) 124 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 20 |@@@@@@@@ | [16, 32) 14 |@@@@@ | @latency[5705]: [1] 6 |@@ | [2, 4) 49 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 114 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 11 |@@@@@ | [16, 32) 9 |@@@@ | @latency[5707]: [1] 8 |@@@ | [2, 4) 43 |@@@@@@@@@@@@@@@@@@ | [4, 8) 122 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@ | [16, 32) 11 |@@@@ | @latency[6701]: [1] 5 |@ | [2, 4) 204 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 178 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 244 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 42 |@@@@@@@@ | [64, 128) 3 | | @latency[53]: [1] 4 | | [2, 4) 99 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 251 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 44 |@@@@@@@@ | [16, 32) 152 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 255 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 15 |@@@ | @latency[5701]: [1] 1 | | [2, 4) 33 |@ | [4, 8) 1230 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 71 |@@@ | [16, 32) 74 |@@@ | [32, 64) 3 | | [64, 128) 1 | | @latency[6702]: [1] 32321 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 36139 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 75955 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 46405 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9699 |@@@@@@ | [32, 64) 2489 |@ | [64, 128) 48 | | [128, 256) 16 | | [256, 512) 4 | | [512, 1K) 1 | | @latency[5702]: [1] 317 | | [2, 4) 36613 |@@@@@@@@@@@@@@@ | [4, 8) 122246 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 16773 |@@@@@@@ | [16, 32) 30721 |@@@@@@@@@@@@@ | [32, 64) 26 | | @latency[0]: [0] 245 | | [1] 31266 |@@@@@@ | [2, 4) 245334 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 46610 |@@@@@@@@@ | [8, 16) 72442 |@@@@@@@@@@@@@@@ | [16, 32) 9915 |@@ | [32, 64) 4293 | | [64, 128) 194 | | [128, 256) 1 | | [256, 512) 1 | | @latency[4729]: [0] 624 | | [1] 17360 |@@ | [2, 4) 16631 |@@ | [4, 8) 428734 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 45344 |@@@@@ | [16, 32) 96391 |@@@@@@@@@@@ | [32, 64) 3815 | | [64, 128) 140 | | [128, 256) 1 | | [Fri Dec 26 01:34:04 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Fri Dec 26 01:34:04 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 26 01:34:05 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16420]: [16, 32) 1 |@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [4, 8) 1 |@@@@ | [8, 16) 2 |@@@@@@@@@ | [16, 32) 3 |@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16412]: [16, 32) 3 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16404]: [16, 32) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16414]: [16, 32) 1 |@@@ | [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16432]: [8, 16) 1 |@ | [16, 32) 1 |@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16428]: [16, 32) 2 |@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16426]: [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@ | @latency[16424]: [8, 16) 1 |@@ | [16, 32) 7 |@@@@@@@@@@@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16434]: [8, 16) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16430]: [8, 16) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@ | @latency[1984]: [4, 8) 1 |@ | [8, 16) 0 | | [16, 32) 14 |@@@@@@@@@@@@@@@@@@@@ | [32, 64) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16394]: [16, 32) 10 |@@@@@@ | [32, 64) 75 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 13 |@@@@@@@@@ | [128, 256) 1 | | @latency[16398]: [8, 16) 13 |@@@@@@@@ | [16, 32) 7 |@@@@ | [32, 64) 77 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16396]: [8, 16) 13 |@@@@@@@@ | [16, 32) 6 |@@@ | [32, 64) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16402]: [16, 32) 2 |@ | [32, 64) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16400]: [8, 16) 8 |@@@@@ | [16, 32) 10 |@@@@@@ | [32, 64) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16422]: [8, 16) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 77 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 36 |@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@ | @latency[16416]: [8, 16) 6 |@@@ | [16, 32) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 5 |@@ | @latency[53]: [1] 5 |@ | [2, 4) 183 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 142 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 72 |@@@@@@@@@@@@@@@@ | [16, 32) 230 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 163 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 16 |@@@ | @latency[5705]: [0] 98 |@@ | [1] 1325 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2196 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1366 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 885 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 7 | | @latency[5707]: [0] 99 |@@ | [1] 1346 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2356 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1141 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 922 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 13 | | @latency[5703]: [0] 95 |@@ | [1] 1021 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2241 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1489 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1035 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 12 | | @latency[5704]: [1] 11 | | [2, 4) 3 | | [4, 8) 126 |@ | [8, 16) 5999 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 31 | | @latency[6701]: [1] 43 |@ | [2, 4) 1212 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 997 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2178 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 928 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 736 |@@@@@@@@@@@@@@@@@ | [64, 128) 107 |@@ | [128, 256) 0 | | [256, 512) 1 | | @latency[5701]: [0] 28 | | [1] 1583 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3024 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1663 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1952 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 527 |@@@@@@@@@ | [32, 64) 436 |@@@@@@@ | [64, 128) 25 | | @latency[6702]: [1] 125728 |@@ | [2, 4) 74641 |@ | [4, 8) 169811 |@@@ | [8, 16) 2777228 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 87355 |@ | [32, 64) 57946 |@ | [64, 128) 2270 | | [128, 256) 46 | | [256, 512) 9 | | [512, 1K) 3 | | @latency[5702]: [0] 1370 | | [1] 242710 |@@@ | [2, 4) 145813 |@@ | [4, 8) 166135 |@@ | [8, 16) 3219845 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 21382 | | [32, 64) 225 | | [64, 128) 11 | | @latency[0]: [0] 606 | | [1] 91153 | | [2, 4) 544358 |@@@@@ | [4, 8) 180460 |@ | [8, 16) 5179020 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 256159 |@@ | [32, 64) 365805 |@@@ | [64, 128) 16561 | | [128, 256) 2 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[4729]: [0] 28667 | | [1] 946629 |@@@@@@ | [2, 4) 1222350 |@@@@@@@ | [4, 8) 675558 |@@@@ | [8, 16) 8074087 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 90261 | | [32, 64) 67788 | | [64, 128) 3866 | | [128, 256) 21 | | [256, 512) 15 | | [512, 1K) 4 | | [1K, 2K) 1 | | [2K, 4K) 0 | | [4K, 8K) 1 | | [Fri Dec 26 02:35:49 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Fri Dec 26 02:35:49 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 26 02:35:51 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 1 |@@@@@@@ | [1] 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2 |@@@@@@@@@@@@@@ | [4, 8) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3 |@@@@@@@@@@@@@@@@@@@@@@ | @latency[5705]: [0] 1 |@@@@@@@@ | [1] 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@@@@@@@@ | [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5707]: [0] 1 |@@@@@@@ | [1] 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2 |@@@@@@@@@@@@@@ | [4, 8) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5701]: [1] 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@ | @latency[0]: [2, 4) 56 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 | | [8, 16) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 | | [32, 64) 5 |@@@@ | @latency[4729]: [0] 1389 |@@@@@@ | [1] 10417 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2930 |@@@@@@@@@@@@@@ | [4, 8) 1946 |@@@@@@@@@ | [8, 16) 3469 |@@@@@@@@@@@@@@@@@ | [16, 32) 28 | | [32, 64) 20 | | [64, 128) 54 | | [Fri Dec 26 02:37:31 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Fri Dec 26 02:37:31 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 26 02:37:33 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[3743231]: 4729 @latency[16418]: [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16420]: [16, 32) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [8, 16) 1 |@@@@ | [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16410]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16412]: [16, 32) 4 |@@@@@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@ | @latency[16404]: [16, 32) 2 |@@@@@@ | [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [16, 32) 3 |@@@@@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[53]: [2, 4) 2 |@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@@ | @latency[16432]: [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16428]: [8, 16) 1 |@@@ | [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16426]: [16, 32) 2 |@@@@ | [32, 64) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@ | @latency[16424]: [2, 4) 1 |@@ | [4, 8) 0 | | [8, 16) 0 | | [16, 32) 5 |@@@@@@@@@@ | [32, 64) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@ | @latency[16434]: [8, 16) 1 |@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16430]: [8, 16) 2 |@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [16, 32) 9 |@@@@@@@@@@@ | [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16394]: [16, 32) 7 |@@@@ | [32, 64) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 11 |@@@@@@@ | @latency[16400]: [16, 32) 7 |@@@ | [32, 64) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16396]: [4, 8) 2 |@ | [8, 16) 6 |@@@ | [16, 32) 7 |@@@@ | [32, 64) 84 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16398]: [8, 16) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@@@@ | [32, 64) 59 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16402]: [8, 16) 5 |@@ | [16, 32) 8 |@@@@ | [32, 64) 87 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16422]: [8, 16) 8 |@@@@ | [16, 32) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 87 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 6 |@@@ | @latency[16416]: [4, 8) 1 | | [8, 16) 4 |@@ | [16, 32) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@@@@ | @latency[5707]: [0] 97 |@@ | [1] 1195 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1917 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 891 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 736 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 | | @latency[5705]: [0] 91 |@@ | [1] 1171 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1846 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 993 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 731 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 14 | | @latency[5703]: [0] 81 |@@ | [1] 924 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1826 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1157 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 859 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 10 | | @latency[6701]: [1] 13 | | [2, 4) 1065 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 693 |@@@@@@@@@@@@@@@@@@ | [8, 16) 1964 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 638 |@@@@@@@@@@@@@@@@ | [32, 64) 846 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 78 |@@ | @latency[5706]: [1] 5 | | [2, 4) 13 | | [4, 8) 144 |@ | [8, 16) 5234 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 22 | | @latency[5704]: [1] 134 | | [2, 4) 230 |@ | [4, 8) 256 |@ | [8, 16) 7413 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 21 | | @latency[5701]: [0] 27 | | [1] 1365 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2647 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1370 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2182 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 410 |@@@@@@@@ | [32, 64) 420 |@@@@@@@@ | [64, 128) 30 | | [128, 256) 1 | | [256, 512) 1 | | @latency[5708]: [1] 24 | | [2, 4) 12 | | [4, 8) 223 |@ | [8, 16) 8795 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 33 | | @latency[6702]: [0] 9 | | [1] 32121 | | [2, 4) 22803 | | [4, 8) 28591 | | [8, 16) 1753356 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 36002 |@ | [32, 64) 115225 |@@@ | [64, 128) 2520 | | [128, 256) 18 | | [256, 512) 3 | | [512, 1K) 2 | | @latency[5702]: [0] 453 | | [1] 96211 |@ | [2, 4) 47401 | | [4, 8) 102985 |@@ | [8, 16) 2637888 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 17633 | | [32, 64) 230 | | [64, 128) 2 | | @latency[0]: [0] 148 | | [1] 17585 | | [2, 4) 113415 |@ | [4, 8) 69754 |@ | [8, 16) 3331504 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 216528 |@@@ | [32, 64) 253869 |@@@ | [64, 128) 14730 | | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[4729]: [0] 27538 | | [1] 656857 |@@@@@ | [2, 4) 689119 |@@@@@ | [4, 8) 475871 |@@@@ | [8, 16) 6175623 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 66460 | | [32, 64) 90111 | | [64, 128) 3597 | | [128, 256) 20 | | [256, 512) 6 | | [512, 1K) 5 | | [1K, 2K) 1 | | @start[3743231]: 29950480629957273 [Fri Dec 26 03:26:15 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Fri Dec 26 03:26:15 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 26 03:26:16 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[3883536]: 0 @dport[3883313]: 4729 @dport[3883690]: 6702 @latency[53]: [2, 4) 2 |@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 5 |@@@@@@@@@@@@@@@@ | @latency[5703]: [0] 13 | | [1] 207 |@@@@@@@@@@ | [2, 4) 997 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 398 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 284 |@@@@@@@@@@@@@@ | [16, 32) 11 | | @latency[5705]: [0] 11 | | [1] 272 |@@@@@@@@@@@@@@ | [2, 4) 999 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 353 |@@@@@@@@@@@@@@@@@@ | [8, 16) 259 |@@@@@@@@@@@@@ | [16, 32) 16 | | @latency[5707]: [0] 14 | | [1] 336 |@@@@@@@@@@@@@@@@@ | [2, 4) 1015 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 300 |@@@@@@@@@@@@@@@ | [8, 16) 229 |@@@@@@@@@@@ | [16, 32) 16 | | @latency[5706]: [0] 2 | | [1] 276 |@@@@@ | [2, 4) 240 |@@@@ | [4, 8) 208 |@@@@ | [8, 16) 2676 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 27 | | @latency[6701]: [1] 12 | | [2, 4) 1016 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 737 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1283 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 455 |@@@@@@@@@@@@@@@@@@ | [32, 64) 284 |@@@@@@@@@@@ | [64, 128) 19 | | @latency[5701]: [0] 13 | | [1] 317 |@@@@@@ | [2, 4) 2432 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 666 |@@@@@@@@@@@@@@ | [8, 16) 825 |@@@@@@@@@@@@@@@@@ | [16, 32) 272 |@@@@@ | [32, 64) 65 |@ | [64, 128) 4 | | @latency[5708]: [0] 3 | | [1] 721 |@@@@@@@@ | [2, 4) 549 |@@@@@@ | [4, 8) 256 |@@ | [8, 16) 4540 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 41 | | @latency[5704]: [0] 7 | | [1] 840 |@@@@@@ | [2, 4) 956 |@@@@@@@ | [4, 8) 569 |@@@@ | [8, 16) 7077 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 76 | | @latency[6702]: [0] 10 | | [1] 175261 |@@@@@@@ | [2, 4) 99355 |@@@@ | [4, 8) 114249 |@@@@@ | [8, 16) 1163867 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 84829 |@@@ | [32, 64) 54348 |@@ | [64, 128) 1974 | | [128, 256) 53 | | [256, 512) 17 | | [512, 1K) 29 | | [1K, 2K) 1 | | @latency[5702]: [0] 1517 | | [1] 270277 |@@@@@@@@@ | [2, 4) 170983 |@@@@@ | [4, 8) 120973 |@@@@ | [8, 16) 1514528 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 46079 |@ | [32, 64) 148 | | [64, 128) 5 | | @latency[0]: [0] 434 | | [1] 77467 |@ | [2, 4) 568475 |@@@@@@@@@@@@@ | [4, 8) 141569 |@@@ | [8, 16) 2265780 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 210772 |@@@@ | [32, 64) 135181 |@@@ | [64, 128) 7783 | | [128, 256) 1 | | @latency[4729]: [0] 6629 | | [1] 451154 |@@@@@@ | [2, 4) 1000070 |@@@@@@@@@@@@@@@ | [4, 8) 343277 |@@@@@ | [8, 16) 3422092 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 524500 |@@@@@@@ | [32, 64) 19019 | | [64, 128) 1218 | | [128, 256) 16 | | [256, 512) 3 | | [512, 1K) 1 | | [1K, 2K) 0 | | [2K, 4K) 1 | | @start[3883690]: 29951479681819282 @start[3883536]: 29951479681944669 @start[3883313]: 29951479681975860 [Fri Dec 26 03:42:54 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Fri Dec 26 03:42:54 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 26 03:42:55 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35