[Thu Dec 25 01:31:15 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16420]: [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16404]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [16, 32) 2 |@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [16, 32) 2 |@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [8, 16) 1 |@@@ | [16, 32) 1 |@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[2427]: [4, 8) 1 |@@@ | [8, 16) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@@@@@@ | @latency[16408]: [16, 32) 4 |@@@@@@@@@@@@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [16, 32) 1 |@@ | [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16428]: [16, 32) 1 |@ | [32, 64) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [16, 32) 1 |@ | [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16426]: [16, 32) 2 |@@@ | [32, 64) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16434]: [8, 16) 3 |@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16430]: [8, 16) 6 |@@@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [16, 32) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16396]: [16, 32) 2 |@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16394]: [16, 32) 28 |@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@ | @latency[16398]: [4, 8) 1 | | [8, 16) 3 |@ | [16, 32) 6 |@@@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16402]: [8, 16) 9 |@@@@@@ | [16, 32) 16 |@@@@@@@@@@@ | [32, 64) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16400]: [16, 32) 2 |@ | [32, 64) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16416]: [8, 16) 35 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 3 |@ | @latency[16422]: [8, 16) 34 |@@@@@@@@@@@@@@@@@@ | [16, 32) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[53]: [1] 10 |@ | [2, 4) 163 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 257 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 92 |@@@@@@@@@@@@@@@@ | [16, 32) 285 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 211 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 40 |@@@@@@@ | [128, 256) 1 | | @latency[5707]: [0] 99 |@@ | [1] 1433 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2519 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1074 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 878 |@@@@@@@@@@@@@@@@@@ | [16, 32) 18 | | @latency[5705]: [0] 106 |@@ | [1] 1404 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2346 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1289 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 866 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 12 | | @latency[5703]: [0] 103 |@@ | [1] 1208 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2329 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1334 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1058 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 | | @latency[5704]: [1] 22 | | [2, 4) 33 | | [4, 8) 170 |@ | [8, 16) 6134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3 | | [32, 64) 7 | | @latency[6701]: [1] 56 |@ | [2, 4) 1259 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1199 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2355 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1287 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 862 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 175 |@@@ | [128, 256) 0 | | [256, 512) 1 | | @latency[5701]: [0] 17 | | [1] 1903 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3961 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1730 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1980 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 568 |@@@@@@@ | [32, 64) 443 |@@@@@ | [64, 128) 60 | | [128, 256) 1 | | @latency[6702]: [1] 155489 |@@ | [2, 4) 138866 |@@ | [4, 8) 293258 |@@@@@ | [8, 16) 2766119 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 159270 |@@ | [32, 64) 72574 |@ | [64, 128) 7065 | | [128, 256) 70 | | [256, 512) 4 | | [512, 1K) 3 | | @latency[5702]: [0] 2308 | | [1] 366129 |@@@@@ | [2, 4) 246179 |@@@ | [4, 8) 193769 |@@@ | [8, 16) 3256565 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 34475 | | [32, 64) 520 | | [64, 128) 21 | | @latency[0]: [0] 710 | | [1] 83755 | | [2, 4) 950273 |@@@@@@@@@ | [4, 8) 265301 |@@ | [8, 16) 5232776 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 313775 |@@@ | [32, 64) 368968 |@@@ | [64, 128) 17800 | | [128, 256) 1 | | @latency[4729]: [0] 31017 | | [1] 1040600 |@@@@@@ | [2, 4) 1736085 |@@@@@@@@@@@ | [4, 8) 774400 |@@@@ | [8, 16) 8170915 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 123238 | | [32, 64) 74930 | | [64, 128) 3896 | | [128, 256) 20 | | [256, 512) 9 | | [512, 1K) 6 | | [1K, 2K) 1 | | [Thu Dec 25 02:36:33 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Thu Dec 25 02:36:33 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 02:36:35 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 3 |@@@@@@@@@@@@@@@ | [1] 0 | | [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@ | @latency[5705]: [0] 3 |@@@@@@@@@@@@@@@ | [1] 0 | | [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@ | @latency[5707]: [0] 1 |@@@@@ | [1] 2 |@@@@@@@@@@@ | [2, 4) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@@@@ | @latency[5701]: [1] 4 |@@@@@@@@@@@@ | [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@ | @latency[0]: [1] 4 |@@@ | [2, 4) 59 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@ | [8, 16) 25 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 |@@@@@@@ | [32, 64) 2 |@ | [64, 128) 1 | | @latency[4729]: [0] 1400 |@@@@@@@ | [1] 9647 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 3025 |@@@@@@@@@@@@@@@@ | [4, 8) 1597 |@@@@@@@@ | [8, 16) 4405 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 100 | | [32, 64) 21 | | [64, 128) 57 | | [128, 256) 1 | | [Thu Dec 25 02:38:15 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Thu Dec 25 02:38:15 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 02:38:17 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[47777]: [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16418]: [16, 32) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16408]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [16, 32) 3 |@@@@@@@@@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16404]: [16, 32) 4 |@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16414]: [16, 32) 4 |@@@@@@@@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[53]: [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@@@@@ | @latency[16432]: [16, 32) 3 |@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16428]: [16, 32) 2 |@@@ | [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16426]: [16, 32) 6 |@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 5 |@@@@@@@@@@@ | @latency[16424]: [16, 32) 4 |@@@@@@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16430]: [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@ | @latency[16434]: [8, 16) 5 |@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [4, 8) 1 |@ | [8, 16) 1 |@ | [16, 32) 5 |@@@@@@ | [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@ | @latency[16394]: [8, 16) 1 | | [16, 32) 13 |@@@@@@@@ | [32, 64) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16398]: [4, 8) 1 | | [8, 16) 0 | | [16, 32) 1 | | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16396]: [4, 8) 1 |@ | [8, 16) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@ | @latency[16402]: [32, 64) 98 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16400]: [8, 16) 1 | | [16, 32) 2 |@ | [32, 64) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16416]: [8, 16) 42 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 100 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 52 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16422]: [8, 16) 15 |@@@@@@@ | [16, 32) 100 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5705]: [0] 79 |@@ | [1] 1078 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1762 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1053 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 681 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 13 | | @latency[5707]: [0] 75 |@@ | [1] 1121 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1902 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 872 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 686 |@@@@@@@@@@@@@@@@@@ | [16, 32) 10 | | @latency[5703]: [0] 80 |@@ | [1] 910 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1728 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 807 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 | | @latency[6701]: [1] 29 | | [2, 4) 1114 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 670 |@@@@@@@@@@@@@@@@@ | [8, 16) 1962 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 613 |@@@@@@@@@@@@@@@@ | [32, 64) 728 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 78 |@@ | [128, 256) 1 | | [256, 512) 1 | | @latency[5706]: [0] 1 | | [1] 66 | | [2, 4) 29 | | [4, 8) 133 |@ | [8, 16) 5160 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 18 | | @latency[5704]: [1] 125 | | [2, 4) 79 | | [4, 8) 162 |@ | [8, 16) 7210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 20 | | @latency[5701]: [0] 11 | | [1] 1290 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2821 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1362 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1958 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 352 |@@@@@@ | [32, 64) 379 |@@@@@@ | [64, 128) 42 | | @latency[5708]: [0] 1 | | [1] 84 | | [2, 4) 88 | | [4, 8) 207 |@ | [8, 16) 8619 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 23 | | @latency[6702]: [0] 1 | | [1] 81507 |@@ | [2, 4) 37601 |@ | [4, 8) 107186 |@@@ | [8, 16) 1563568 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 42841 |@ | [32, 64) 100132 |@@@ | [64, 128) 1745 | | [128, 256) 19 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5702]: [0] 960 | | [1] 169916 |@@@ | [2, 4) 106375 |@@ | [4, 8) 103223 |@@ | [8, 16) 2418370 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10461 | | [32, 64) 213 | | [64, 128) 2 | | [128, 256) 1 | | @latency[0]: [0] 207 | | [1] 43962 | | [2, 4) 353520 |@@@@@@ | [4, 8) 99863 |@ | [8, 16) 2896608 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 269141 |@@@@ | [32, 64) 228284 |@@@@ | [64, 128) 12726 | | [128, 256) 2 | | @latency[4729]: [0] 27885 | | [1] 754283 |@@@@@@ | [2, 4) 905975 |@@@@@@@@ | [4, 8) 487568 |@@@@ | [8, 16) 5614946 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 64904 | | [32, 64) 83714 | | [64, 128) 3420 | | [128, 256) 13 | | [256, 512) 19 | | [512, 1K) 8 | | [1K, 2K) 1 | | [Thu Dec 25 03:25:24 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Thu Dec 25 03:25:24 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:25:25 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [2, 4) 1 |@@ | [4, 8) 5 |@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5703]: [0] 3 | | [1] 130 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 322 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 138 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 51 |@@@@@@@@ | @latency[5705]: [0] 4 | | [1] 174 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 297 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 126 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 42 |@@@@@@@ | [16, 32) 1 | | @latency[5707]: [0] 4 | | [1] 190 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 281 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 124 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 44 |@@@@@@@@ | [16, 32) 1 | | @latency[6701]: [2, 4) 80 |@@@@@@@@@@@@@@@@@ | [4, 8) 199 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 244 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 216 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 51 |@@@@@@@@@@ | [64, 128) 9 |@ | @latency[5706]: [0] 1 | | [1] 210 |@@@@@@@@@@@@@@ | [2, 4) 739 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 71 |@@@@ | [8, 16) 127 |@@@@@@@@ | [16, 32) 1 | | [32, 64) 1 | | @latency[5708]: [0] 1 | | [1] 247 |@@@@@@@@@@@@ | [2, 4) 1032 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 113 |@@@@@ | [8, 16) 194 |@@@@@@@@@ | [16, 32) 0 | | [32, 64) 2 | | @latency[5701]: [0] 4 | | [1] 175 |@@@@@@@@ | [2, 4) 356 |@@@@@@@@@@@@@@@@@ | [4, 8) 1035 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 311 |@@@@@@@@@@@@@@@ | [16, 32) 39 |@ | [32, 64) 9 | | [64, 128) 4 | | @latency[5704]: [0] 4 | | [1] 647 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 1706 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 290 |@@@@@@@@ | [8, 16) 758 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 | | @latency[6702]: [1] 41159 |@@@@@@@@@@@@@@@ | [2, 4) 32859 |@@@@@@@@@@@@ | [4, 8) 142020 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 85474 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 20843 |@@@@@@@ | [32, 64) 8997 |@@@ | [64, 128) 909 | | [128, 256) 14 | | @latency[5702]: [0] 1286 | | [1] 118767 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 189964 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 78645 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 125464 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2738 | | [32, 64) 98 | | [64, 128) 14 | | @latency[0]: [0] 236 | | [1] 16128 |@@ | [2, 4) 334430 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 116249 |@@@@@@@@@@@@@@@@@@ | [8, 16) 176305 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18841 |@@ | [32, 64) 7891 |@ | [64, 128) 402 | | @latency[4729]: [0] 5473 | | [1] 177694 |@@@@@@@@@@@@@@@ | [2, 4) 613009 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 239908 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 300022 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18668 |@ | [32, 64) 7455 | | [64, 128) 469 | | [128, 256) 7 | | [256, 512) 3 | | [512, 1K) 2 | | [Thu Dec 25 03:32:19 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Thu Dec 25 03:32:19 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:32:20 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5706]: [1] 26 |@@@@@@@@@@@@@ | [2, 4) 103 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 |@@ | [8, 16) 3 |@ | @latency[5707]: [1] 30 |@@@@@@@@@@ | [2, 4) 144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 33 |@@@@@@@@@@@ | [8, 16) 3 |@ | @latency[5703]: [0] 1 | | [1] 24 |@@@@@@@@ | [2, 4) 145 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 38 |@@@@@@@@@@@@@ | [8, 16) 4 |@ | @latency[5705]: [0] 1 | | [1] 35 |@@@@@@@@@@@@@ | [2, 4) 138 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 34 |@@@@@@@@@@@@ | [8, 16) 4 |@ | @latency[5701]: [1] 29 |@@@@@@@ | [2, 4) 198 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 85 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 19 |@@@@ | [16, 32) 7 |@ | [32, 64) 1 | | @latency[5708]: [1] 98 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 265 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10 |@ | [8, 16) 3 | | @latency[6701]: [1] 5 |@ | [2, 4) 144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 131 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 109 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 41 |@@@@@@@@@@@@@@ | [32, 64) 20 |@@@@@@@ | @latency[5704]: [1] 154 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 333 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 14 |@@ | [8, 16) 1 | | @latency[6702]: [0] 1 | | [1] 18071 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 33282 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26346 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5405 |@@@@@@@@ | [16, 32) 2193 |@@@ | [32, 64) 65 | | [64, 128) 8 | | @latency[5702]: [0] 128 | | [1] 48990 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 58366 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4016 |@@@ | [8, 16) 1525 |@ | [16, 32) 186 | | [32, 64) 4 | | [64, 128) 0 | | [128, 256) 1 | | @latency[0]: [0] 14 | | [1] 2521 |@ | [2, 4) 73724 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 82169 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8807 |@@@@@ | [16, 32) 4965 |@@@ | [32, 64) 216 | | [64, 128) 42 | | [128, 256) 1 | | @latency[4729]: [0] 513 | | [1] 39073 |@@@@@@@@ | [2, 4) 250161 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26854 |@@@@@ | [8, 16) 6888 |@ | [16, 32) 1542 | | [32, 64) 615 | | [64, 128) 7 | | [128, 256) 0 | | [256, 512) 2 | | [Thu Dec 25 03:33:23 UTC 2025] respawn: 2: stopped pid 59 with status 0 [Thu Dec 25 03:33:23 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:33:24 UTC 2025] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 77 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5707]: [0] 1 | | [1] 129 |@@@@@@@ | [2, 4) 858 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 321 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 76 |@@@@ | [16, 32) 14 | | @latency[5705]: [0] 1 | | [1] 111 |@@@@@@ | [2, 4) 860 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 325 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 97 |@@@@@ | [16, 32) 11 | | @latency[5703]: [0] 2 | | [1] 87 |@@@@@ | [2, 4) 850 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 350 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 107 |@@@@@@ | [16, 32) 16 | | @latency[5706]: [1] 24 |@ | [2, 4) 1053 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 610 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 560 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 38 |@ | @latency[6701]: [1] 1 | | [2, 4) 370 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 644 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 744 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 446 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 104 |@@@@@@@ | [64, 128) 23 |@ | [128, 256) 1 | | @latency[5701]: [0] 1 | | [1] 100 |@@@@ | [2, 4) 1218 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 771 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 394 |@@@@@@@@@@@@@@@@ | [16, 32) 160 |@@@@@@ | [32, 64) 33 |@ | [64, 128) 3 | | @latency[5708]: [1] 85 |@@ | [2, 4) 2014 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1228 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 779 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 45 |@ | @latency[5704]: [0] 1 | | [1] 225 |@@@@ | [2, 4) 2782 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1511 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1316 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 74 |@ | @latency[6702]: [1] 6442 | | [2, 4) 258554 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 479049 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 291629 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 108025 |@@@@@@@@@@@ | [32, 64) 23485 |@@ | [64, 128) 4250 | | [128, 256) 56 | | [256, 512) 12 | | [512, 1K) 8 | | @latency[5702]: [0] 209 | | [1] 186322 |@@@@@@@@@@@@@@ | [2, 4) 667870 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 266007 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 312838 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 21450 |@ | [32, 64) 189 | | [64, 128) 11 | | @latency[0]: [1] 1990 | | [2, 4) 522147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 834246 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 490060 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 439288 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 59275 |@@@ | [64, 128) 9328 | | [128, 256) 1 | | [256, 512) 1 | | @latency[4729]: [0] 18457 | | [1] 97281 |@@ | [2, 4) 2089374 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 790952 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 922972 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 120136 |@@ | [32, 64) 6683 | | [64, 128) 3176 | | [128, 256) 10 | | [256, 512) 6 | | [512, 1K) 3 | | [Thu Dec 25 03:43:34 UTC 2025] respawn: 3: stopped pid 80 with status 0 [Thu Dec 25 03:43:34 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:43:35 UTC 2025] respawn: 4: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 77 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end.