[Mon Dec 29 01:31:25 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16410]: [16, 32) 1 |@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16404]: [16, 32) 2 |@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16406]: [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16412]: [16, 32) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [16, 32) 1 |@@@ | [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16414]: [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[2427]: [4, 8) 1 |@@ | [8, 16) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [16, 32) 1 |@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16428]: [16, 32) 3 |@@@@@@ | [32, 64) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@@ | @latency[16424]: [32, 64) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16426]: [16, 32) 5 |@@@@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16434]: [8, 16) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@ | @latency[16430]: [8, 16) 3 |@@@@@@@@ | [16, 32) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [8, 16) 2 |@@@@ | [16, 32) 12 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 12 |@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16394]: [16, 32) 4 |@@ | [32, 64) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@ | @latency[16398]: [8, 16) 14 |@@@@@@@@@@ | [16, 32) 12 |@@@@@@@@ | [32, 64) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@ | @latency[16396]: [16, 32) 2 |@ | [32, 64) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16400]: [8, 16) 4 |@@ | [16, 32) 2 |@ | [32, 64) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16402]: [8, 16) 9 |@@@@@ | [16, 32) 3 |@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16416]: [4, 8) 1 | | [8, 16) 25 |@@@@@@@@@@@@@@@ | [16, 32) 83 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@ | @latency[16422]: [4, 8) 1 | | [8, 16) 6 |@@@ | [16, 32) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@ | @latency[53]: [1] 14 | | [2, 4) 794 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 473 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 146 |@@@@@@@@@ | [16, 32) 578 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 800 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 53 |@@@ | [128, 256) 2 | | @latency[5707]: [0] 78 |@ | [1] 1195 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 3117 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 865 |@@@@@@@@@@@@@@ | [8, 16) 744 |@@@@@@@@@@@@ | [16, 32) 76 |@ | [32, 64) 1 | | @latency[5705]: [0] 69 |@ | [1] 1106 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 2881 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1174 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 792 |@@@@@@@@@@@@@@ | [16, 32) 53 | | [32, 64) 1 | | @latency[5703]: [0] 30 | | [1] 1013 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2526 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1356 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1121 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 46 | | @latency[5704]: [1] 13 | | [2, 4) 24 | | [4, 8) 154 |@ | [8, 16) 6240 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 33 | | [32, 64) 1 | | @latency[6701]: [1] 384 |@@@@@@@@ | [2, 4) 1332 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1194 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2322 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 958 |@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 866 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 138 |@@@ | [128, 256) 1 | | @latency[5701]: [0] 75 | | [1] 1822 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 4248 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1224 |@@@@@@@@@@@@@@ | [8, 16) 2209 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 661 |@@@@@@@@ | [32, 64) 434 |@@@@@ | [64, 128) 57 | | [128, 256) 0 | | [256, 512) 2 | | @latency[6702]: [0] 1 | | [1] 203226 |@@@ | [2, 4) 144067 |@@ | [4, 8) 241479 |@@@@ | [8, 16) 2688354 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 247592 |@@@@ | [32, 64) 72665 |@ | [64, 128) 8302 | | [128, 256) 84 | | [256, 512) 16 | | [512, 1K) 14 | | [1K, 2K) 0 | | [2K, 4K) 2 | | @latency[5702]: [0] 2696 | | [1] 452395 |@@@@@@@@@ | [2, 4) 151986 |@@@ | [4, 8) 907208 |@@@@@@@@@@@@@@@@@@ | [8, 16) 2576157 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 23385 | | [32, 64) 313 | | [64, 128) 6 | | [128, 256) 1 | | @latency[0]: [0] 2112 | | [1] 448077 |@@@@ | [2, 4) 599020 |@@@@@ | [4, 8) 240967 |@@ | [8, 16) 5389038 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 210707 |@@ | [32, 64) 354146 |@@@ | [64, 128) 17516 | | [128, 256) 5 | | [256, 512) 1 | | @latency[4729]: [0] 32425 | | [1] 1537206 |@@@@@@@@@ | [2, 4) 1214666 |@@@@@@@ | [4, 8) 788976 |@@@@ | [8, 16) 8259851 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 101836 | | [32, 64) 73091 | | [64, 128) 6098 | | [128, 256) 25 | | [256, 512) 5 | | [512, 1K) 7 | | [1K, 2K) 1 | | [Mon Dec 29 02:37:00 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Mon Dec 29 02:37:00 UTC 2025] respawn: sleeping 1 seconds... [Mon Dec 29 02:37:01 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 [Mon Dec 29 02:37:03 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [1] 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 0 | | [8, 16) 3 |@@@@@@@@ | [16, 32) 1 |@@ | @latency[5705]: [0] 1 |@@@ | [1] 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 0 | | [8, 16) 3 |@@@@@@@@@ | [16, 32) 1 |@@@ | @latency[5707]: [0] 1 |@@ | [1] 4 |@@@@@@@@@@@ | [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@ | [8, 16) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@ | @latency[5701]: [1] 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 7 |@@@@@@@@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@@@ | @latency[0]: [1] 2 |@ | [2, 4) 47 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 15 |@@@@@@@@@@ | [8, 16) 73 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 13 |@@@@@@@@@ | [32, 64) 16 |@@@@@@@@@@@ | [64, 128) 7 |@@@@ | @latency[4729]: [0] 1039 |@@@@ | [1] 12800 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2231 |@@@@@@@@@ | [4, 8) 405 |@ | [8, 16) 4108 |@@@@@@@@@@@@@@@@ | [16, 32) 50 | | [32, 64) 13 | | [64, 128) 59 | | [Mon Dec 29 02:38:43 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Mon Dec 29 02:38:43 UTC 2025] respawn: sleeping 1 seconds... [Mon Dec 29 02:38:44 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 [Mon Dec 29 02:38:45 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[1636215]: 0 @dport[1636032]: 4729 @dport[1636364]: 6702 @latency[16418]: [16, 32) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@@@@@@@@@@@ | @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [16, 32) 2 |@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16408]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16410]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16404]: [16, 32) 1 |@@@ | [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@ | @latency[16414]: [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16432]: [16, 32) 3 |@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16428]: [16, 32) 1 |@ | [32, 64) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@ | @latency[16426]: [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16424]: [16, 32) 7 |@@@@@@@@@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16434]: [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16430]: [8, 16) 2 |@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [16, 32) 4 |@@@@ | [32, 64) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@ | @latency[16396]: [32, 64) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16400]: [8, 16) 1 | | [16, 32) 0 | | [32, 64) 95 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@ | @latency[16398]: [8, 16) 16 |@@@@@@@@@@@@ | [16, 32) 13 |@@@@@@@@@ | [32, 64) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@ | @latency[16394]: [8, 16) 1 | | [16, 32) 3 |@ | [32, 64) 95 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16402]: [16, 32) 2 |@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@ | @latency[16416]: [8, 16) 20 |@@@@@@@@@@@ | [16, 32) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 78 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@ | @latency[16422]: [4, 8) 1 | | [8, 16) 6 |@@ | [16, 32) 106 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 83 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[53]: [1] 2 | | [2, 4) 390 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 186 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 68 |@@@@@@@@ | [16, 32) 228 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 422 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 20 |@@ | @latency[5707]: [0] 72 |@ | [1] 1233 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2834 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 660 |@@@@@@@@@@@@ | [8, 16) 785 |@@@@@@@@@@@@@@ | [16, 32) 51 | | @latency[5705]: [0] 49 |@ | [1] 1228 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2470 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1038 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 813 |@@@@@@@@@@@@@@@@@ | [16, 32) 38 | | [32, 64) 1 | | @latency[5703]: [0] 25 | | [1] 1098 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2171 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1262 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1064 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 28 | | @latency[6701]: [1] 393 |@@@@@@@ | [2, 4) 1496 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1086 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2590 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 851 |@@@@@@@@@@@@@@@@@ | [32, 64) 1004 |@@@@@@@@@@@@@@@@@@@@ | [64, 128) 110 |@@ | [128, 256) 1 | | @latency[5706]: [0] 2 | | [1] 132 |@ | [2, 4) 276 |@@ | [4, 8) 300 |@@ | [8, 16) 6847 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 124 | | [32, 64) 1 | | @latency[5701]: [0] 68 | | [1] 2639 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3608 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1077 |@@@@@@@@@@@@@@@ | [8, 16) 2527 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 496 |@@@@@@@ | [32, 64) 432 |@@@@@@ | [64, 128) 38 | | @latency[5708]: [0] 2 | | [1] 378 |@ | [2, 4) 664 |@@@ | [4, 8) 437 |@@ | [8, 16) 10881 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 187 | | [32, 64) 1 | | @latency[5704]: [0] 2 | | [1] 333 |@ | [2, 4) 758 |@@@ | [4, 8) 638 |@@ | [8, 16) 12748 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 214 | | [32, 64) 1 | | @latency[6702]: [0] 4 | | [1] 154005 |@@@ | [2, 4) 81054 |@ | [4, 8) 112665 |@@ | [8, 16) 2228864 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 195285 |@@@@ | [32, 64) 151736 |@@@ | [64, 128) 6560 | | [128, 256) 64 | | [256, 512) 16 | | [512, 1K) 15 | | @latency[5702]: [0] 1727 | | [1] 270495 |@@@@ | [2, 4) 123457 |@@ | [4, 8) 799830 |@@@@@@@@@@@@@@ | [8, 16) 2864969 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 17263 | | [32, 64) 370 | | [64, 128) 7 | | @latency[0]: [0] 644 | | [1] 276232 |@@@ | [2, 4) 289574 |@@@ | [4, 8) 175430 |@ | [8, 16) 4666419 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 217138 |@@ | [32, 64) 266791 |@@ | [64, 128) 15899 | | [128, 256) 3 | | @latency[4729]: [0] 33336 | | [1] 1270452 |@@@@@@@@ | [2, 4) 903850 |@@@@@ | [4, 8) 684257 |@@@@ | [8, 16) 8066179 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 207406 |@ | [32, 64) 113345 | | [64, 128) 5010 | | [128, 256) 17 | | [256, 512) 13 | | [512, 1K) 10 | | [1K, 2K) 2 | | @start[1636364]: 69507564552598711 @start[1636215]: 69507564552650973 @start[1636032]: 69507564552665308 [Mon Dec 29 03:36:05 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Mon Dec 29 03:36:05 UTC 2025] respawn: sleeping 1 seconds... [Mon Dec 29 03:36:06 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[1636215]: 0 @dport[1636032]: 4729 @dport[1636364]: 6702 @latency[5707]: [1] 127 |@@@@@@@@@ | [2, 4) 696 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 308 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 88 |@@@@@@ | [16, 32) 19 |@ | [32, 64) 1 | | @latency[5703]: [1] 96 |@@@@@@@ | [2, 4) 679 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 344 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 95 |@@@@@@@ | [16, 32) 25 |@ | [32, 64) 1 | | @latency[5705]: [1] 121 |@@@@@@@@@ | [2, 4) 675 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 338 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 86 |@@@@@@ | [16, 32) 20 |@ | @latency[6701]: [2, 4) 258 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 419 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 505 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 375 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 163 |@@@@@@@@@@@@@@@@ | [64, 128) 43 |@@@@ | [128, 256) 1 | | @latency[5706]: [1] 5 | | [2, 4) 762 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 296 |@@@@@@@@@@@@@@@@ | [8, 16) 962 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 57 |@@@ | [32, 64) 2 | | @latency[5701]: [1] 94 |@@@@@ | [2, 4) 907 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 747 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 407 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 184 |@@@@@@@@@@ | [32, 64) 41 |@@ | [64, 128) 10 | | @latency[5708]: [1] 11 | | [2, 4) 1288 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 428 |@@@@@@@@@@@@@@@@@ | [8, 16) 1278 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 74 |@@ | @latency[5704]: [0] 1 | | [1] 27 | | [2, 4) 2073 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 692 |@@@@@@@@@@@@@@@@ | [8, 16) 2127 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 114 |@@ | [32, 64) 2 | | @latency[6702]: [1] 20667 |@@ | [2, 4) 154777 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 361721 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 284234 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 154901 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 32555 |@@@@ | [64, 128) 4393 | | [128, 256) 84 | | [256, 512) 5 | | [512, 1K) 18 | | [1K, 2K) 2 | | @latency[5702]: [0] 3 | | [1] 199699 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 344631 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 243384 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 383568 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 39762 |@@@@@ | [32, 64) 343 | | [64, 128) 22 | | [128, 256) 1 | | @latency[0]: [1] 15961 | | [2, 4) 876767 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 317770 |@@@@@@@@@@@@@@@@@@ | [8, 16) 697444 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 104231 |@@@@@@ | [32, 64) 19494 |@ | [64, 128) 5984 | | [128, 256) 4 | | [256, 512) 1 | | @latency[4729]: [0] 1283 | | [1] 107278 |@@@@ | [2, 4) 1233361 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 876975 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1021142 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 172203 |@@@@@@@ | [32, 64) 12212 | | [64, 128) 1526 | | [128, 256) 11 | | [256, 512) 6 | | [512, 1K) 9 | | [1K, 2K) 1 | | [2K, 4K) 1 | | @start[1636364]: 69508071396891171 @start[1636215]: 69508071396909928 @start[1636032]: 69508071396915432 [Mon Dec 29 03:44:32 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Mon Dec 29 03:44:32 UTC 2025] respawn: sleeping 1 seconds... [Mon Dec 29 03:44:33 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end.