[Sat Dec 27 01:31:26 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[2427]: [8, 16) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5703]: [1] 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@ | [8, 16) 1 | | [16, 32) 1 | | @latency[5705]: [1] 80 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 36 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8 |@@@@@ | @latency[5707]: [0] 1 | | [1] 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 34 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 9 |@@@@@ | [8, 16) 0 | | [16, 32) 1 | | @latency[53]: [1] 4 |@@@@ | [2, 4) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 9 |@@@@@@@@@@ | [16, 32) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 5 |@@@@@ | @latency[6701]: [1] 14 |@@@@ | [2, 4) 51 |@@@@@@@@@@@@@@ | [4, 8) 177 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 115 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 18 |@@@@@ | @latency[5701]: [0] 3 | | [1] 855 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 328 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 61 |@@@ | [8, 16) 15 | | [16, 32) 4 | | [32, 64) 5 | | @latency[6702]: [1] 34159 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 40088 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 68470 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 18579 |@@@@@@@@@@@@@@ | [16, 32) 8043 |@@@@@@ | [32, 64) 220 | | [64, 128) 29 | | [128, 256) 20 | | [256, 512) 3 | | [512, 1K) 0 | | [1K, 2K) 1 | | @latency[5702]: [0] 1926 | | [1] 107534 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 47890 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 10480 |@@@@@ | [8, 16) 4148 |@@ | [16, 32) 74 | | [32, 64) 3 | | [64, 128) 1 | | @latency[0]: [0] 136 | | [1] 39173 |@@@@@@@@@@ | [2, 4) 189983 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 85569 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 18314 |@@@@@ | [16, 32) 8428 |@@ | [32, 64) 383 | | [64, 128) 11 | | [128, 256) 1 | | @latency[4729]: [0] 2948 | | [1] 201530 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 223616 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 48530 |@@@@@@@@@@@ | [8, 16) 16654 |@@@ | [16, 32) 7322 |@ | [32, 64) 3001 | | [64, 128) 79 | | [Sat Dec 27 01:33:39 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sat Dec 27 01:33:39 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 27 01:33:40 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[1929505]: 6702 @latency[2427]: [8, 16) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5703]: [0] 1 | | [1] 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 25 |@@@@@@@@@@@@@@@@@@ | [4, 8) 6 |@@@@ | [8, 16) 4 |@@ | @latency[5705]: [0] 1 | | [1] 73 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 22 |@@@@@@@@@@@@@@@ | [4, 8) 7 |@@@@ | [8, 16) 3 |@@ | @latency[5707]: [0] 2 |@ | [1] 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 23 |@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@ | [8, 16) 2 |@ | @latency[5701]: [0] 1 | | [1] 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 60 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 8 |@@@@@ | @latency[53]: [1] 3 |@ | [2, 4) 124 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 48 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 20 |@@@@@@@@ | [16, 32) 119 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@ | [128, 256) 1 | | @latency[6701]: [1] 39 |@@@@@@@@@@@@ | [2, 4) 163 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 113 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 143 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 73 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 28 |@@@@@@@@ | [64, 128) 4 |@ | @latency[6702]: [1] 38110 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 20507 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 18185 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 33323 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3430 |@@@@ | [32, 64) 2165 |@@ | [64, 128) 107 | | [128, 256) 2 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 1 | | @latency[5702]: [0] 246 | | [1] 55409 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 17544 |@@@@@@@@@@@@@@@@ | [4, 8) 17809 |@@@@@@@@@@@@@@@@ | [8, 16) 26329 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 148 | | [32, 64) 18 | | [64, 128) 1 | | @latency[0]: [0] 142 | | [1] 47058 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 79484 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 28408 |@@@@@@@@@@@@@@@@@@ | [8, 16) 70134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6240 |@@@@ | [32, 64) 2155 |@ | [64, 128) 146 | | [128, 256) 1 | | @latency[4729]: [0] 1019 | | [1] 137835 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 62091 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 37110 |@@@@@@@@@@@@@@ | [8, 16) 91733 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3488 |@ | [32, 64) 800 | | [64, 128) 38 | | [128, 256) 3 | | [256, 512) 0 | | [512, 1K) 1 | | @start[1929505]: 69327513949892662 [Sat Dec 27 01:35:14 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Sat Dec 27 01:35:14 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 27 01:35:15 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@ | @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16404]: [8, 16) 2 |@@@@@@ | [16, 32) 0 | | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16412]: [16, 32) 4 |@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [8, 16) 1 |@@@@ | [16, 32) 3 |@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@@@@@@ | @latency[16414]: [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16432]: [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16428]: [8, 16) 2 |@@@ | [16, 32) 2 |@@@ | [32, 64) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@ | @latency[16426]: [16, 32) 2 |@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@@ | @latency[16424]: [8, 16) 1 |@@ | [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16430]: [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16434]: [4, 8) 1 |@@ | [8, 16) 0 | | [16, 32) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@ | @latency[1984]: [4, 8) 1 |@@ | [8, 16) 3 |@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16396]: [8, 16) 12 |@@@@@@@@@ | [16, 32) 7 |@@@@@ | [32, 64) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 12 |@@@@@@@@@ | @latency[16394]: [8, 16) 1 | | [16, 32) 16 |@@@@@@@@@@@@@ | [32, 64) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 20 |@@@@@@@@@@@@@@@@ | @latency[16398]: [8, 16) 9 |@@@@@ | [16, 32) 3 |@ | [32, 64) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16402]: [8, 16) 26 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@ | [32, 64) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16400]: [8, 16) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@ | @latency[16416]: [8, 16) 8 |@@@@ | [16, 32) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16422]: [8, 16) 22 |@@@@@@@@@@@@@ | [16, 32) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 18 |@@@@@@@@@@ | [128, 256) 1 | | @latency[53]: [1] 8 | | [2, 4) 465 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 180 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 54 |@@@@@@ | [16, 32) 317 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 368 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 27 |@@@ | [128, 256) 3 | | @latency[5705]: [0] 59 |@ | [1] 1206 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2708 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1045 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 775 |@@@@@@@@@@@@@@ | [16, 32) 54 |@ | @latency[5707]: [0] 62 |@ | [1] 1296 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2956 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 719 |@@@@@@@@@@@@ | [8, 16) 745 |@@@@@@@@@@@@@ | [16, 32) 69 |@ | @latency[5703]: [0] 16 | | [1] 1091 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2382 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1330 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1002 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 41 | | [32, 64) 2 | | @latency[6701]: [1] 302 |@@@@@@@ | [2, 4) 1126 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1016 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1988 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 726 |@@@@@@@@@@@@@@@@@@ | [32, 64) 781 |@@@@@@@@@@@@@@@@@@@@ | [64, 128) 61 |@ | [128, 256) 0 | | [256, 512) 1 | | @latency[5704]: [1] 3 | | [2, 4) 9 | | [4, 8) 150 |@ | [8, 16) 6784 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 20 | | [32, 64) 1 | | @latency[5701]: [0] 72 |@ | [1] 1428 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3591 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1053 |@@@@@@@@@@@@@@@ | [8, 16) 2006 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 550 |@@@@@@@ | [32, 64) 429 |@@@@@@ | [64, 128) 47 | | [128, 256) 0 | | [256, 512) 1 | | @latency[6702]: [1] 148765 |@@ | [2, 4) 105485 |@@ | [4, 8) 229269 |@@@@ | [8, 16) 2633919 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 81169 |@ | [32, 64) 77603 |@ | [64, 128) 1592 | | [128, 256) 25 | | [256, 512) 3 | | [512, 1K) 1 | | @latency[5702]: [0] 2390 | | [1] 363887 |@@@@@@@ | [2, 4) 127641 |@@ | [4, 8) 764886 |@@@@@@@@@@@@@@@ | [8, 16) 2503803 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 23813 | | [32, 64) 288 | | [64, 128) 9 | | @latency[0]: [0] 382 | | [1] 206537 |@@ | [2, 4) 487386 |@@@@@ | [4, 8) 321456 |@@@ | [8, 16) 4993117 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 271331 |@@ | [32, 64) 300828 |@@@ | [64, 128) 18892 | | [128, 256) 13 | | @latency[4729]: [0] 33834 | | [1] 1308954 |@@@@@@@@ | [2, 4) 1148398 |@@@@@@@ | [4, 8) 720533 |@@@@ | [8, 16) 7715966 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 94996 | | [32, 64) 73868 | | [64, 128) 5028 | | [128, 256) 16 | | [256, 512) 3 | | [Sat Dec 27 02:36:38 UTC 2025] respawn: 2: stopped pid 59 with status 0 [Sat Dec 27 02:36:38 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 27 02:36:40 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 3 |@@@@@@@@@ | [1] 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | [8, 16) 2 |@@@@@@ | @latency[5705]: [0] 4 |@@@@@@@@@@@@@ | [1] 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@@@ | [8, 16) 2 |@@@@@@ | [16, 32) 1 |@@@ | @latency[5707]: [0] 5 |@@@@@@@@@@@@@@ | [1] 3 |@@@@@@@@ | [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 |@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@@@ | @latency[5701]: [0] 4 |@@@@@@@@ | [1] 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 3 |@@@@@@ | [4, 8) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5 |@@@@@@@@@@ | [16, 32) 2 |@@@@ | @latency[0]: [1] 1 | | [2, 4) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 20 |@@@@@@@@@@@@@@@@ | [8, 16) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 24 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@ | [64, 128) 6 |@@@@ | @latency[4729]: [0] 2922 |@@@@@@@@@@@@ | [1] 12607 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1946 |@@@@@@@@ | [4, 8) 700 |@@ | [8, 16) 2429 |@@@@@@@@@@ | [16, 32) 38 | | [32, 64) 10 | | [64, 128) 52 | | [128, 256) 1 | | [Sat Dec 27 02:38:20 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sat Dec 27 02:38:20 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 27 02:38:22 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2925301]: 0 @dport[2924974]: 4729 @dport[2925118]: 4729 @dport[2925444]: 6702 @latency[16418]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16420]: [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16404]: [32, 64) 5 |@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16410]: [16, 32) 4 |@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@ | @latency[16412]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16408]: [16, 32) 1 |@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16414]: [16, 32) 4 |@@@@@@@@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [16, 32) 3 |@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16428]: [16, 32) 1 |@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@ | @latency[16426]: [8, 16) 1 |@@ | [16, 32) 9 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@@@@ | @latency[16424]: [16, 32) 2 |@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16434]: [16, 32) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@@@@ | @latency[16430]: [4, 8) 1 |@@ | [8, 16) 0 | | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[1984]: [16, 32) 6 |@@@@@@ | [32, 64) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16394]: [16, 32) 3 |@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16398]: [8, 16) 17 |@@@@@@@@@@@@ | [16, 32) 13 |@@@@@@@@@ | [32, 64) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16402]: [8, 16) 1 | | [16, 32) 4 |@@ | [32, 64) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16400]: [16, 32) 1 | | [32, 64) 98 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16396]: [2, 4) 1 |@ | [4, 8) 0 | | [8, 16) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 15 |@@@@@@@@@@@@@@@@@@ | [32, 64) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@ | @latency[16416]: [8, 16) 8 |@@@@ | [16, 32) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16422]: [8, 16) 7 |@@@ | [16, 32) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 90 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 | | @latency[53]: [1] 2 | | [2, 4) 406 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 166 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 70 |@@@@@@@@ | [16, 32) 290 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 362 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 19 |@@ | [128, 256) 3 | | @latency[5707]: [0] 93 |@ | [1] 1150 |@@@@@@@@@@@@@@@@ | [2, 4) 3553 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 952 |@@@@@@@@@@@@@ | [8, 16) 954 |@@@@@@@@@@@@@ | [16, 32) 97 |@ | [32, 64) 1 | | @latency[5705]: [0] 65 |@ | [1] 1094 |@@@@@@@@@@@@@@@@@@ | [2, 4) 3154 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1418 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1004 |@@@@@@@@@@@@@@@@ | [16, 32) 65 |@ | [32, 64) 1 | | @latency[5703]: [0] 25 | | [1] 902 |@@@@@@@@@@@@@@@@ | [2, 4) 2852 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1620 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1356 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 55 |@ | [32, 64) 2 | | @latency[5706]: [0] 1 | | [1] 76 | | [2, 4) 141 | | [4, 8) 239 |@ | [8, 16) 8424 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 31 | | @latency[6701]: [1] 367 |@@@@@ | [2, 4) 1714 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1278 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3214 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1146 |@@@@@@@@@@@@@@@@@@ | [32, 64) 1217 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 248 |@@@@ | [128, 256) 1 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5701]: [0] 82 | | [1] 1727 |@@@@@@@@@@@@@@@@@@ | [2, 4) 4878 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1562 |@@@@@@@@@@@@@@@@ | [8, 16) 3524 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 799 |@@@@@@@@ | [32, 64) 530 |@@@@@ | [64, 128) 46 | | [128, 256) 1 | | @latency[5708]: [0] 2 | | [1] 138 | | [2, 4) 242 | | [4, 8) 404 |@ | [8, 16) 14435 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 59 | | [32, 64) 2 | | @latency[5704]: [0] 1 | | [1] 149 | | [2, 4) 237 | | [4, 8) 548 |@ | [8, 16) 16499 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 54 | | [32, 64) 2 | | @latency[6702]: [1] 73383 |@ | [2, 4) 46277 | | [4, 8) 67750 |@ | [8, 16) 3115387 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 277107 |@@@@ | [32, 64) 192327 |@@@ | [64, 128) 10892 | | [128, 256) 130 | | [256, 512) 90 | | [512, 1K) 46 | | [1K, 2K) 2 | | @latency[5702]: [0] 564 | | [1] 140476 |@ | [2, 4) 75882 | | [4, 8) 762785 |@@@@@@@@@ | [8, 16) 4123822 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 25500 | | [32, 64) 339 | | [64, 128) 6 | | @latency[0]: [0] 390 | | [1] 124796 |@ | [2, 4) 148372 |@ | [4, 8) 162044 |@ | [8, 16) 6488028 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 293951 |@@ | [32, 64) 386801 |@@@ | [64, 128) 19919 | | [128, 256) 3 | | @latency[4729]: [0] 35798 | | [1] 1013592 |@@@@ | [2, 4) 911953 |@@@@ | [4, 8) 771574 |@@@ | [8, 16) 11264310 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 109060 | | [32, 64) 128854 | | [64, 128) 7644 | | [128, 256) 29 | | [256, 512) 49 | | [512, 1K) 15 | | [1K, 2K) 4 | | [2K, 4K) 1 | | [4K, 8K) 1 | | @start[2924974]: 69335209257704108 @start[2925444]: 69335209265485894 @start[2925301]: 69335209265565661 @start[2925118]: 69335209265586672 [Sat Dec 27 03:43:30 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sat Dec 27 03:43:30 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 27 03:43:31 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end.