[Sat Dec 20 01:32:09 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@@@@@ | @latency[16416]: [16, 32) 2 |@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@ | @latency[16406]: [16, 32) 2 |@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16408]: [16, 32) 3 |@@@@@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16430]: [16, 32) 6 |@@@@@@@@@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16422]: [16, 32) 1 |@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@ | @latency[16426]: [16, 32) 1 |@ | [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [16, 32) 6 |@@@@@@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [2, 4) 1 |@@ | [4, 8) 0 | | [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 6 |@@@@@@@@@@@@@@@ | @latency[16428]: [8, 16) 6 |@@@@@@@@@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [16, 32) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@@@@@@@@@@@@@@@ | @latency[16394]: [8, 16) 1 | | [16, 32) 16 |@@@@@@@@@@ | [32, 64) 83 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16398]: [4, 8) 1 | | [8, 16) 15 |@@@@@@@@@@@@ | [16, 32) 17 |@@@@@@@@@@@@@ | [32, 64) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16396]: [8, 16) 17 |@@@@@@@@@@@@@@ | [16, 32) 23 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 60 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16402]: [8, 16) 5 |@@@ | [16, 32) 10 |@@@@@@ | [32, 64) 83 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16400]: [16, 32) 6 |@@@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[53]: [1] 10 |@@@@@@@@@@@@@@@@@@ | [2, 4) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@@@@@@ | @latency[16420]: [8, 16) 44 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 100 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 49 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 | | @latency[16414]: [8, 16) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 82 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16404]: [8, 16) 1 | | [16, 32) 24 |@@@@@@@ | [32, 64) 169 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 | | @latency[5707]: [0] 96 |@ | [1] 1325 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2553 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1098 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 959 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 4 | | [32, 64) 1 | | @latency[5705]: [0] 92 |@@ | [1] 1314 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2337 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1310 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 976 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 | | @latency[5703]: [0] 96 |@@ | [1] 1100 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2307 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1433 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1110 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 7 | | [32, 64) 1 | | @latency[5704]: [1] 18 | | [2, 4) 15 | | [4, 8) 158 |@ | [8, 16) 6764 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 11 | | @latency[6701]: [1] 39 | | [2, 4) 1389 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 968 |@@@@@@@@@@@@@@@@@@ | [8, 16) 2653 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 968 |@@@@@@@@@@@@@@@@@@ | [32, 64) 1065 |@@@@@@@@@@@@@@@@@@@@ | [64, 128) 134 |@@ | [128, 256) 0 | | [256, 512) 1 | | @latency[5701]: [0] 16 | | [1] 1616 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3833 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1626 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2632 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 467 |@@@@@@ | [32, 64) 449 |@@@@@@ | [64, 128) 49 | | @latency[6702]: [1] 21431 | | [2, 4) 20028 | | [4, 8) 30058 | | [8, 16) 3395048 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 84401 |@ | [32, 64) 84270 |@ | [64, 128) 1901 | | [128, 256) 35 | | [256, 512) 4 | | [512, 1K) 1 | | @latency[5702]: [0] 450 | | [1] 53275 | | [2, 4) 32229 | | [4, 8) 120931 |@ | [8, 16) 3931036 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 14347 | | [32, 64) 209 | | [64, 128) 1 | | @latency[0]: [0] 64 | | [1] 16772 | | [2, 4) 88957 | | [4, 8) 97582 | | [8, 16) 6278544 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 373076 |@@@ | [32, 64) 446503 |@@@ | [64, 128) 20250 | | [128, 256) 1 | | @latency[4729]: [0] 26983 | | [1] 705413 |@@@ | [2, 4) 799447 |@@@@ | [4, 8) 563872 |@@ | [8, 16) 9850193 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 76257 | | [32, 64) 70857 | | [64, 128) 3765 | | [128, 256) 41 | | [256, 512) 8 | | [512, 1K) 10 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 1 | | [Sat Dec 20 02:38:04 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sat Dec 20 02:38:04 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 02:38:05 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@@ | @latency[5705]: [0] 4 |@@@@@@@@@@@@@@@@@@@@@@@ | [1] 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@@@@@ | [4, 8) 3 |@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@ | @latency[5707]: [0] 3 |@@@@@@@@@@@@@@@@@@@ | [1] 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2 |@@@@@@@@@@@@@ | [4, 8) 3 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@@@@@@@@@@@@@@@ | @latency[5701]: [1] 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@@@@@@@@ | [32, 64) 1 |@@@@ | @latency[0]: [1] 10 |@@@@@@@@@@@ | [2, 4) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@ | [8, 16) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4 |@@@@ | [32, 64) 2 |@@ | [64, 128) 3 |@@@ | @latency[4729]: [0] 2271 |@@@@@@@@@@@@ | [1] 9356 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2983 |@@@@@@@@@@@@@@@@ | [4, 8) 1481 |@@@@@@@@ | [8, 16) 4032 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 45 | | [32, 64) 41 | | [64, 128) 44 | | [Sat Dec 20 02:39:45 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sat Dec 20 02:39:45 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 02:39:47 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [1] 1 |@@@@@ | [2, 4) 2 |@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 0 | | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[5705]: [0] 68 |@@ | [1] 707 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1236 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 791 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 499 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 10 | | [32, 64) 1 | | @latency[5707]: [0] 61 |@@ | [1] 742 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1358 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 646 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 497 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 8 | | @latency[5703]: [0] 61 |@@ | [1] 579 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1243 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 807 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 621 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 | | @latency[5706]: [1] 224 |@@@ | [2, 4) 82 |@ | [4, 8) 112 |@ | [8, 16) 3096 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 19 | | [32, 64) 3 | | @latency[6701]: [1] 22 | | [2, 4) 1006 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 695 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1337 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 616 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 514 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 158 |@@@@@@ | [128, 256) 0 | | [256, 512) 1 | | @latency[5704]: [1] 212 |@@ | [2, 4) 77 | | [4, 8) 153 |@ | [8, 16) 5115 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 18 | | [32, 64) 1 | | @latency[5701]: [0] 10 | | [1] 935 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2149 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1100 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1515 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 323 |@@@@@@@ | [32, 64) 225 |@@@@@ | [64, 128) 31 | | @latency[5708]: [0] 1 | | [1] 358 |@@@ | [2, 4) 183 |@ | [4, 8) 184 |@ | [8, 16) 5892 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12 | | [32, 64) 4 | | @latency[6702]: [1] 30218 |@ | [2, 4) 23058 | | [4, 8) 26523 |@ | [8, 16) 1287410 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 140643 |@@@@@ | [32, 64) 91911 |@@@ | [64, 128) 7148 | | [128, 256) 63 | | [256, 512) 5 | | @latency[5702]: [0] 725 | | [1] 83797 |@@ | [2, 4) 32349 | | [4, 8) 70831 |@ | [8, 16) 1944978 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12429 | | [32, 64) 381 | | [64, 128) 8 | | @latency[0]: [0] 78 | | [1] 21203 | | [2, 4) 115703 |@@ | [4, 8) 56718 |@ | [8, 16) 2656017 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 178678 |@@@ | [32, 64) 201004 |@@@ | [64, 128) 10530 | | @latency[4729]: [0] 19597 | | [1] 512718 |@@@@@ | [2, 4) 511694 |@@@@@ | [4, 8) 333350 |@@@ | [8, 16) 4695920 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 55351 | | [32, 64) 47836 | | [64, 128) 4017 | | [128, 256) 8 | | [256, 512) 5 | | [512, 1K) 4 | | [1K, 2K) 2 | | [Sat Dec 20 03:14:39 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sat Dec 20 03:14:39 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 03:14:40 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16410]: [4, 8) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16394]: [8, 16) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@@@@@@@@@@ | [32, 64) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16396]: [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@ | @latency[16398]: [4, 8) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@@@@@@@@@@@@@@ | [32, 64) 1 |@@@@@@@ | @latency[16400]: [8, 16) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@@@@@@ | @latency[16402]: [4, 8) 1 |@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@@@ | @latency[16404]: [8, 16) 3 |@@@@@@@@@@@@@@ | [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [2, 4) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16422]: [2, 4) 2 |@@@@@@@@@@@ | [4, 8) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@@@@ | @latency[16414]: [4, 8) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 5 |@@@@@@@@@@@@@@@@@@ | @latency[16418]: [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@ | @latency[16416]: [2, 4) 1 |@@@@ | [4, 8) 4 |@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [4, 8) 6 |@@@@@@@@@@@@@@ | [8, 16) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16386]: [4, 8) 6 |@@@@@@@@@ | [8, 16) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 15 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@@@@@@@@@@@@ | @latency[16388]: [2, 4) 4 |@@@@@@ | [4, 8) 5 |@@@@@@@ | [8, 16) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16390]: [2, 4) 1 |@ | [4, 8) 16 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 9 |@@@@@@@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@ | [128, 256) 1 |@ | @latency[16384]: [4, 8) 8 |@@@@@@@@@@@@@ | [8, 16) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@ | @latency[16392]: [4, 8) 6 |@@@@@@@ | [8, 16) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16420]: [2, 4) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 7 |@@@@@@@@@ | [8, 16) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 3 |@@@@ | @latency[16424]: [2, 4) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8 |@@@@@@@@@ | [8, 16) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@@ | @latency[16412]: [2, 4) 35 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 30 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 78 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@ | @latency[16406]: [2, 4) 19 |@@@@@@@@@@@@@@@ | [4, 8) 15 |@@@@@@@@@@@@ | [8, 16) 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 5 |@@@@ | @latency[6701]: [1] 2 | | [2, 4) 167 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 209 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 224 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 167 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 63 |@@@@@@@@@@@@@@ | [64, 128) 9 |@@ | @latency[5707]: [0] 7 | | [1] 320 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 459 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 101 |@@@@@@@@@@@ | [8, 16) 51 |@@@@@ | [16, 32) 2 | | @latency[5705]: [0] 9 |@ | [1] 299 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 466 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 112 |@@@@@@@@@@@@ | [8, 16) 54 |@@@@@@ | [16, 32) 1 | | @latency[5703]: [0] 8 | | [1] 250 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 512 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 105 |@@@@@@@@@@ | [8, 16) 71 |@@@@@@@ | [16, 32) 2 | | @latency[5701]: [0] 5 | | [1] 327 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 514 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 226 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 214 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 86 |@@@@@@@@ | [32, 64) 48 |@@@@ | [64, 128) 7 | | @latency[5706]: [0] 17 | | [1] 305 |@@@@@@@@@@@@@@ | [2, 4) 1106 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 147 |@@@@@@ | [8, 16) 474 |@@@@@@@@@@@@@@@@@@@@@@ | @latency[5704]: [0] 13 | | [1] 385 |@@@@@@@@@@@@@@@@@@ | [2, 4) 1089 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 169 |@@@@@@@@ | [8, 16) 485 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 | | @latency[5708]: [0] 13 | | [1] 298 |@@@@@@@@@@@@ | [2, 4) 1272 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 196 |@@@@@@@@ | [8, 16) 568 |@@@@@@@@@@@@@@@@@@@@@@@ | @latency[6702]: [0] 4 | | [1] 20310 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 20751 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 53608 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 49776 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 27201 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 8059 |@@@@@@@ | [64, 128) 1095 |@ | [128, 256) 22 | | [256, 512) 1 | | @latency[0]: [0] 359 | | [1] 15425 |@@@@@ | [2, 4) 152490 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 50695 |@@@@@@@@@@@@@@@@@ | [8, 16) 131120 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 12803 |@@@@ | [32, 64) 5866 |@@ | [64, 128) 325 | | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5702]: [0] 2496 | | [1] 104771 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 131779 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 60188 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 156130 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4358 |@ | [32, 64) 67 | | [64, 128) 10 | | @latency[4729]: [0] 7600 | | [1] 223767 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 413073 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 188587 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 345262 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 22178 |@@ | [32, 64) 12640 |@ | [64, 128) 443 | | [128, 256) 5 | | [256, 512) 2 | | [512, 1K) 2 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [Sat Dec 20 03:23:06 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Sat Dec 20 03:23:06 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 03:23:07 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2384827]: 0 @latency[5708]: [2, 4) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 0 | | [8, 16) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5706]: [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@ | @latency[53]: [2, 4) 1 |@@@@@@@@@@ | [4, 8) 1 |@@@@@@@@@@ | [8, 16) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[6701]: [1] 1 |@ | [2, 4) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 46 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@ | [64, 128) 2 |@@ | @latency[5707]: [0] 7 | | [1] 304 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 405 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 69 |@@@@@@@@ | [8, 16) 32 |@@@@ | [16, 32) 1 | | @latency[5703]: [0] 1 | | [1] 207 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 487 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 73 |@@@@@@@ | [8, 16) 47 |@@@@@ | [16, 32) 3 | | [32, 64) 1 | | @latency[5705]: [0] 3 | | [1] 281 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 415 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 85 |@@@@@@@@@@ | [8, 16) 34 |@@@@ | [16, 32) 1 | | @latency[5701]: [0] 2 | | [1] 288 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 480 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 118 |@@@@@@@@@@@@ | [8, 16) 83 |@@@@@@@@ | [16, 32) 46 |@@@@ | [32, 64) 7 | | @latency[5704]: [1] 182 |@@@@@@@@@@@@@@@@@@ | [2, 4) 525 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 100 |@@@@@@@@@ | [8, 16) 231 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 | | @latency[6702]: [1] 37353 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 31206 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 73078 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 60607 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 22405 |@@@@@@@@@@@@@@@ | [32, 64) 6867 |@@@@ | [64, 128) 1113 | | [128, 256) 15 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5702]: [0] 1070 | | [1] 128800 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 85780 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 41615 |@@@@@@@@@@@@@@@@ | [8, 16) 107953 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2420 | | [32, 64) 45 | | [64, 128) 4 | | [128, 256) 1 | | @latency[0]: [0] 199 | | [1] 17357 |@@@ | [2, 4) 243799 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 49402 |@@@@@@@@@@ | [8, 16) 140553 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 12030 |@@ | [32, 64) 6187 |@ | [64, 128) 271 | | [128, 256) 1 | | @latency[4729]: [0] 7512 |@ | [1] 216778 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 374698 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 121542 |@@@@@@@@@@@@@@@@ | [8, 16) 247877 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 12594 |@ | [32, 64) 5755 | | [64, 128) 263 | | [128, 256) 1 | | [256, 512) 4 | | @start[2384827]: 29432311477566461 [Sat Dec 20 03:30:06 UTC 2025] respawn: 2: stopped pid 59 with status 0 [Sat Dec 20 03:30:06 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 03:30:07 UTC 2025] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 77 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@@@@@@@ | @latency[5703]: [1] 37 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@ | [8, 16) 1 | | @latency[5705]: [1] 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@ | @latency[5707]: [0] 1 | | [1] 48 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 73 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 |@@@ | @latency[6701]: [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 48 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@ | @latency[5701]: [1] 44 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 34 |@@@@@@@@@@@@@@@@@@ | [8, 16) 10 |@@@@@ | [16, 32) 3 |@ | @latency[5706]: [1] 138 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 281 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 | | @latency[5708]: [0] 31 |@@@@ | [1] 164 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 365 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10 |@ | [8, 16) 10 |@ | @latency[5704]: [0] 26 |@@ | [1] 294 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 618 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 | | [8, 16) 10 | | @latency[6702]: [1] 14600 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 13589 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 33989 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8147 |@@@@@@@@@@@@ | [16, 32) 2679 |@@@@ | [32, 64) 97 | | [64, 128) 12 | | @latency[5702]: [0] 1948 |@ | [1] 59177 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 38732 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 4336 |@@@ | [8, 16) 2923 |@@ | [16, 32) 29 | | [32, 64) 3 | | [64, 128) 1 | | @latency[0]: [0] 98 | | [1] 11905 |@@@@@ | [2, 4) 115224 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10265 |@@@@ | [8, 16) 7801 |@@@ | [16, 32) 1692 | | [32, 64) 249 | | [64, 128) 16 | | @latency[4729]: [0] 14287 |@@@@ | [1] 91379 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 173352 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 18848 |@@@@@ | [8, 16) 9873 |@@ | [16, 32) 2071 | | [32, 64) 741 | | [64, 128) 10 | | [128, 256) 1 | | [Sat Dec 20 03:31:44 UTC 2025] respawn: 3: stopped pid 80 with status 0 [Sat Dec 20 03:31:44 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 03:31:45 UTC 2025] respawn: 4: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 98 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2452751]: 0 @dport[2498289]: 0 @dport[2452223]: 4729 @dport[2453383]: 6702 @latency[53]: [2, 4) 2 |@@@@@@@@@@@@@@ | [4, 8) 1 |@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5703]: [0] 5 | | [1] 115 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 282 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 25 |@@@@ | [8, 16) 30 |@@@@@ | @latency[5705]: [0] 5 |@ | [1] 150 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 258 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 16 |@@@ | [8, 16) 28 |@@@@@ | @latency[5707]: [0] 10 |@@ | [1] 152 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 246 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 20 |@@@@ | [8, 16) 29 |@@@@@@ | @latency[5706]: [0] 9 |@ | [1] 343 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 257 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 78 |@@@@@@@@@@@ | [8, 16) 222 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[6701]: [1] 4 | | [2, 4) 474 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 452 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 460 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 224 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 77 |@@@@@@@@ | [64, 128) 15 |@ | @latency[5701]: [0] 14 | | [1] 157 |@@@@@ | [2, 4) 1411 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 133 |@@@@ | [8, 16) 175 |@@@@@@ | [16, 32) 34 |@ | [32, 64) 4 | | @latency[5708]: [0] 20 |@ | [1] 736 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 639 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 168 |@@@@@@@@@@@ | [8, 16) 601 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 | | @latency[5704]: [0] 21 |@ | [1] 844 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 962 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 217 |@@@@@@@@@@@ | [8, 16) 694 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[6702]: [0] 11 | | [1] 173855 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 87190 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 114991 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 138610 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 44636 |@@@@@@@@@@@@@ | [32, 64) 10668 |@@@ | [64, 128) 1035 | | [128, 256) 35 | | [256, 512) 11 | | [512, 1K) 27 | | @latency[5702]: [0] 2406 | | [1] 335022 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 113774 |@@@@@@@@@@@@@@@@@ | [4, 8) 63309 |@@@@@@@@@ | [8, 16) 185349 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1784 | | [32, 64) 62 | | [64, 128) 8 | | [128, 256) 0 | | [256, 512) 1 | | @latency[0]: [0] 622 | | [1] 82766 |@@@@@@ | [2, 4) 614991 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 89210 |@@@@@@@ | [8, 16) 331449 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 21701 |@ | [32, 64) 7925 | | [64, 128) 264 | | @latency[4729]: [0] 7995 | | [1] 308770 |@@@@@@@@@@@@@@@@@@ | [2, 4) 881727 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 141206 |@@@@@@@@ | [8, 16) 483483 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18912 |@ | [32, 64) 3028 | | [64, 128) 91 | | [128, 256) 5 | | [256, 512) 3 | | [512, 1K) 2 | | @start[2498289]: 29432676335016696 @start[2453383]: 29432676441600003 @start[2452751]: 29432676441621034 @start[2452223]: 29432676441627096 [Sat Dec 20 03:36:10 UTC 2025] respawn: 4: stopped pid 101 with status 0 [Sat Dec 20 03:36:10 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 03:36:11 UTC 2025] respawn: 5: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 119 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2452751]: 0 @dport[2452223]: 4729 @dport[2453383]: 6702 @latency[5703]: [1] 14 |@ | [2, 4) 517 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 429 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 219 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 | | @latency[5705]: [1] 23 |@@ | [2, 4) 589 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 368 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 200 |@@@@@@@@@@@@@@@@@ | [16, 32) 5 | | @latency[5707]: [1] 17 |@ | [2, 4) 629 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 349 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 176 |@@@@@@@@@@@@@@ | [16, 32) 14 |@ | @latency[6701]: [2, 4) 327 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 286 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 581 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 353 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 211 |@@@@@@@@@@@@@@@@@@ | [64, 128) 61 |@@@@@ | [128, 256) 1 | | @latency[5706]: [1] 10 | | [2, 4) 859 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 72 |@@@ | [8, 16) 1104 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 7 | | [32, 64) 1 | | @latency[5701]: [1] 15 | | [2, 4) 883 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 580 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 491 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 243 |@@@@@@@@@@@@@@ | [32, 64) 59 |@@@ | [64, 128) 20 |@ | @latency[5708]: [1] 9 | | [2, 4) 943 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 80 |@@ | [8, 16) 1927 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9 | | @latency[5704]: [1] 21 | | [2, 4) 1751 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 161 |@@ | [8, 16) 3103 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 15 | | [32, 64) 1 | | @latency[6702]: [1] 1849 | | [2, 4) 161083 |@@@@@@@@@@@@@@@ | [4, 8) 119789 |@@@@@@@@@@@ | [8, 16) 556073 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 134583 |@@@@@@@@@@@@ | [32, 64) 31127 |@@ | [64, 128) 7620 | | [128, 256) 64 | | [256, 512) 14 | | [512, 1K) 30 | | [1K, 2K) 2 | | [2K, 4K) 0 | | [4K, 8K) 1 | | @latency[5702]: [1] 42881 |@@ | [2, 4) 303440 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 47670 |@@@ | [8, 16) 809212 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12978 | | [32, 64) 181 | | [64, 128) 5 | | @latency[0]: [1] 1366 | | [2, 4) 529458 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 75893 |@@@ | [8, 16) 1146124 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 213410 |@@@@@@@@@ | [32, 64) 34060 |@ | [64, 128) 34873 |@ | [128, 256) 1 | | [256, 512) 1 | | @latency[4729]: [0] 1322 | | [1] 12839 | | [2, 4) 1038446 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 208920 |@@@@@ | [8, 16) 2078420 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 75034 |@ | [32, 64) 4392 | | [64, 128) 7694 | | [128, 256) 16 | | [256, 512) 6 | | [512, 1K) 7 | | [1K, 2K) 4 | | @start[2453383]: 29433181254884836 @start[2452751]: 29433181255100460 @start[2452223]: 29433181255131698 [Sat Dec 20 03:44:35 UTC 2025] respawn: 5: stopped pid 122 with status 0 [Sat Dec 20 03:44:35 UTC 2025] respawn: sleeping 1 seconds... [Sat Dec 20 03:44:36 UTC 2025] respawn: 6: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 119