[Sun Dec 21 01:31:26 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[805454]: 0 @latency[53]: [1] 4 |@@@@@@ | [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 10 |@@@@@@@@@@@@@@@@@ | [8, 16) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 3 |@@@@@ | @latency[5704]: [4, 8) 10 |@ | [8, 16) 311 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 | | @latency[5705]: [0] 44 |@@ | [1] 710 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 887 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 450 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 432 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4 | | @latency[5707]: [0] 44 |@@ | [1] 731 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 948 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 379 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 424 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 | | @latency[5703]: [0] 42 |@@ | [1] 594 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 891 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 546 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 456 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 | | @latency[6701]: [1] 40 |@ | [2, 4) 599 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 401 |@@@@@@@@@@@@@@@@@ | [8, 16) 1211 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 440 |@@@@@@@@@@@@@@@@@@ | [32, 64) 384 |@@@@@@@@@@@@@@@@ | [64, 128) 60 |@@ | [128, 256) 1 | | @latency[5701]: [0] 15 | | [1] 1112 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1256 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 692 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1508 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 146 |@@@@@ | [32, 64) 236 |@@@@@@@@ | [64, 128) 29 |@ | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[6702]: [1] 10622 | | [2, 4) 8801 | | [4, 8) 15424 | | [8, 16) 1745796 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 79019 |@@ | [32, 64) 37860 |@ | [64, 128) 1178 | | [128, 256) 23 | | @latency[5702]: [0] 181 | | [1] 24049 | | [2, 4) 13410 | | [4, 8) 52343 |@ | [8, 16) 1946389 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4802 | | [32, 64) 43 | | @latency[0]: [0] 23 | | [1] 5367 | | [2, 4) 50929 | | [4, 8) 44655 | | [8, 16) 3298934 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 179151 |@@ | [32, 64) 229498 |@@@ | [64, 128) 9798 | | [128, 256) 2 | | @latency[4729]: [0] 10399 | | [1] 343733 |@@@ | [2, 4) 305716 |@@@ | [4, 8) 232997 |@@ | [8, 16) 4922509 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 51724 | | [32, 64) 19256 | | [64, 128) 2085 | | [128, 256) 13 | | [256, 512) 6 | | [512, 1K) 2 | | @start[805454]: 29513415213617240 [Sun Dec 21 02:01:50 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sun Dec 21 02:01:50 UTC 2025] respawn: sleeping 1 seconds... [Sun Dec 21 02:01:51 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[764379]: 4729 @latency[6701]: [4, 8) 2 |@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@ | [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@@@@@@@@@@ | @latency[53]: [1] 1 |@@@@@@@ | [2, 4) 2 |@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 0 | | [16, 32) 2 |@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5703]: [0] 1 |@ | [1] 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@ | @latency[5705]: [0] 2 |@@ | [1] 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5707]: [0] 2 |@@ | [1] 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@ | @latency[5701]: [0] 1 |@ | [1] 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 22 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@@@@@@ | [32, 64) 4 |@@@@ | @latency[6702]: [1] 8 | | [2, 4) 8 | | [4, 8) 32 | | [8, 16) 5683 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 54 | | [32, 64) 92 | | [64, 128) 3 | | @latency[0]: [1] 59 | | [2, 4) 179 | | [4, 8) 356 |@ | [8, 16) 10275 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 728 |@@@ | [32, 64) 740 |@@@ | [64, 128) 45 | | @latency[5702]: [0] 156 | | [1] 333 | | [2, 4) 395 |@ | [4, 8) 1112 |@@@ | [8, 16) 18202 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 100 | | [32, 64) 6 | | @latency[4729]: [0] 673 | | [1] 14576 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 9875 |@@@@@@@@@@@@@ | [4, 8) 11186 |@@@@@@@@@@@@@@@ | [8, 16) 38168 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 617 | | [32, 64) 1724 |@@ | [64, 128) 94 | | [128, 256) 1 | | [256, 512) 1 | | @start[764379]: 29513463864142071 [Sun Dec 21 02:02:38 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Sun Dec 21 02:02:38 UTC 2025] respawn: sleeping 1 seconds... [Sun Dec 21 02:02:39 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16408]: [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@ | @latency[16410]: [16, 32) 2 |@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@@ | @latency[16396]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16400]: [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@@@ | @latency[16402]: [16, 32) 1 |@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@@@@ | @latency[16394]: [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16398]: [16, 32) 1 |@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16404]: [16, 32) 2 |@@@@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[53]: [2, 4) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@ | @latency[16422]: [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16418]: [16, 32) 6 |@@@@@@@@@@@ | [32, 64) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16416]: [16, 32) 1 |@ | [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16414]: [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [8, 16) 6 |@@@@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16420]: [8, 16) 2 |@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[1984]: [16, 32) 10 |@@@@@@@@@@@@ | [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16384]: [16, 32) 4 |@@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16388]: [8, 16) 15 |@@@@@@@@@@ | [16, 32) 6 |@@@@ | [32, 64) 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16386]: [16, 32) 1 | | [32, 64) 98 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16392]: [8, 16) 12 |@@@@@@@ | [16, 32) 8 |@@@@@ | [32, 64) 80 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16390]: [8, 16) 6 |@@@@ | [16, 32) 19 |@@@@@@@@@@@@@ | [32, 64) 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [2, 4) 1 | | [4, 8) 1 | | [8, 16) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 72 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 14 |@@@@@@@@@@ | @latency[16412]: [8, 16) 4 |@@ | [16, 32) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[5707]: [0] 66 |@@ | [1] 894 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1340 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 610 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 518 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 | | @latency[5705]: [0] 66 |@@ | [1] 874 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1238 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 711 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 531 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 | | @latency[5703]: [0] 66 |@@ | [1] 703 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1230 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 772 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 669 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4 | | @latency[6701]: [1] 48 |@ | [2, 4) 820 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 554 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1357 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 611 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 584 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 68 |@@ | [128, 256) 1 | | @latency[5701]: [0] 12 | | [1] 1058 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1783 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 945 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1228 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 259 |@@@@@@@ | [32, 64) 266 |@@@@@@@ | [64, 128) 20 | | [128, 256) 0 | | [256, 512) 1 | | @latency[5704]: [1] 15 | | [2, 4) 28 | | [4, 8) 155 |@ | [8, 16) 5939 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 6 | | @latency[6702]: [1] 4308 | | [2, 4) 6053 | | [4, 8) 10258 | | [8, 16) 1545614 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 68946 |@@ | [32, 64) 32207 |@ | [64, 128) 1100 | | [128, 256) 36 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5702]: [0] 114 | | [1] 13446 | | [2, 4) 12361 | | [4, 8) 55752 |@ | [8, 16) 1933187 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 7394 | | [32, 64) 109 | | @latency[0]: [0] 15 | | [1] 5091 | | [2, 4) 25909 | | [4, 8) 40582 | | [8, 16) 2941238 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 129207 |@@ | [32, 64) 210824 |@@@ | [64, 128) 9895 | | @latency[4729]: [0] 19134 | | [1] 383803 |@@@@ | [2, 4) 410668 |@@@@ | [4, 8) 311219 |@@@ | [8, 16) 4738881 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 43640 | | [32, 64) 44265 | | [64, 128) 2657 | | [128, 256) 14 | | [256, 512) 10 | | [512, 1K) 3 | | [1K, 2K) 3 | | [Sun Dec 21 02:37:06 UTC 2025] respawn: 2: stopped pid 59 with status 0 [Sun Dec 21 02:37:06 UTC 2025] respawn: sleeping 1 seconds... [Sun Dec 21 02:37:08 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 3 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@@@@@@@@@@ | [8, 16) 1 |@@@@@@ | @latency[5705]: [0] 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2 |@@@@@@@@@@@ | [4, 8) 2 |@@@@@@@@@@@ | [8, 16) 1 |@@@@@ | @latency[5707]: [0] 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 3 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@@@@@@@@@@ | [8, 16) 1 |@@@@@@ | @latency[5701]: [0] 1 |@@@@ | [1] 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@@ | @latency[0]: [1] 12 |@@@@@@@@@@@@ | [2, 4) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@ | [8, 16) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@ | [32, 64) 6 |@@@@@@ | @latency[4729]: [0] 1745 |@@@@@@@@ | [1] 10397 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2654 |@@@@@@@@@@@@@ | [4, 8) 1437 |@@@@@@@ | [8, 16) 3908 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 42 | | [32, 64) 21 | | [64, 128) 49 | | [Sun Dec 21 02:38:48 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sun Dec 21 02:38:48 UTC 2025] respawn: sleeping 1 seconds... [Sun Dec 21 02:38:50 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[840399]: 0 @dport[840206]: 4729 @dport[840540]: 6702 @latency[16418]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16420]: [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [16, 32) 4 |@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [16, 32) 2 |@@@@@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16404]: [16, 32) 3 |@@@@@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [16, 32) 4 |@@@@@@@@@@@@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [16, 32) 2 |@@@@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16432]: [16, 32) 4 |@@@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16426]: [8, 16) 5 |@@@@@@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16428]: [16, 32) 6 |@@@@@@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [16, 32) 1 |@ | [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16434]: [4, 8) 1 |@@ | [8, 16) 2 |@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@@@@ | @latency[16430]: [8, 16) 1 |@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [16, 32) 3 |@@@ | [32, 64) 46 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@ | @latency[53]: [2, 4) 2 |@@@@ | [4, 8) 6 |@@@@@@@@@@@@ | [8, 16) 9 |@@@@@@@@@@@@@@@@@@ | [16, 32) 12 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 10 |@@@@@@@@@@@@@@@@@@@@ | @latency[16398]: [8, 16) 14 |@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@ | [32, 64) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16396]: [8, 16) 1 | | [16, 32) 11 |@@@@@@ | [32, 64) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16394]: [16, 32) 16 |@@@@@@@@@@ | [32, 64) 82 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16402]: [8, 16) 1 | | [16, 32) 9 |@@@@@ | [32, 64) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@ | @latency[16400]: [8, 16) 10 |@@@@@@ | [16, 32) 11 |@@@@@@@ | [32, 64) 78 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16416]: [2, 4) 2 |@ | [4, 8) 0 | | [8, 16) 56 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 90 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 46 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16422]: [8, 16) 29 |@@@@@@@@@@@@@@@ | [16, 32) 95 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5707]: [0] 107 |@ | [1] 1406 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2821 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1370 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1082 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 13 | | @latency[5705]: [0] 118 |@@ | [1] 1410 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2649 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1535 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1076 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 | | @latency[5703]: [0] 101 |@ | [1] 1082 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2684 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1691 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1233 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 21 | | @latency[5706]: [1] 94 | | [2, 4) 96 | | [4, 8) 278 |@ | [8, 16) 8433 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 26 | | [32, 64) 5 | | @latency[6701]: [1] 37 | | [2, 4) 1933 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1264 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3153 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1234 |@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1392 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 148 |@@ | [128, 256) 2 | | @latency[5701]: [0] 19 | | [1] 1678 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 4551 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2343 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3287 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 704 |@@@@@@@@ | [32, 64) 487 |@@@@@ | [64, 128) 54 | | @latency[5708]: [1] 128 | | [2, 4) 163 | | [4, 8) 404 |@ | [8, 16) 14138 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 37 | | [32, 64) 7 | | @latency[5704]: [0] 1 | | [1] 169 | | [2, 4) 213 | | [4, 8) 515 |@ | [8, 16) 16329 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 43 | | [32, 64) 11 | | @latency[6702]: [1] 38964 | | [2, 4) 33561 | | [4, 8) 47745 | | [8, 16) 3151294 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 242358 |@@@ | [32, 64) 210388 |@@@ | [64, 128) 4414 | | [128, 256) 131 | | [256, 512) 41 | | [512, 1K) 62 | | [1K, 2K) 2 | | @latency[5702]: [0] 383 | | [1] 78108 | | [2, 4) 54085 | | [4, 8) 167077 |@ | [8, 16) 4721152 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 29031 | | [32, 64) 929 | | [64, 128) 5 | | @latency[0]: [0] 82 | | [1] 22398 | | [2, 4) 148781 |@ | [4, 8) 134598 |@ | [8, 16) 6191516 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 559781 |@@@@ | [32, 64) 434967 |@@@ | [64, 128) 21806 | | [128, 256) 3 | | @latency[4729]: [0] 33767 | | [1] 812188 |@@@ | [2, 4) 991560 |@@@@ | [4, 8) 707336 |@@@ | [8, 16) 11209952 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 161093 | | [32, 64) 129276 | | [64, 128) 5988 | | [128, 256) 50 | | [256, 512) 27 | | [512, 1K) 17 | | [1K, 2K) 5 | | [2K, 4K) 0 | | [4K, 8K) 1 | | @start[840540]: 29519523455796267 @start[840399]: 29519523455836343 @start[840206]: 29519523455843224 [Sun Dec 21 03:43:37 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Sun Dec 21 03:43:37 UTC 2025] respawn: sleeping 1 seconds... [Sun Dec 21 03:43:38 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9