[Tue Jan 13 01:32:20 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@@@@@ | @latency[16420]: [8, 16) 2 |@@@@@@@@@@@@@@ | [16, 32) 1 |@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [16, 32) 4 |@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [16, 32) 4 |@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [16, 32) 1 |@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@ | @latency[16404]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16414]: [16, 32) 3 |@@@@@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16432]: [8, 16) 1 |@@ | [16, 32) 2 |@@@@ | [32, 64) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 8 |@@@@@@@@@@@@@@@@@@ | @latency[16428]: [8, 16) 1 |@@ | [16, 32) 2 |@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 5 |@@@@@@@@@@ | @latency[16426]: [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [16, 32) 5 |@@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16434]: [8, 16) 6 |@@@@@@@@@@@@@@@@@ | [16, 32) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16430]: [2, 4) 1 |@@ | [4, 8) 1 |@@ | [8, 16) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[1984]: [2, 4) 1 |@ | [4, 8) 0 | | [8, 16) 4 |@@@@@@@ | [16, 32) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16394]: [16, 32) 8 |@@@@ | [32, 64) 88 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16398]: [8, 16) 18 |@@@@@@@@@@@@@@@@ | [16, 32) 15 |@@@@@@@@@@@@@ | [32, 64) 58 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@@@@@@@ | @latency[16396]: [2, 4) 1 |@ | [4, 8) 0 | | [8, 16) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 48 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@ | @latency[16402]: [8, 16) 1 | | [16, 32) 4 |@@ | [32, 64) 95 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16400]: [8, 16) 3 |@ | [16, 32) 6 |@@@ | [32, 64) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16416]: [2, 4) 3 |@@ | [4, 8) 0 | | [8, 16) 77 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@ | @latency[16422]: [2, 4) 3 |@@ | [4, 8) 2 |@ | [8, 16) 55 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@ | @latency[53]: [0] 1 | | [1] 31 |@@@@@@@ | [2, 4) 229 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 89 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 72 |@@@@@@@@@@@@@@@@ | [16, 32) 168 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 206 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 16 |@@@ | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 2 | | @latency[5705]: [0] 67 |@ | [1] 1883 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2563 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 680 |@@@@@@@@@@@@@ | [8, 16) 874 |@@@@@@@@@@@@@@@@@ | [16, 32) 34 | | @latency[5707]: [0] 74 |@ | [1] 1938 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2786 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 399 |@@@@@@@ | [8, 16) 860 |@@@@@@@@@@@@@@@@ | [16, 32) 44 | | @latency[5703]: [0] 22 | | [1] 1588 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2506 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 947 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 1016 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 38 | | @latency[5704]: [0] 2 | | [1] 27 | | [2, 4) 14 | | [4, 8) 169 |@ | [8, 16) 6138 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 16 | | [32, 64) 1 | | @latency[6701]: [1] 293 |@@@@@@ | [2, 4) 1308 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1066 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2334 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1120 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1014 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 132 |@@ | [128, 256) 1 | | @latency[5701]: [0] 71 | | [1] 2286 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3703 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1289 |@@@@@@@@@@@@@@@@@@ | [8, 16) 2309 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 700 |@@@@@@@@@ | [32, 64) 394 |@@@@@ | [64, 128) 30 | | @latency[6702]: [1] 91712 |@ | [2, 4) 75474 |@ | [4, 8) 124297 |@@ | [8, 16) 2970599 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 390061 |@@@@@@ | [32, 64) 101997 |@ | [64, 128) 6451 | | [128, 256) 100 | | [256, 512) 18 | | [512, 1K) 22 | | @latency[5702]: [0] 1018 | | [1] 178539 |@@@ | [2, 4) 87426 |@ | [4, 8) 899356 |@@@@@@@@@@@@@@@ | [8, 16) 3091062 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 15871 | | [32, 64) 349 | | [64, 128) 14 | | @latency[0]: [0] 616 | | [1] 220367 |@ | [2, 4) 227922 |@ | [4, 8) 203332 |@ | [8, 16) 6269703 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 228801 |@ | [32, 64) 399558 |@@@ | [64, 128) 19773 | | [128, 256) 1 | | @latency[4729]: [0] 31631 | | [1] 1177402 |@@@@@@ | [2, 4) 892524 |@@@@ | [4, 8) 656303 |@@@ | [8, 16) 9533772 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 97306 | | [32, 64) 74848 | | [64, 128) 5823 | | [128, 256) 12 | | [256, 512) 12 | | [512, 1K) 5 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 1 | | [Tue Jan 13 02:39:37 UTC 2026] respawn: 0: stopped pid 24 with status 0 [Tue Jan 13 02:39:37 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 02:39:39 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 8 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 3 |@@@@@@@@@ | [1] 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@@@ | [8, 16) 2 |@@@@@@ | @latency[5705]: [0] 4 |@@@@@@@@@@@@ | [1] 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@@@ | [8, 16) 3 |@@@@@@@@@ | [16, 32) 1 |@@@ | @latency[5707]: [0] 1 |@@@ | [1] 5 |@@@@@@@@@@@@@@@@@ | [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@ | [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5701]: [0] 1 |@ | [1] 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 7 |@@@@@@@@@@@@@ | [4, 8) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1 |@ | [16, 32) 3 |@@@@@ | [32, 64) 1 |@ | @latency[0]: [2, 4) 47 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 19 |@@@@@@@@@@@@@ | [8, 16) 72 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 14 |@@@@@@@@@@ | [32, 64) 14 |@@@@@@@@@@ | [64, 128) 7 |@@@@@ | @latency[4729]: [0] 1693 |@@@@@@@ | [1] 12290 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2357 |@@@@@@@@@ | [4, 8) 729 |@@@ | [8, 16) 3533 |@@@@@@@@@@@@@@ | [16, 32) 38 | | [32, 64) 10 | | [64, 128) 52 | | [Tue Jan 13 02:41:17 UTC 2026] respawn: 0: stopped pid 23 with status 0 [Tue Jan 13 02:41:17 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 02:41:19 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16420]: [2, 4) 1 |@@@@@@@ | [4, 8) 0 | | [8, 16) 0 | | [16, 32) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 1 |@@@@@@@ | @latency[16418]: [8, 16) 1 |@@@@@@@@@@ | [16, 32) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16404]: [4, 8) 1 |@@@ | [8, 16) 1 |@@@ | [16, 32) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16406]: [4, 8) 1 |@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@@@@@@@ | @latency[16408]: [4, 8) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16410]: [4, 8) 2 |@@@@@@@@ | [8, 16) 1 |@@@@ | [16, 32) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3 |@@@@@@@@@@@@@ | @latency[16412]: [2, 4) 1 |@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@@@@@ | [16, 32) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [4, 8) 2 |@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [8, 16) 4 |@@@@@@@@@@ | [16, 32) 7 |@@@@@@@@@@@@@@@@@@ | [32, 64) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[16428]: [4, 8) 3 |@@@@@@@@@@@ | [8, 16) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16426]: [4, 8) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@ | @latency[16434]: [4, 8) 1 |@@ | [8, 16) 6 |@@@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16430]: [2, 4) 1 |@@ | [4, 8) 0 | | [8, 16) 3 |@@@@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[1984]: [4, 8) 9 |@@@@@@@@@@@@@@@@ | [8, 16) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 11 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 3 |@@@@@ | @latency[16402]: [4, 8) 6 |@@@@@@ | [8, 16) 52 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 19 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 24 |@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16394]: [2, 4) 1 | | [4, 8) 5 |@@@ | [8, 16) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 14 |@@@@@@@@ | @latency[16398]: [2, 4) 28 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 10 |@@@@@@@@ | [8, 16) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 | | @latency[16396]: [2, 4) 10 |@@@@@ | [4, 8) 4 |@@ | [8, 16) 88 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16400]: [2, 4) 11 |@@@@@@@ | [4, 8) 15 |@@@@@@@@@@ | [8, 16) 73 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 |@@ | @latency[16416]: [2, 4) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 20 |@@@@@@@@@@@@@@@@@ | [8, 16) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 59 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16422]: [2, 4) 10 |@@@@@@ | [4, 8) 13 |@@@@@@@@ | [8, 16) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 78 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 54 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[53]: [1] 1 | | [2, 4) 413 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 149 |@@@@@@@@@@@@@@@@@@ | [8, 16) 73 |@@@@@@@@@ | [16, 32) 319 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 313 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 24 |@@@ | [128, 256) 1 | | @latency[5707]: [0] 52 |@ | [1] 1373 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2319 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 329 |@@@@@@@ | [8, 16) 559 |@@@@@@@@@@@@ | [16, 32) 81 |@ | @latency[5705]: [0] 53 |@ | [1] 1337 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 521 |@@@@@@@@@@@@ | [8, 16) 604 |@@@@@@@@@@@@@@ | [16, 32) 49 |@ | [32, 64) 2 | | @latency[5703]: [0] 28 | | [1] 1132 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2110 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 719 |@@@@@@@@@@@@@@@@@ | [8, 16) 689 |@@@@@@@@@@@@@@@@ | [16, 32) 45 |@ | [32, 64) 1 | | @latency[6701]: [1] 214 |@@@@@@ | [2, 4) 1067 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 610 |@@@@@@@@@@@@@@@@@ | [8, 16) 1806 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 627 |@@@@@@@@@@@@@@@@@@ | [32, 64) 805 |@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 153 |@@@@ | [128, 256) 1 | | @latency[5706]: [0] 3 | | [1] 242 |@@ | [2, 4) 618 |@@@@@@ | [4, 8) 365 |@@@ | [8, 16) 4995 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 36 | | [32, 64) 2 | | @latency[5701]: [0] 54 |@ | [1] 1703 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2705 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 981 |@@@@@@@@@@@@@@@@@@ | [8, 16) 1927 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 622 |@@@@@@@@@@@ | [32, 64) 277 |@@@@@ | [64, 128) 20 | | @latency[5708]: [0] 6 | | [1] 375 |@@ | [2, 4) 763 |@@@@ | [4, 8) 444 |@@ | [8, 16) 8288 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 59 | | [32, 64) 5 | | @latency[5704]: [0] 3 | | [1] 280 |@ | [2, 4) 812 |@@@@ | [4, 8) 454 |@@ | [8, 16) 8474 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 43 | | [32, 64) 4 | | @latency[6702]: [1] 100867 |@@@ | [2, 4) 65917 |@@ | [4, 8) 90463 |@@@ | [8, 16) 1475576 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 138572 |@@@@ | [32, 64) 130854 |@@@@ | [64, 128) 7783 | | [128, 256) 49 | | [256, 512) 9 | | [512, 1K) 10 | | [1K, 2K) 0 | | [2K, 4K) 1 | | @latency[5702]: [0] 1602 | | [1] 275726 |@@@@@@ | [2, 4) 120709 |@@ | [4, 8) 385197 |@@@@@@@@@ | [8, 16) 2109067 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 38363 | | [32, 64) 892 | | [64, 128) 17 | | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 1 | | @latency[0]: [0] 624 | | [1] 204977 |@@@ | [2, 4) 239547 |@@@@ | [4, 8) 135270 |@@ | [8, 16) 3108396 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 156196 |@@ | [32, 64) 201429 |@@@ | [64, 128) 10783 | | [128, 256) 1 | | @latency[4729]: [0] 27601 | | [1] 1148373 |@@@@@@@@@@ | [2, 4) 789778 |@@@@@@@ | [4, 8) 541105 |@@@@@ | [8, 16) 5581772 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 71751 | | [32, 64) 94306 | | [64, 128) 3661 | | [128, 256) 13 | | [256, 512) 3 | | [512, 1K) 8 | | [Tue Jan 13 03:29:39 UTC 2026] respawn: 0: stopped pid 27 with status 0 [Tue Jan 13 03:29:39 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:29:40 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 55 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [1] 1 |@@@@@@@@@@ | [2, 4) 0 | | [4, 8) 0 | | [8, 16) 2 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@@@@@@@@@@@@@@ | [32, 64) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[6701]: [1] 3 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2 |@@@@@@@@@@@@@@ | [4, 8) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@@@@@@@@@@@@@@@@@ | @latency[5703]: [1] 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 8 |@@@@@@@@@@ | @latency[5705]: [1] 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@@ | [8, 16) 1 |@ | @latency[5707]: [1] 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 6 |@@@@@@@@ | [8, 16) 1 |@ | @latency[5701]: [1] 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@@@@@@ | [8, 16) 8 |@@@@@@@@@ | [16, 32) 1 |@ | @latency[5704]: [1] 3 |@ | [2, 4) 121 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 7 |@@@ | [8, 16) 1 | | @latency[6702]: [1] 2278 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2198 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 5848 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1184 |@@@@@@@@@@ | [16, 32) 1061 |@@@@@@@@@ | [32, 64) 3 | | [64, 128) 1 | | @latency[5702]: [0] 73 | | [1] 17174 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 5694 |@@@@@@@@@@@@@@@@@ | [4, 8) 1499 |@@@@ | [8, 16) 1034 |@@@ | [16, 32) 11 | | [32, 64) 3 | | @latency[0]: [0] 60 | | [1] 5046 |@@@@@@@@@@@@@@@@ | [2, 4) 16220 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2388 |@@@@@@@ | [8, 16) 918 |@@ | [16, 32) 935 |@@ | [32, 64) 23 | | @latency[4729]: [0] 791 |@ | [1] 33498 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 28745 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5784 |@@@@@@@@ | [8, 16) 1596 |@@ | [16, 32) 1279 |@ | [32, 64) 616 | | [64, 128) 8 | | [Tue Jan 13 03:30:17 UTC 2026] respawn: 1: stopped pid 63 with status 0 [Tue Jan 13 03:30:17 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:30:18 UTC 2026] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 91 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[4032373]: 0 @latency[53]: [8, 16) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5703]: [0] 7 | | [1] 282 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 429 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 125 |@@@@@@@@@@@@@@@ | [8, 16) 95 |@@@@@@@@@@@ | [16, 32) 3 | | @latency[5705]: [0] 5 | | [1] 309 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 404 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 125 |@@@@@@@@@@@@@@@@ | [8, 16) 95 |@@@@@@@@@@@@ | [16, 32) 3 | | @latency[5707]: [0] 7 | | [1] 287 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 441 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 110 |@@@@@@@@@@@@ | [8, 16) 89 |@@@@@@@@@@ | [16, 32) 7 | | @latency[5706]: [0] 3 | | [1] 62 |@@@ | [2, 4) 878 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 157 |@@@@@@@@@ | [8, 16) 226 |@@@@@@@@@@@@@ | @latency[5708]: [0] 1 | | [1] 102 |@@@ | [2, 4) 1575 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 276 |@@@@@@@@@ | [8, 16) 330 |@@@@@@@@@@ | [16, 32) 2 | | @latency[6701]: [1] 74 |@@@@@ | [2, 4) 504 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 595 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 748 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 457 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 120 |@@@@@@@@ | [64, 128) 21 |@ | @latency[5701]: [0] 12 | | [1] 484 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1160 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 533 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 368 |@@@@@@@@@@@@@@@@ | [16, 32) 78 |@@@ | [32, 64) 24 |@ | [64, 128) 4 | | [128, 256) 1 | | @latency[5704]: [1] 227 |@@@@@ | [2, 4) 2301 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 616 |@@@@@@@@@@@@@ | [8, 16) 851 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 12 | | @latency[6702]: [0] 12 | | [1] 174984 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 146696 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 328944 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 224772 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 58086 |@@@@@@@@@ | [32, 64) 19940 |@@@ | [64, 128) 2153 | | [128, 256) 109 | | [256, 512) 66 | | [512, 1K) 34 | | [1K, 2K) 3 | | [2K, 4K) 1 | | @latency[5702]: [0] 2181 | | [1] 477589 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 266626 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 181638 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 240346 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3108 | | [32, 64) 96 | | [64, 128) 17 | | @latency[0]: [0] 1215 | | [1] 290061 |@@@@@@@@@@@@@@@@@@ | [2, 4) 796734 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 295668 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 484349 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 37085 |@@ | [32, 64) 16887 |@ | [64, 128) 714 | | [128, 256) 8 | | [256, 512) 1 | | @latency[4729]: [0] 7607 | | [1] 848894 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1031976 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 476694 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 672077 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 42800 |@@ | [32, 64) 11245 | | [64, 128) 235 | | [128, 256) 17 | | [256, 512) 6 | | [512, 1K) 5 | | [1K, 2K) 0 | | [2K, 4K) 1 | | @start[4032373]: 70803689938806394 [Tue Jan 13 03:38:10 UTC 2026] respawn: 2: stopped pid 94 with status 0 [Tue Jan 13 03:38:10 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:38:11 UTC 2026] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Tue Jan 13 03:38:11 UTC 2026] respawn: 3: stopped pid 129 with status 1 [Tue Jan 13 03:38:11 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:38:12 UTC 2026] respawn: 4: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 143 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[3803929]: 0 @dport[4051857]: 0 @dport[3999089]: 4729 @dport[3804219]: 6702 @latency[5703]: [1] 3 |@@@@ | [2, 4) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@ | [8, 16) 3 |@@@@ | @latency[5705]: [1] 1 |@ | [2, 4) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@ | [8, 16) 2 |@@ | @latency[5707]: [1] 2 |@@ | [2, 4) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@ | [8, 16) 2 |@@ | [16, 32) 1 |@ | @latency[5706]: [2, 4) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 9 |@@@@@@@@@@@@@@@ | @latency[5708]: [1] 2 |@@ | [2, 4) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@@@@@@@@@@@@@@@@ | @latency[5701]: [1] 1 | | [2, 4) 58 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 16 |@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@ | [16, 32) 1 | | @latency[6701]: [2, 4) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 15 |@@@@@@@@@@@@@@@@@ | [32, 64) 3 |@@@ | [64, 128) 1 |@ | @latency[5704]: [1] 2 | | [2, 4) 176 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 22 |@@@@@@ | [8, 16) 28 |@@@@@@@@ | [16, 32) 3 | | @latency[6702]: [1] 2034 |@@ | [2, 4) 36467 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 13677 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 7676 |@@@@@@@@@@ | [16, 32) 1963 |@@ | [32, 64) 363 | | [64, 128) 81 | | [128, 256) 8 | | [256, 512) 2 | | @latency[5702]: [0] 3 | | [1] 36369 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 27215 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 6462 |@@@@@@@@@ | [8, 16) 4738 |@@@@@@ | [16, 32) 137 | | [32, 64) 5 | | [64, 128) 0 | | [128, 256) 1 | | @latency[0]: [1] 2426 |@ | [2, 4) 96674 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10857 |@@@@@ | [8, 16) 13120 |@@@@@@@ | [16, 32) 1778 | | [32, 64) 314 | | [64, 128) 218 | | @latency[4729]: [0] 4 | | [1] 13144 |@@@@ | [2, 4) 152769 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 15661 |@@@@@ | [8, 16) 16540 |@@@@@ | [16, 32) 1505 | | [32, 64) 162 | | [64, 128) 20 | | [128, 256) 2 | | @start[4051857]: 70803719131935827 @start[3804219]: 70803719172738366 @start[3803929]: 70803719172759163 @start[3999089]: 70803719172763060 [Tue Jan 13 03:38:40 UTC 2026] respawn: 4: stopped pid 149 with status 0 [Tue Jan 13 03:38:40 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:38:41 UTC 2026] respawn: 5: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Tue Jan 13 03:38:41 UTC 2026] respawn: 5: stopped pid 189 with status 1 [Tue Jan 13 03:38:41 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:38:42 UTC 2026] respawn: 6: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Tue Jan 13 03:38:42 UTC 2026] respawn: 6: stopped pid 205 with status 1 [Tue Jan 13 03:38:42 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:38:43 UTC 2026] respawn: 7: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Tue Jan 13 03:38:43 UTC 2026] respawn: 7: stopped pid 221 with status 1 [Tue Jan 13 03:38:43 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:38:44 UTC 2026] respawn: 8: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 227 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[3803929]: 0 @dport[3999089]: 4729 @dport[3804219]: 6702 @latency[53]: [32, 64) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[6701]: [2, 4) 256 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 329 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 425 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 215 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 89 |@@@@@@@@@@ | [64, 128) 7 | | @latency[5707]: [1] 179 |@@@@@@@@@@ | [2, 4) 919 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 125 |@@@@@@@ | [8, 16) 132 |@@@@@@@ | [16, 32) 16 | | @latency[5705]: [1] 159 |@@@@@@@@@ | [2, 4) 902 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 156 |@@@@@@@@ | [8, 16) 142 |@@@@@@@@ | [16, 32) 13 | | @latency[5703]: [1] 119 |@@@@@@ | [2, 4) 917 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 180 |@@@@@@@@@@ | [8, 16) 142 |@@@@@@@@ | [16, 32) 18 |@ | @latency[5706]: [2, 4) 664 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 232 |@@@@@@@@@@@ | [8, 16) 1091 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 80 |@@@ | [32, 64) 1 | | @latency[5701]: [1] 77 |@@@ | [2, 4) 1213 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 511 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 373 |@@@@@@@@@@@@@@@ | [16, 32) 216 |@@@@@@@@@ | [32, 64) 65 |@@ | [64, 128) 17 | | @latency[5708]: [1] 8 | | [2, 4) 1388 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 312 |@@@@@@@@@@ | [8, 16) 1548 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 86 |@@ | [32, 64) 2 | | @latency[5704]: [1] 16 | | [2, 4) 1926 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 511 |@@@@@@@@ | [8, 16) 2964 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 123 |@@ | [32, 64) 3 | | @latency[6702]: [1] 23685 |@@@ | [2, 4) 267503 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 177236 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 410240 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 87563 |@@@@@@@@@@@ | [32, 64) 28266 |@@@ | [64, 128) 5638 | | [128, 256) 91 | | [256, 512) 46 | | [512, 1K) 32 | | @latency[5702]: [0] 6 | | [1] 295061 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 250968 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 112882 |@@@@@@@@@@ | [8, 16) 553033 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 11484 |@ | [32, 64) 219 | | [64, 128) 20 | | [128, 256) 1 | | @latency[0]: [1] 16963 |@ | [2, 4) 823032 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 157547 |@@@@@@@@@ | [8, 16) 847825 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 124482 |@@@@@@@ | [32, 64) 14378 | | [64, 128) 27364 |@ | [128, 256) 5 | | @latency[4729]: [0] 1111 | | [1] 169602 |@@@@@ | [2, 4) 1423300 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 331976 |@@@@@@@@@@@ | [8, 16) 1482487 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 61468 |@@ | [32, 64) 9919 | | [64, 128) 5190 | | [128, 256) 21 | | [256, 512) 17 | | [512, 1K) 11 | | [1K, 2K) 4 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 1 | | @start[3804219]: 70804250173480825 @start[3803929]: 70804250173589671 @start[3999089]: 70804250173619059 [Tue Jan 13 03:47:31 UTC 2026] respawn: 8: stopped pid 235 with status 0 [Tue Jan 13 03:47:31 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 03:47:32 UTC 2026] respawn: 9: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 227 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end.