[Thu Dec 25 01:31:27 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [1] 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 71 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 8 |@@@@@ | [8, 16) 2 |@ | @latency[5705]: [0] 1 | | [1] 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@ | @latency[5707]: [1] 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 60 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 6 |@@@@ | @latency[6701]: [1] 23 |@@@@@@@@@ | [2, 4) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 125 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 78 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 15 |@@@@@@ | @latency[53]: [1] 4 |@ | [2, 4) 159 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 55 |@@@@@@@@@@@@@@@@@ | [8, 16) 3 | | [16, 32) 73 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 151 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 | | @latency[5701]: [0] 1 | | [1] 491 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 676 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 76 |@@@@@ | [8, 16) 17 |@ | [16, 32) 8 | | [32, 64) 2 | | @latency[6702]: [1] 38081 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 23271 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 40360 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 14709 |@@@@@@@@@@@@@@@@@@ | [16, 32) 5012 |@@@@@@ | [32, 64) 187 | | [64, 128) 36 | | [128, 256) 11 | | [256, 512) 4 | | @latency[5702]: [0] 614 | | [1] 79721 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 31480 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8548 |@@@@@ | [8, 16) 3570 |@@ | [16, 32) 122 | | [32, 64) 9 | | @latency[0]: [0] 819 | | [1] 58512 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 138617 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 30077 |@@@@@@@@@@@ | [8, 16) 13513 |@@@@@ | [16, 32) 4377 |@ | [32, 64) 300 | | [64, 128) 9 | | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[4729]: [0] 1260 | | [1] 183333 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 155707 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 36776 |@@@@@@@@@@ | [8, 16) 12569 |@@@ | [16, 32) 4463 |@ | [32, 64) 2359 | | [64, 128) 40 | | [Thu Dec 25 01:33:17 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Thu Dec 25 01:33:17 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 01:33:18 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16418]: [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@@@@ | @latency[16406]: [16, 32) 2 |@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [16, 32) 1 |@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16404]: [16, 32) 2 |@@@@@@ | [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16408]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@ | @latency[16414]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@ | @latency[2427]: [4, 8) 3 |@@@@@@@@@ | [8, 16) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [16, 32) 5 |@@@@@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16428]: [16, 32) 1 |@ | [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16426]: [16, 32) 5 |@@@@@@@@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16424]: [16, 32) 7 |@@@@@@@@@@@@@ | [32, 64) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16434]: [8, 16) 6 |@@@@@@@@@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16430]: [8, 16) 7 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@@@@@ | @latency[1984]: [8, 16) 4 |@@@@@@ | [16, 32) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@ | @latency[16394]: [16, 32) 5 |@@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16398]: [2, 4) 1 | | [4, 8) 0 | | [8, 16) 10 |@@@@@@ | [16, 32) 9 |@@@@@ | [32, 64) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16396]: [8, 16) 19 |@@@@@@@@@@@@@@ | [16, 32) 10 |@@@@@@@ | [32, 64) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16402]: [4, 8) 1 | | [8, 16) 19 |@@@@@@@@@@@@@ | [16, 32) 4 |@@ | [32, 64) 75 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16400]: [8, 16) 15 |@@@@@@@@@@@ | [16, 32) 9 |@@@@@@ | [32, 64) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 8 |@@@@@@ | @latency[16416]: [2, 4) 1 | | [4, 8) 0 | | [8, 16) 21 |@@@@@@@@@@@@ | [16, 32) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 78 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 9 |@@@@@ | @latency[16422]: [8, 16) 26 |@@@@@@@@@@@@@@@@@ | [16, 32) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 21 |@@@@@@@@@@@@@ | @latency[53]: [1] 14 |@ | [2, 4) 534 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 251 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 96 |@@@@@@@@@ | [16, 32) 389 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 492 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 26 |@@ | [128, 256) 2 | | @latency[5707]: [0] 75 |@ | [1] 1110 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 3010 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 879 |@@@@@@@@@@@@@@@ | [8, 16) 774 |@@@@@@@@@@@@@ | [16, 32) 84 |@ | @latency[5705]: [0] 62 |@ | [1] 1064 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2759 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1171 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 822 |@@@@@@@@@@@@@@@ | [16, 32) 53 | | [32, 64) 2 | | @latency[5703]: [0] 28 | | [1] 986 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2403 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1344 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1128 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 57 |@ | [32, 64) 3 | | @latency[6701]: [1] 268 |@@@@@@ | [2, 4) 1178 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1096 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2251 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 937 |@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 877 |@@@@@@@@@@@@@@@@@@@@ | [64, 128) 113 |@@ | @latency[5704]: [1] 10 | | [2, 4) 11 | | [4, 8) 157 |@ | [8, 16) 6537 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 47 | | [32, 64) 3 | | @latency[5701]: [0] 71 | | [1] 1131 |@@@@@@@@@@@@@@@ | [2, 4) 3813 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1197 |@@@@@@@@@@@@@@@@ | [8, 16) 2078 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 676 |@@@@@@@@@ | [32, 64) 435 |@@@@@ | [64, 128) 50 | | @latency[6702]: [0] 2 | | [1] 206231 |@@@ | [2, 4) 121910 |@@ | [4, 8) 192997 |@@@ | [8, 16) 2771564 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 102137 |@ | [32, 64) 77811 |@ | [64, 128) 3691 | | [128, 256) 24 | | [256, 512) 2 | | [512, 1K) 4 | | [1K, 2K) 1 | | [2K, 4K) 1 | | @latency[5702]: [0] 2184 | | [1] 390682 |@@@@@@@ | [2, 4) 142110 |@@ | [4, 8) 752016 |@@@@@@@@@@@@@@ | [8, 16) 2667985 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 28494 | | [32, 64) 818 | | [64, 128) 17 | | @latency[0]: [0] 1697 | | [1] 357520 |@@@ | [2, 4) 555407 |@@@@@ | [4, 8) 210309 |@@ | [8, 16) 5166259 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 343628 |@@@ | [32, 64) 348134 |@@@ | [64, 128) 16558 | | [128, 256) 4 | | @latency[4729]: [0] 33939 | | [1] 1418059 |@@@@@@@@@ | [2, 4) 1122025 |@@@@@@@ | [4, 8) 695252 |@@@@ | [8, 16) 8189569 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 87356 | | [32, 64) 68820 | | [64, 128) 11625 | | [128, 256) 15 | | [256, 512) 10 | | [512, 1K) 14 | | [1K, 2K) 3 | | [Thu Dec 25 02:37:01 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Thu Dec 25 02:37:01 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 02:37:03 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [1] 2 |@@@ | [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@@@ | [8, 16) 3 |@@@@@ | [16, 32) 1 |@ | @latency[5705]: [0] 1 |@@ | [1] 1 |@@ | [2, 4) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@@@@ | [8, 16) 5 |@@@@@@@@@@ | [16, 32) 1 |@@ | @latency[5707]: [0] 1 |@@ | [1] 1 |@@ | [2, 4) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@@@@@@@@@@@ | [8, 16) 8 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@ | @latency[5701]: [1] 6 |@@@@@@@@@@@@@ | [2, 4) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@ | @latency[0]: [2, 4) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@ | [64, 128) 6 |@@@@@@ | @latency[4729]: [0] 1044 |@@@@@ | [1] 9981 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 4992 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 846 |@@@@ | [8, 16) 3681 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 100 | | [32, 64) 10 | | [64, 128) 51 | | [Thu Dec 25 02:38:43 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Thu Dec 25 02:38:43 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 02:38:45 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[47777]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 0 | | [8, 16) 0 | | [16, 32) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16418]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16406]: [16, 32) 2 |@@@@@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16408]: [16, 32) 2 |@@@@@@@@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16410]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16412]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16404]: [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16432]: [16, 32) 1 |@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 5 |@@@@@@@@@@ | @latency[16428]: [16, 32) 2 |@@@ | [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16426]: [16, 32) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16424]: [16, 32) 4 |@@@@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16434]: [4, 8) 1 |@@ | [8, 16) 5 |@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16430]: [8, 16) 2 |@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 3 |@@@@@@@@ | @latency[1984]: [32, 64) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@ | @latency[16394]: [8, 16) 1 | | [16, 32) 6 |@@@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16398]: [8, 16) 9 |@@@@@ | [16, 32) 10 |@@@@@@ | [32, 64) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16396]: [32, 64) 100 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16402]: [16, 32) 1 | | [32, 64) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16400]: [8, 16) 11 |@@@@@@@ | [16, 32) 14 |@@@@@@@@@ | [32, 64) 75 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16416]: [8, 16) 26 |@@@@@@@@@@@@@@ | [16, 32) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16422]: [8, 16) 18 |@@@@@@@@@ | [16, 32) 96 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@ | @latency[53]: [0] 1 | | [1] 2 | | [2, 4) 417 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 172 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 70 |@@@@@@@@ | [16, 32) 265 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 391 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 38 |@@@@ | [128, 256) 2 | | @latency[5705]: [0] 39 |@ | [1] 697 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 1840 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 866 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 550 |@@@@@@@@@@@@@@@ | [16, 32) 37 |@ | @latency[5707]: [0] 41 |@ | [1] 763 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 1988 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 648 |@@@@@@@@@@@@@@@@ | [8, 16) 538 |@@@@@@@@@@@@@@ | [16, 32) 51 |@ | @latency[5703]: [0] 19 | | [1] 616 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 1648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 954 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 775 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 23 | | [32, 64) 1 | | @latency[6701]: [1] 276 |@@@@@@@@ | [2, 4) 1017 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 603 |@@@@@@@@@@@@@@@@@ | [8, 16) 1774 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 568 |@@@@@@@@@@@@@@@@ | [32, 64) 831 |@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 89 |@@ | [128, 256) 2 | | @latency[5706]: [1] 30 | | [2, 4) 56 | | [4, 8) 188 |@ | [8, 16) 5111 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 21 | | @latency[5701]: [0] 46 | | [1] 1465 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2500 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 812 |@@@@@@@@@@@@@@@@ | [8, 16) 1794 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 463 |@@@@@@@@@ | [32, 64) 324 |@@@@@@ | [64, 128) 29 | | [128, 256) 2 | | [256, 512) 1 | | @latency[5708]: [1] 79 | | [2, 4) 113 | | [4, 8) 304 |@ | [8, 16) 8615 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 25 | | [32, 64) 1 | | @latency[5704]: [1] 40 | | [2, 4) 63 | | [4, 8) 273 |@ | [8, 16) 8760 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 32 | | @latency[6702]: [0] 5 | | [1] 87068 |@@@ | [2, 4) 110118 |@@@@ | [4, 8) 83889 |@@@ | [8, 16) 1365716 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 64462 |@@ | [32, 64) 124651 |@@@@ | [64, 128) 2813 | | [128, 256) 29 | | [256, 512) 2 | | [512, 1K) 2 | | [1K, 2K) 1 | | @latency[5702]: [0] 1148 | | [1] 190587 |@@@@@ | [2, 4) 104559 |@@ | [4, 8) 500597 |@@@@@@@@@@@@@@ | [8, 16) 1813691 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 11944 | | [32, 64) 226 | | [64, 128) 6 | | @latency[0]: [0] 657 | | [1] 169379 |@@@ | [2, 4) 285627 |@@@@@ | [4, 8) 148493 |@@ | [8, 16) 2774607 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 126494 |@@ | [32, 64) 195567 |@@@ | [64, 128) 10021 | | [128, 256) 3 | | @latency[4729]: [0] 25948 | | [1] 817532 |@@@@@@@@ | [2, 4) 771086 |@@@@@@@ | [4, 8) 517609 |@@@@@ | [8, 16) 5159869 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 59588 | | [32, 64) 95613 | | [64, 128) 5151 | | [128, 256) 17 | | [256, 512) 8 | | [512, 1K) 4 | | [1K, 2K) 1 | | [Thu Dec 25 03:21:18 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Thu Dec 25 03:21:18 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:21:19 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[6701]: [1] 2 |@@@ | [2, 4) 12 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 10 |@@@@@@@@@@@@@@@@ | [8, 16) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@@@@@ | @latency[5705]: [0] 6 |@ | [1] 123 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 237 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 68 |@@@@@@@@@@@@@@ | [8, 16) 43 |@@@@@@@@@ | [16, 32) 11 |@@ | @latency[5707]: [0] 8 |@ | [1] 131 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 257 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 42 |@@@@@@@@ | [8, 16) 33 |@@@@@@ | [16, 32) 16 |@@@ | [32, 64) 1 | | @latency[5703]: [0] 4 | | [1] 109 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 243 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 73 |@@@@@@@@@@@@@@@ | [8, 16) 49 |@@@@@@@@@@ | [16, 32) 13 |@@ | @latency[5701]: [0] 7 |@ | [1] 86 |@@@@@@@@@@@@@ | [2, 4) 323 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 61 |@@@@@@@@@ | [8, 16) 80 |@@@@@@@@@@@@ | [16, 32) 37 |@@@@@ | [32, 64) 12 |@ | [64, 128) 2 | | @latency[5708]: [1] 35 |@@@ | [2, 4) 54 |@@@@@ | [4, 8) 37 |@@@@ | [8, 16) 476 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12 |@ | @latency[5704]: [1] 37 |@@@ | [2, 4) 57 |@@@@@@ | [4, 8) 26 |@@ | [8, 16) 486 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9 | | [32, 64) 1 | | @latency[5706]: [1] 33 |@@@ | [2, 4) 54 |@@@@@ | [4, 8) 44 |@@@@ | [8, 16) 470 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 17 |@ | @latency[6702]: [0] 1 | | [1] 39816 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 18391 |@@@@@@@@@@@@@@@@@@ | [4, 8) 13908 |@@@@@@@@@@@@@ | [8, 16) 52333 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 5465 |@@@@@ | [32, 64) 1881 |@ | [64, 128) 76 | | [128, 256) 4 | | @latency[5702]: [0] 172 | | [1] 48930 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 35405 |@@@@@@@@@@@@@@@@@@ | [4, 8) 25856 |@@@@@@@@@@@@@ | [8, 16) 97976 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1960 |@ | [32, 64) 43 | | [64, 128) 1 | | @latency[0]: [0] 159 | | [1] 108785 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 34699 |@@@@@@@@@@@@@@@@ | [4, 8) 12508 |@@@@@ | [8, 16) 99954 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4252 |@@ | [32, 64) 5710 |@@ | [64, 128) 320 | | @latency[4729]: [0] 1975 | | [1] 166244 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 132817 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 42067 |@@@@@@@@@@ | [8, 16) 215685 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9960 |@@ | [32, 64) 8055 |@ | [64, 128) 537 | | [128, 256) 2 | | [Thu Dec 25 03:25:26 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Thu Dec 25 03:25:26 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:25:27 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2004184]: 0 @dport[1773134]: 4729 @dport[2003843]: 4729 @dport[2004489]: 6702 @latency[53]: [1] 1 |@@@@@@ | [2, 4) 0 | | [4, 8) 0 | | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@@@@@ | @latency[5703]: [0] 9 |@ | [1] 297 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 410 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 140 |@@@@@@@@@@@@@@@@@ | [8, 16) 75 |@@@@@@@@@ | [16, 32) 7 | | @latency[5705]: [0] 9 |@ | [1] 350 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 385 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 108 |@@@@@@@@@@@@@@ | [8, 16) 75 |@@@@@@@@@@ | [16, 32) 10 |@ | [32, 64) 1 | | @latency[5707]: [0] 9 |@ | [1] 380 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 371 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 98 |@@@@@@@@@@@@@ | [8, 16) 71 |@@@@@@@@@ | [16, 32) 9 |@ | @latency[5706]: [0] 1 | | [1] 55 |@@@ | [2, 4) 852 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 157 |@@@@@@@@@ | [8, 16) 62 |@@@ | [16, 32) 1 | | @latency[5708]: [1] 43 |@@ | [2, 4) 998 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 178 |@@@@@@@@@ | [8, 16) 78 |@@@@ | [16, 32) 2 | | @latency[6701]: [1] 19 |@@ | [2, 4) 153 |@@@@@@@@@@@@@@@@@@ | [4, 8) 436 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 422 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 355 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 37 |@@@@ | [64, 128) 6 | | @latency[5701]: [0] 18 | | [1] 458 |@@@@@@@@@@@@@@@@ | [2, 4) 1406 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 343 |@@@@@@@@@@@@ | [8, 16) 161 |@@@@@ | [16, 32) 60 |@@ | [32, 64) 12 | | [64, 128) 2 | | @latency[5704]: [0] 2 | | [1] 209 |@@@@@ | [2, 4) 1947 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 448 |@@@@@@@@@@@ | [8, 16) 690 |@@@@@@@@@@@@@@@@@@ | [16, 32) 10 | | [32, 64) 1 | | @latency[6702]: [0] 5 | | [1] 79379 |@@@@@@@@@@@@@@@@@ | [2, 4) 85341 |@@@@@@@@@@@@@@@@@@ | [4, 8) 238934 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 102618 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 24406 |@@@@@ | [32, 64) 9612 |@@ | [64, 128) 930 | | [128, 256) 22 | | [256, 512) 5 | | [512, 1K) 4 | | [1K, 2K) 1 | | @latency[5702]: [0] 2829 | | [1] 354581 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 158035 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 82708 |@@@@@@@@@@@@ | [8, 16) 148477 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4678 | | [32, 64) 145 | | [64, 128) 11 | | [128, 256) 2 | | @latency[0]: [0] 1072 | | [1] 185679 |@@@@@@@@@@@@@@@@ | [2, 4) 594408 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 103261 |@@@@@@@@@ | [8, 16) 186692 |@@@@@@@@@@@@@@@@ | [16, 32) 13671 |@ | [32, 64) 6052 | | [64, 128) 365 | | [128, 256) 3 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 1 | | @latency[4729]: [0] 11826 | | [1] 536066 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 870974 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 209463 |@@@@@@@@@@@@ | [8, 16) 349354 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 20977 |@ | [32, 64) 12055 | | [64, 128) 810 | | [128, 256) 13 | | [256, 512) 8 | | [512, 1K) 2 | | @start[1773134]: 69161809637406157 @start[2004489]: 69161809646537154 @start[2004184]: 69161809646563601 @start[2003843]: 69161809646570130 [Thu Dec 25 03:33:30 UTC 2025] respawn: 2: stopped pid 59 with status 0 [Thu Dec 25 03:33:30 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:33:31 UTC 2025] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p bpftrace: option requires an argument -- 'p' USAGE: bpftrace [options] filename bpftrace [options] - bpftrace [options] -e 'program' OPTIONS: -B MODE output buffering mode ('full', 'none') -f FORMAT output format ('text', 'json') -o file redirect bpftrace output to file -e 'program' execute this program -h, --help show this help message -I DIR add the directory to the include search path --include FILE add an #include file before preprocessing -l [search] list probes -p PID enable USDT probes on PID -c 'CMD' run CMD and enable USDT probes on resulting process --usdt-file-activation activate usdt semaphores based on file path --unsafe allow unsafe builtin functions -q keep messages quiet --info Print information about kernel BPF support -k emit a warning when a bpf helper returns an error (except read functions) -kk check all bpf helper functions -V, --version bpftrace version --no-warnings disable all warning messages TROUBLESHOOTING OPTIONS: -v verbose messages -d (dry run) debug info -dd (dry run) verbose debug info --emit-elf FILE (dry run) generate ELF file with bpf programs and write to FILE --emit-llvm FILE write LLVM IR to FILE.original.ll and FILE.optimized.ll ENVIRONMENT: BPFTRACE_STRLEN [default: 64] bytes on BPF stack per str() BPFTRACE_NO_CPP_DEMANGLE [default: 0] disable C++ symbol demangling BPFTRACE_MAP_KEYS_MAX [default: 4096] max keys in a map BPFTRACE_CAT_BYTES_MAX [default: 10k] maximum bytes read by cat builtin BPFTRACE_MAX_PROBES [default: 512] max number of probes BPFTRACE_MAX_BPF_PROGS [default: 512] max number of generated BPF programs BPFTRACE_LOG_SIZE [default: 1000000] log size in bytes BPFTRACE_PERF_RB_PAGES [default: 64] pages per CPU to allocate for ring buffer BPFTRACE_NO_USER_SYMBOLS [default: 0] disable user symbol resolution BPFTRACE_CACHE_USER_SYMBOLS [default: auto] enable user symbol cache BPFTRACE_VMLINUX [default: none] vmlinux path used for kernel symbol resolution BPFTRACE_BTF [default: none] BTF file EXAMPLES: bpftrace -l '*sleep*' list probes containing "sleep" bpftrace -e 'kprobe:do_nanosleep { printf("PID %d sleeping...\n", pid); }' trace processes calling sleep bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @[comm] = count(); }' count syscalls by process name [Thu Dec 25 03:33:31 UTC 2025] respawn: 3: stopped pid 79 with status 1 [Thu Dec 25 03:33:31 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:33:32 UTC 2025] respawn: 4: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 85 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2004184]: 0 @dport[2084552]: 4729 @dport[2004489]: 6702 @latency[5706]: [1] 1 |@@@@ | [2, 4) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5708]: [0] 2 |@ | [1] 10 |@@@@@@@ | [2, 4) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@@@ | @latency[5703]: [0] 1 | | [1] 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 73 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 8 |@@@@@ | [8, 16) 9 |@@@@@@ | @latency[5705]: [0] 1 | | [1] 67 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@@@@ | [8, 16) 9 |@@@@@@ | [16, 32) 1 | | @latency[5707]: [0] 1 | | [1] 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 72 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10 |@@@@@@@ | [8, 16) 4 |@@ | [16, 32) 3 |@@ | @latency[5701]: [0] 1 | | [1] 67 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 31 |@@@@@@@@@@@@@@@@ | [8, 16) 22 |@@@@@@@@@@@ | [16, 32) 11 |@@@@@ | @latency[6701]: [1] 12 |@@@@@@@@@ | [2, 4) 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 59 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 15 |@@@@@@@@@@@ | [64, 128) 1 | | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5704]: [0] 1 | | [1] 27 |@@@@@@@@@@@@ | [2, 4) 116 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 35 |@@@@@@@@@@@@@@@ | [8, 16) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@@ | @latency[6702]: [0] 1 | | [1] 14002 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 12438 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 16560 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 21464 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4942 |@@@@@@@@@@@ | [32, 64) 818 |@ | [64, 128) 56 | | [128, 256) 3 | | @latency[5702]: [0] 4823 |@@@@@@@ | [1] 33167 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 17926 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8920 |@@@@@@@@@@@@@ | [8, 16) 24060 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 767 |@ | [32, 64) 11 | | [64, 128) 1 | | @latency[0]: [0] 158 | | [1] 35183 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 44096 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 12791 |@@@@@@@@@@@@@@ | [8, 16) 45627 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2436 |@@ | [32, 64) 1350 |@ | [64, 128) 92 | | [128, 256) 1 | | @latency[4729]: [0] 7527 |@@@@ | [1] 86262 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 68213 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 22929 |@@@@@@@@@@@@@ | [8, 16) 55801 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 10740 |@@@@@@ | [32, 64) 520 | | [64, 128) 68 | | [128, 256) 34 | | [256, 512) 19 | | [512, 1K) 1 | | @start[2004489]: 69161859612337400 @start[2004184]: 69161859612354460 @start[2084552]: 69161859612382265 [Thu Dec 25 03:34:20 UTC 2025] respawn: 4: stopped pid 88 with status 0 [Thu Dec 25 03:34:20 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:34:21 UTC 2025] respawn: 5: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 106 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2004184]: 0 @dport[2125135]: 4729 @dport[2004489]: 6702 @latency[5703]: [0] 3 | | [1] 263 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 235 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 89 |@@@@@@@@@@@@@@@@@ | [8, 16) 79 |@@@@@@@@@@@@@@@ | [16, 32) 2 | | @latency[5705]: [0] 5 | | [1] 276 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 237 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 73 |@@@@@@@@@@@@@ | [8, 16) 77 |@@@@@@@@@@@@@@ | [16, 32) 3 | | @latency[5707]: [0] 7 |@ | [1] 288 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 231 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 75 |@@@@@@@@@@@@@ | [8, 16) 70 |@@@@@@@@@@@@ | @latency[5706]: [1] 54 |@@@@@@ | [2, 4) 416 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 169 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 448 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 | | [32, 64) 1 | | @latency[5701]: [0] 7 |@ | [1] 293 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 349 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 176 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 225 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 54 |@@@@@@@@ | [32, 64) 10 |@ | [64, 128) 4 | | @latency[6701]: [1] 78 |@@@@@@@@@@@ | [2, 4) 228 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 322 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 344 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 205 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 77 |@@@@@@@@@@@ | [64, 128) 13 |@ | @latency[5708]: [0] 1 | | [1] 98 |@@@@@ | [2, 4) 552 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 363 |@@@@@@@@@@@@@@@@@@ | [8, 16) 1015 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 6 | | [32, 64) 2 | | @latency[5704]: [1] 248 |@@@@@@@@@ | [2, 4) 950 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 628 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1385 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 8 | | [32, 64) 2 | | @latency[6702]: [0] 8 | | [1] 89680 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 76005 |@@@@@@@@@@@@@@@@@@ | [4, 8) 126858 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 210379 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 71816 |@@@@@@@@@@@@@@@@@ | [32, 64) 21490 |@@@@@ | [64, 128) 1694 | | [128, 256) 50 | | [256, 512) 14 | | [512, 1K) 5 | | [1K, 2K) 1 | | [2K, 4K) 0 | | [4K, 8K) 1 | | @latency[5702]: [0] 1395 | | [1] 187218 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 108676 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 175482 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 265253 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3613 | | [32, 64) 134 | | [64, 128) 11 | | @latency[0]: [0] 326 | | [1] 148263 |@@@@@@@@@@@@@@ | [2, 4) 258774 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 210671 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 522248 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 46369 |@@@@ | [32, 64) 15110 |@ | [64, 128) 769 | | @latency[4729]: [0] 4448 | | [1] 462861 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 347719 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 389143 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 786246 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 34078 |@@ | [32, 64) 9438 | | [64, 128) 389 | | [128, 256) 10 | | [256, 512) 21 | | [512, 1K) 5 | | [1K, 2K) 2 | | @start[2004489]: 69162157323800635 @start[2004184]: 69162157323819038 @start[2125135]: 69162157328174158 [Thu Dec 25 03:39:18 UTC 2025] respawn: 5: stopped pid 109 with status 0 [Thu Dec 25 03:39:18 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:39:19 UTC 2025] respawn: 6: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 127 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[2004184]: 0 @dport[2356653]: 4729 @dport[2004489]: 6702 @latency[5706]: [1] 4 | | [2, 4) 372 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 85 |@@@@@@@@@@@ | @latency[6701]: [1] 9 |@@ | [2, 4) 83 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 170 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 219 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 140 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 26 |@@@@@@ | @latency[5705]: [1] 294 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 525 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 118 |@@@@@@@@@@@ | [8, 16) 15 |@ | [16, 32) 3 | | @latency[5707]: [1] 313 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 519 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 97 |@@@@@@@@@ | [8, 16) 24 |@@ | [16, 32) 2 | | @latency[5703]: [0] 1 | | [1] 271 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 540 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 118 |@@@@@@@@@@@ | [8, 16) 27 |@@ | [16, 32) 2 | | @latency[5708]: [1] 19 | | [2, 4) 1141 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 275 |@@@@@@@@@@@@ | [8, 16) 27 |@ | [16, 32) 3 | | @latency[5701]: [0] 3 | | [1] 265 |@@@@@@@@@@@@@@@@@ | [2, 4) 783 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 424 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 201 |@@@@@@@@@@@@@ | [16, 32) 77 |@@@@@ | [32, 64) 17 |@ | [64, 128) 1 | | @latency[5704]: [0] 6 | | [1] 260 |@@@@@@@@ | [2, 4) 1519 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 300 |@@@@@@@@@@ | [8, 16) 109 |@@@ | [16, 32) 2 | | @latency[6702]: [0] 5 | | [1] 47099 |@@@@@@@@@ | [2, 4) 87749 |@@@@@@@@@@@@@@@@@ | [4, 8) 267252 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 75980 |@@@@@@@@@@@@@@ | [16, 32) 26044 |@@@@@ | [32, 64) 4120 | | [64, 128) 349 | | [128, 256) 39 | | [256, 512) 4 | | [512, 1K) 2 | | @latency[5702]: [0] 1101 | | [1] 209682 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 296960 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 50786 |@@@@@@@@ | [8, 16) 59742 |@@@@@@@@@@ | [16, 32) 911 | | [32, 64) 33 | | [64, 128) 2 | | @latency[0]: [0] 96 | | [1] 75576 |@@@@@@@@ | [2, 4) 488406 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 302188 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 133752 |@@@@@@@@@@@@@@ | [16, 32) 19234 |@@ | [32, 64) 5247 | | [64, 128) 325 | | @latency[4729]: [0] 3592 | | [1] 354790 |@@@@@@@@@@@@@@@@ | [2, 4) 1087708 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 220765 |@@@@@@@@@@ | [8, 16) 191838 |@@@@@@@@@ | [16, 32) 12348 | | [32, 64) 6740 | | [64, 128) 273 | | [128, 256) 13 | | [256, 512) 9 | | [512, 1K) 3 | | @start[2004489]: 69162462394820364 @start[2004184]: 69162462394937624 @start[2356653]: 69162462394973752 [Thu Dec 25 03:44:23 UTC 2025] respawn: 6: stopped pid 130 with status 0 [Thu Dec 25 03:44:23 UTC 2025] respawn: sleeping 1 seconds... [Thu Dec 25 03:44:24 UTC 2025] respawn: 7: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 127 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end.