[Fri Dec 19 12:12:21 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[43305]: [1] 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[42986]: [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[48876]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16384]: [32, 64) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16386]: [32, 64) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[40095]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[53288]: [1] 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[33307]: [1] 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[51200]: [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@@@@@@@@@@@ | @latency[45114]: [1] 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@@@@@@@@@@@@@@@@@ | @latency[52537]: [1] 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[58205]: [1] 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@@@@@@@ | @latency[42622]: [2, 4) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@ | @latency[45888]: [1] 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16418]: [16, 32) 1 |@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@@@ | @latency[16420]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[38753]: [1] 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@@@ | @latency[46820]: [1] 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[54556]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | @latency[42190]: [4, 8) 2 |@@@@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16406]: [4, 8) 1 |@@@@@@@ | [8, 16) 1 |@@@@@@@ | [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16410]: [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@ | @latency[16412]: [16, 32) 4 |@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@ | @latency[16404]: [16, 32) 1 |@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@@@@@@@@@@ | @latency[16414]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@ | @latency[53460]: [1] 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[40216]: [1] 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@ | @latency[58929]: [2, 4) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@ | @latency[16432]: [8, 16) 6 |@@@@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@@ | [32, 64) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@ | @latency[16428]: [16, 32) 10 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@ | @latency[16424]: [8, 16) 1 |@@ | [16, 32) 5 |@@@@@@@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@ | @latency[16426]: [16, 32) 1 |@@ | [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16434]: [4, 8) 1 |@@ | [8, 16) 0 | | [16, 32) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@@@@@@@@ | @latency[16430]: [8, 16) 1 |@ | [16, 32) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3 |@@@@ | @latency[5888]: [8, 16) 1 |@ | [16, 32) 1 |@ | [32, 64) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5830]: [8, 16) 1 |@ | [16, 32) 5 |@@@@@@ | [32, 64) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[5878]: [8, 16) 1 |@ | [16, 32) 4 |@@@@ | [32, 64) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5870]: [4, 8) 4 |@@@@@ | [8, 16) 2 |@@ | [16, 32) 2 |@@ | [32, 64) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5756]: [8, 16) 2 |@@@ | [16, 32) 10 |@@@@@@@@@@@@@@@ | [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[5890]: [4, 8) 1 |@ | [8, 16) 3 |@@@@@ | [16, 32) 9 |@@@@@@@@@@@@@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@ | @latency[5884]: [8, 16) 3 |@@@@ | [16, 32) 9 |@@@@@@@@@@@@@ | [32, 64) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5874]: [8, 16) 1 |@ | [16, 32) 9 |@@@@@@@@@@@@ | [32, 64) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5894]: [8, 16) 1 |@ | [16, 32) 10 |@@@@@@@@@@@@@@ | [32, 64) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[5832]: [4, 8) 1 |@ | [8, 16) 1 |@ | [16, 32) 7 |@@@@@@@@@ | [32, 64) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5838]: [8, 16) 3 |@@@@ | [16, 32) 8 |@@@@@@@@@@@@ | [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@ | @latency[5868]: [8, 16) 2 |@@ | [16, 32) 7 |@@@@@@@@@ | [32, 64) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5882]: [8, 16) 9 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[5898]: [8, 16) 7 |@@@@@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[5902]: [8, 16) 3 |@@@@ | [16, 32) 8 |@@@@@@@@@@@ | [32, 64) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5876]: [8, 16) 3 |@@@@ | [16, 32) 10 |@@@@@@@@@@@@@@@ | [32, 64) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5880]: [4, 8) 1 |@ | [8, 16) 3 |@@@@ | [16, 32) 4 |@@@@@ | [32, 64) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5842]: [4, 8) 1 |@ | [8, 16) 4 |@@@@@@@ | [16, 32) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5840]: [8, 16) 3 |@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[5866]: [8, 16) 8 |@@@@@@@@@@@@@@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5864]: [8, 16) 5 |@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5886]: [8, 16) 4 |@@@@@@@@@ | [16, 32) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5846]: [8, 16) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10 |@@@@@@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@ | [64, 128) 1 |@ | @latency[5760]: [4, 8) 1 |@@ | [8, 16) 4 |@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[5848]: [4, 8) 1 |@ | [8, 16) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 6 |@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@ | [64, 128) 1 |@ | @latency[5850]: [4, 8) 4 |@@@@@@@@ | [8, 16) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 8 |@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@ | @latency[5872]: [8, 16) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5892]: [8, 16) 4 |@@@@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5928]: [4, 8) 1 |@@ | [8, 16) 9 |@@@@@@@@@@@@@@@@@@ | [16, 32) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5900]: [8, 16) 8 |@@@@@@@@@@@@@@@@@ | [16, 32) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5896]: [4, 8) 1 |@@ | [8, 16) 7 |@@@@@@@@@@@@@@ | [16, 32) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@ | @latency[56385]: [1] 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 | | @latency[58443]: [2, 4) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 | | @latency[58713]: [1] 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5856]: [8, 16) 2 |@ | [16, 32) 13 |@@@@@@@@@@@@ | [32, 64) 56 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5904]: [8, 16) 5 |@@@@@ | [16, 32) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16396]: [8, 16) 4 |@@ | [16, 32) 3 |@ | [32, 64) 87 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 5 |@@ | @latency[16394]: [8, 16) 1 | | [16, 32) 19 |@@@@@@@@@@@@@@ | [32, 64) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 14 |@@@@@@@@@@@ | @latency[16398]: [8, 16) 4 |@@@ | [16, 32) 18 |@@@@@@@@@@@@@ | [32, 64) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@@@@@ | @latency[16400]: [4, 8) 1 | | [8, 16) 2 |@ | [16, 32) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16402]: [8, 16) 11 |@@@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@ | [32, 64) 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@@@@@@ | @latency[50542]: [2, 4) 3 |@@ | [4, 8) 23 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 58 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 27 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@ | @latency[41579]: [2, 4) 3 |@@ | [4, 8) 17 |@@@@@@@@@@@@@@@@ | [8, 16) 55 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@ | [64, 128) 2 |@ | @latency[47421]: [2, 4) 126 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 | | [8, 16) 1 | | @latency[44481]: [1] 121 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 5 |@@ | [4, 8) 1 | | [8, 16) 1 | | @latency[46416]: [1] 127 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 0 | | [4, 8) 0 | | [8, 16) 1 | | @latency[5862]: [8, 16) 10 |@@@@@ | [16, 32) 41 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 88 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@ | @latency[5978]: [4, 8) 2 |@ | [8, 16) 26 |@@@@@@@@@@@@@ | [16, 32) 43 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5966]: [2, 4) 1 | | [4, 8) 1 | | [8, 16) 12 |@@@@@@ | [16, 32) 56 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5950]: [2, 4) 1 | | [4, 8) 2 |@ | [8, 16) 12 |@@@@@@ | [16, 32) 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5962]: [4, 8) 1 | | [8, 16) 19 |@@@@@@@@@@ | [16, 32) 57 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5854]: [4, 8) 1 | | [8, 16) 57 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 47 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@ | @latency[5954]: [8, 16) 12 |@@@@@@@ | [16, 32) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 88 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[5764]: [8, 16) 3 | | [16, 32) 13 |@@@@ | [32, 64) 165 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@ | [128, 256) 1 | | @latency[5768]: [8, 16) 8 |@@ | [16, 32) 34 |@@@@@@@@@@@@ | [32, 64) 144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 5 |@ | @latency[5860]: [8, 16) 35 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 77 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 75 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 5 |@@@ | @latency[5960]: [4, 8) 2 |@ | [8, 16) 20 |@@@@@@@@@@ | [16, 32) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 101 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5976]: [4, 8) 1 | | [8, 16) 16 |@@@@@@ | [16, 32) 48 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 125 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 | | @latency[5952]: [4, 8) 1 | | [8, 16) 13 |@@@@@@ | [16, 32) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 110 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5948]: [4, 8) 2 | | [8, 16) 8 |@@@ | [16, 32) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 | | [128, 256) 1 | | @latency[5940]: [2, 4) 1 | | [4, 8) 3 |@ | [8, 16) 15 |@@@@@@@ | [16, 32) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 104 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5916]: [4, 8) 4 |@ | [8, 16) 22 |@@@@@@@@@@ | [16, 32) 56 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 109 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[5852]: [4, 8) 2 |@ | [8, 16) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 9 |@@@@@ | @latency[5964]: [4, 8) 1 | | [8, 16) 17 |@@@@@@@@@ | [16, 32) 87 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16416]: [4, 8) 4 |@@ | [8, 16) 9 |@@@@ | [16, 32) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 71 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 18 |@@@@@@@@@ | @latency[16422]: [4, 8) 5 |@@ | [8, 16) 9 |@@@@ | [16, 32) 107 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 59 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 16 |@@@@@@@ | @latency[5974]: [4, 8) 1 | | [8, 16) 12 |@@@@@ | [16, 32) 84 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 120 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[5970]: [4, 8) 5 |@@ | [8, 16) 19 |@@@@@@@@ | [16, 32) 73 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[5958]: [4, 8) 1 | | [8, 16) 25 |@@@@@@@@@@ | [16, 32) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 122 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[10000]: [2, 4) 1 | | [4, 8) 0 | | [8, 16) 8 |@@ | [16, 32) 30 |@@@@@@@@ | [32, 64) 193 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@ | @latency[20000]: [4, 8) 1 | | [8, 16) 11 |@@ | [16, 32) 31 |@@@@@@@@ | [32, 64) 193 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 | | @latency[5968]: [8, 16) 21 |@@@@@@@@ | [16, 32) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 | | @latency[5956]: [4, 8) 1 | | [8, 16) 23 |@@@@@@@@@@ | [16, 32) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[1984]: [4, 8) 2 | | [8, 16) 5 |@ | [16, 32) 47 |@@@@@@@@@@@@@ | [32, 64) 179 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 29 |@@@@@@@@ | @latency[5972]: [2, 4) 1 | | [4, 8) 1 | | [8, 16) 25 |@@@@@@@@ | [16, 32) 149 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 113 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[53]: [1] 33 |@@@@@@@@@@@@ | [2, 4) 90 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 121 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 126 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 128 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 45 |@@@@@@@@@@@@@@@@@ | [128, 256) 2 | | @latency[2427]: [1] 2 | | [2, 4) 545 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 657 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 248 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 298 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 281 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 11 | | @latency[5707]: [1] 183 |@@ | [2, 4) 3341 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1652 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 840 |@@@@@@@@@@@@@ | [16, 32) 42 | | [32, 64) 1 | | @latency[5705]: [1] 160 |@@ | [2, 4) 3181 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1742 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 923 |@@@@@@@@@@@@@@@ | [16, 32) 53 | | [32, 64) 1 | | @latency[5703]: [1] 134 |@@ | [2, 4) 3044 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1734 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1109 |@@@@@@@@@@@@@@@@@@ | [16, 32) 54 | | [32, 64) 1 | | @latency[5704]: [1] 3 | | [2, 4) 1223 |@@@@@@@@@@@@ | [4, 8) 693 |@@@@@@ | [8, 16) 5227 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 18 | | [32, 64) 4 | | @latency[6701]: [2, 4) 1233 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1362 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2207 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1366 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 840 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 222 |@@@@@ | [128, 256) 1 | | [256, 512) 1 | | @latency[5701]: [1] 128 |@ | [2, 4) 4495 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2276 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2402 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 963 |@@@@@@@@@@@ | [32, 64) 319 |@@@ | [64, 128) 131 |@ | [128, 256) 1 | | @latency[6702]: [1] 1598 | | [2, 4) 434930 |@@@@@@@@ | [4, 8) 296556 |@@@@@@ | [8, 16) 2528028 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 307429 |@@@@@@ | [32, 64) 92310 |@ | [64, 128) 14952 | | [128, 256) 193 | | [256, 512) 12 | | [512, 1K) 4 | | [1K, 2K) 1 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 1 | | @latency[5702]: [1] 53233 | | [2, 4) 668846 |@@@@@@@@@@@ | [4, 8) 278354 |@@@@ | [8, 16) 3125038 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 71477 |@ | [32, 64) 1001 | | [64, 128) 33 | | [128, 256) 2 | | @latency[0]: [1] 12698 | | [2, 4) 1248947 |@@@@@@@@@@@@@@ | [4, 8) 417225 |@@@@ | [8, 16) 4608534 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 979059 |@@@@@@@@@@@ | [32, 64) 182565 |@@ | [64, 128) 166302 |@ | [128, 256) 117 | | [256, 512) 8 | | [512, 1K) 4 | | @latency[4729]: [0] 3233 | | [1] 326479 |@@ | [2, 4) 4416900 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 3110121 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 8268268 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 627566 |@@@ | [32, 64) 47524 | | [64, 128) 55387 | | [128, 256) 1819 | | [256, 512) 361 | | [512, 1K) 332 | | [1K, 2K) 6 | | [Fri Dec 19 13:18:32 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Fri Dec 19 13:18:32 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 19 13:18:34 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [1] 4 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@@@@@ | [8, 16) 1 |@@@@@ | [16, 32) 1 |@@@@@ | @latency[5705]: [1] 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@@@@@@@ | @latency[5707]: [1] 4 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@ | @latency[2427]: [4, 8) 5 |@@@@@@@@@@ | [8, 16) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9 |@@@@@@@@@@@@@@@@@@ | @latency[42190]: [2, 4) 4 |@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@@@@@ | [8, 16) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[5701]: [1] 2 |@@@@@ | [2, 4) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1 |@@ | [16, 32) 7 |@@@@@@@@@@@@@@@@@@ | @latency[0]: [2, 4) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 18 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 20 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 14 |@@@@@@@@@@@@@@@@ | [32, 64) 5 |@@@@@ | [64, 128) 1 |@ | @latency[4729]: [0] 31 | | [1] 2679 |@@ | [2, 4) 50391 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 57530 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 16408 |@@@@@@@@@@@@@@ | [16, 32) 7628 |@@@@@@ | [32, 64) 809 | | [64, 128) 326 | | [128, 256) 47 | | [256, 512) 13 | | [512, 1K) 10 | | [Fri Dec 19 13:20:14 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Fri Dec 19 13:20:14 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 19 13:20:16 UTC 2025] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[217017]: 0 @latency[2427]: [8, 16) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 |@@ | @latency[5703]: [1] 9 |@@ | [2, 4) 167 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 129 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 40 |@@@@@@@@@@@@ | @latency[5705]: [1] 13 |@@@@ | [2, 4) 169 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 129 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 34 |@@@@@@@@@@ | @latency[5707]: [1] 13 |@@@ | [2, 4) 174 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 24 |@@@@@@@ | @latency[53]: [2, 4) 16 |@ | [4, 8) 521 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 139 |@@@@@@@@@@@@@ | [16, 32) 261 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 404 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 53 |@@@@@ | [128, 256) 2 | | @latency[6701]: [2, 4) 229 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 375 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 570 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 475 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 161 |@@@@@@@@@@@@@@ | [64, 128) 11 |@ | [128, 256) 2 | | @latency[5701]: [1] 16 | | [2, 4) 1200 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 407 |@@@@@@@@@@@@@@@@@ | [8, 16) 170 |@@@@@@@ | [16, 32) 46 |@ | [32, 64) 11 | | [64, 128) 3 | | @latency[5706]: [1] 49 |@ | [2, 4) 1501 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 390 |@@@@@@@@@@@@@ | [8, 16) 340 |@@@@@@@@@@@ | [16, 32) 4 | | @latency[5708]: [1] 80 |@ | [2, 4) 2657 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 507 |@@@@@@@@@ | [8, 16) 640 |@@@@@@@@@@@@ | [16, 32) 5 | | @latency[5704]: [1] 128 |@@ | [2, 4) 2384 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 715 |@@@@@@@@@@@@@@@ | [8, 16) 907 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 7 | | [32, 64) 1 | | @latency[6702]: [1] 2356 | | [2, 4) 109942 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 198113 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 104870 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 47995 |@@@@@@@@@@@@ | [32, 64) 10722 |@@ | [64, 128) 1205 | | [128, 256) 42 | | [256, 512) 9 | | [512, 1K) 3 | | @latency[5702]: [1] 88460 |@@@@@@@@@@@ | [2, 4) 398014 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 73402 |@@@@@@@@@ | [8, 16) 132721 |@@@@@@@@@@@@@@@@@ | [16, 32) 2299 | | [32, 64) 40 | | [64, 128) 9 | | @latency[0]: [1] 4768 | | [2, 4) 546763 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 181964 |@@@@@@@@@@@@@@@@@ | [8, 16) 163759 |@@@@@@@@@@@@@@@ | [16, 32) 48906 |@@@@ | [32, 64) 11104 |@ | [64, 128) 1092 | | [128, 256) 2 | | @latency[4729]: [0] 374 | | [1] 35100 |@ | [2, 4) 1201657 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 582611 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 347808 |@@@@@@@@@@@@@@@ | [16, 32) 48803 |@@ | [32, 64) 12851 | | [64, 128) 1697 | | [128, 256) 176 | | [256, 512) 17 | | [512, 1K) 17 | | @start[217017]: 29381811166280055 [Fri Dec 19 13:28:25 UTC 2025] respawn: 0: stopped pid 17 with status 0 [Fri Dec 19 13:28:25 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 19 13:28:26 UTC 2025] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[572092]: 4729 @latency[53]: [1] 7 |@@ | [2, 4) 22 |@@@@@@ | [4, 8) 176 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 51 |@@@@@@@@@@@@@@@ | [16, 32) 115 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 111 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 12 |@@@ | @latency[6701]: [2, 4) 99 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 224 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 190 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 96 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 27 |@@@@@@ | @latency[5705]: [1] 46 |@@@ | [2, 4) 599 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 253 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 146 |@@@@@@@@@@@@ | [16, 32) 8 | | [32, 64) 0 | | [64, 128) 1 | | @latency[5707]: [1] 55 |@@@@ | [2, 4) 595 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 255 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 144 |@@@@@@@@@@@@ | [16, 32) 4 | | @latency[5703]: [1] 27 |@@ | [2, 4) 609 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 245 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 170 |@@@@@@@@@@@@@@ | [16, 32) 6 | | @latency[5706]: [1] 5 | | [2, 4) 160 |@@@@@@@ | [4, 8) 90 |@@@@ | [8, 16) 1136 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10 | | @latency[5701]: [1] 29 |@@ | [2, 4) 645 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 372 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 296 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 129 |@@@@@@@@@@ | [32, 64) 70 |@@@@@ | [64, 128) 15 |@ | @latency[5708]: [1] 13 | | [2, 4) 233 |@@@@@@@@ | [4, 8) 98 |@@@ | [8, 16) 1491 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10 | | [32, 64) 1 | | @latency[5704]: [1] 16 | | [2, 4) 302 |@@@@@ | [4, 8) 151 |@@ | [8, 16) 2669 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 21 | | [32, 64) 4 | | @latency[6702]: [1] 2595 | | [2, 4) 65097 |@@@@@@@@ | [4, 8) 116038 |@@@@@@@@@@@@@@ | [8, 16) 403319 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 91577 |@@@@@@@@@@@ | [32, 64) 25979 |@@@ | [64, 128) 6826 | | [128, 256) 51 | | [256, 512) 1 | | @latency[5702]: [1] 41504 |@@@@ | [2, 4) 169679 |@@@@@@@@@@@@@@@@ | [4, 8) 64877 |@@@@@@ | [8, 16) 521438 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9703 | | [32, 64) 222 | | [64, 128) 16 | | @latency[0]: [1] 1675 | | [2, 4) 299406 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 122002 |@@@@@@@@ | [8, 16) 772124 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 175942 |@@@@@@@@@@@ | [32, 64) 52670 |@@@ | [64, 128) 7513 | | [128, 256) 1 | | [256, 512) 1 | | @latency[4729]: [0] 349 | | [1] 15904 | | [2, 4) 922798 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 659023 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1449862 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 101702 |@@@ | [32, 64) 11316 | | [64, 128) 5583 | | [128, 256) 296 | | [256, 512) 48 | | [512, 1K) 40 | | [1K, 2K) 2 | | [2K, 4K) 0 | | [4K, 8K) 2 | | @start[572092]: 29382537954175870 [Fri Dec 19 13:40:32 UTC 2025] respawn: 1: stopped pid 38 with status 0 [Fri Dec 19 13:40:32 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 19 13:40:33 UTC 2025] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @dport[4134781]: 4729 @latency[16418]: [16, 32) 1 |@@@@@@@@ | [32, 64) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16420]: [16, 32) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16406]: [8, 16) 2 |@@@@@@@@@@ | [16, 32) 3 |@@@@@@@@@@@@@@@ | [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@ | @latency[16410]: [16, 32) 1 |@@@@@ | [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16404]: [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@@@@@@@@@ | @latency[16408]: [8, 16) 1 |@@@@@@ | [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@@@@@@@@@@@@@ | @latency[16412]: [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@@ | @latency[16414]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@ | @latency[16432]: [8, 16) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 7 |@@@@@@@@@@@@@@ | @latency[16428]: [8, 16) 1 |@@ | [16, 32) 2 |@@@@ | [32, 64) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 8 |@@@@@@@@@@@@@@@@@@ | @latency[16424]: [8, 16) 1 |@@ | [16, 32) 4 |@@@@@@@@ | [32, 64) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@ | @latency[16426]: [16, 32) 6 |@@@@@@@@@@@ | [32, 64) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@ | @latency[16434]: [4, 8) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3 |@@@@@@@@ | @latency[16430]: [4, 8) 4 |@@@@@@@@@@@@@ | [8, 16) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@@ | @latency[1984]: [16, 32) 7 |@@@@@@@@@@@@@@ | [32, 64) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16398]: [4, 8) 1 | | [8, 16) 9 |@@@@@@@@ | [16, 32) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 54 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@ | @latency[16396]: [4, 8) 2 |@ | [8, 16) 4 |@@@ | [16, 32) 25 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 59 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 10 |@@@@@@@@ | @latency[16394]: [4, 8) 2 |@ | [8, 16) 1 | | [16, 32) 16 |@@@@@@@@@@@ | [32, 64) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 11 |@@@@@@@@ | @latency[16402]: [4, 8) 1 | | [8, 16) 3 |@ | [16, 32) 15 |@@@@@@@@@ | [32, 64) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16400]: [8, 16) 3 |@@@ | [16, 32) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@ | @latency[2427]: [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 30 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 16 |@@@@@@@@@@@ | @latency[16416]: [4, 8) 4 |@@ | [8, 16) 6 |@@@ | [16, 32) 102 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 80 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 4 |@@ | @latency[16422]: [2, 4) 1 | | [4, 8) 3 |@ | [8, 16) 9 |@@@@@ | [16, 32) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 80 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 10 |@@@@@ | @latency[53]: [1] 4 |@ | [2, 4) 14 |@@@@ | [4, 8) 147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 62 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 17 |@@@@@@ | @latency[6701]: [2, 4) 596 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 731 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1056 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 906 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 179 |@@@@@@@@ | [128, 256) 1 | | @latency[5707]: [1] 181 |@@@ | [2, 4) 2374 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1393 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 692 |@@@@@@@@@@@@@@@ | [16, 32) 46 |@ | [32, 64) 2 | | @latency[5705]: [1] 169 |@@@ | [2, 4) 2283 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1436 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 777 |@@@@@@@@@@@@@@@@@ | [16, 32) 24 | | @latency[5703]: [1] 126 |@@@ | [2, 4) 2114 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1477 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 946 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 34 | | @latency[5706]: [1] 13 | | [2, 4) 509 |@@@@@ | [4, 8) 474 |@@@@ | [8, 16) 5042 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 39 | | [32, 64) 8 | | @latency[5701]: [1] 116 |@@ | [2, 4) 2926 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1724 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1395 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 721 |@@@@@@@@@@@@ | [32, 64) 222 |@@@ | [64, 128) 121 |@@ | @latency[5708]: [1] 22 | | [2, 4) 812 |@@@@@ | [4, 8) 757 |@@@@ | [8, 16) 8317 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 35 | | [32, 64) 1 | | [64, 128) 2 | | @latency[5704]: [1] 18 | | [2, 4) 1043 |@@@@@ | [4, 8) 975 |@@@@ | [8, 16) 10511 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 54 | | [32, 64) 4 | | [64, 128) 1 | | @latency[6702]: [1] 580 | | [2, 4) 74781 |@@@ | [4, 8) 86606 |@@@ | [8, 16) 1135137 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 244632 |@@@@@@@@@@@ | [32, 64) 108286 |@@@@ | [64, 128) 14904 | | [128, 256) 195 | | [256, 512) 8 | | [512, 1K) 3 | | @latency[5702]: [1] 36038 | | [2, 4) 178285 |@@@@ | [4, 8) 180499 |@@@@ | [8, 16) 2203503 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 69651 |@ | [32, 64) 774 | | [64, 128) 25 | | [128, 256) 1 | | [256, 512) 2 | | @latency[0]: [1] 815 | | [2, 4) 229427 |@@@@@ | [4, 8) 158144 |@@@ | [8, 16) 2292058 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 502557 |@@@@@@@@@@@ | [32, 64) 160749 |@@@ | [64, 128) 27891 | | [128, 256) 4 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[4729]: [0] 835 | | [1] 155655 |@ | [2, 4) 2417268 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2229025 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5323192 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 510449 |@@@@ | [32, 64) 38778 | | [64, 128) 65925 | | [128, 256) 1256 | | [256, 512) 312 | | [512, 1K) 268 | | [1K, 2K) 7 | | [2K, 4K) 1 | | @start[4134781]: 29385289382436207 [Fri Dec 19 14:26:23 UTC 2025] respawn: 2: stopped pid 59 with status 0 [Fri Dec 19 14:26:23 UTC 2025] respawn: sleeping 1 seconds... [Fri Dec 19 14:26:24 UTC 2025] respawn: 3: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56