[Sun Jan 4 01:31:18 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[2427]: [4, 8) 3 |@@@@@@@@@@@ | [8, 16) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 |@@@ | @latency[5705]: [0] 5 |@ | [1] 115 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 176 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 27 |@@@@@@@ | [8, 16) 15 |@@@@ | [16, 32) 2 | | @latency[5707]: [0] 6 |@ | [1] 118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 174 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26 |@@@@@@@ | [8, 16) 16 |@@@@ | @latency[5703]: [0] 5 |@ | [1] 110 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 178 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 32 |@@@@@@@@@ | [8, 16) 16 |@@@@ | @latency[53]: [1] 6 | | [2, 4) 358 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 334 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 70 |@@@@@@@ | [16, 32) 473 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 294 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 24 |@@ | [128, 256) 3 | | @latency[5701]: [0] 15 | | [1] 119 |@@@@ | [2, 4) 1379 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 182 |@@@@@@ | [8, 16) 105 |@@@ | [16, 32) 24 | | [32, 64) 7 | | [64, 128) 1 | | @latency[6701]: [1] 18 |@ | [2, 4) 475 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 461 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 554 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 287 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 62 |@@@@@ | [64, 128) 13 |@ | @latency[6702]: [1] 177720 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 116847 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 190227 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 147189 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 26962 |@@@@@@@ | [32, 64) 6735 |@ | [64, 128) 385 | | [128, 256) 19 | | [256, 512) 1 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 1 | | @latency[5702]: [0] 3528 | | [1] 319242 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 172756 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 66624 |@@@@@@@@@@ | [8, 16) 109227 |@@@@@@@@@@@@@@@@@ | [16, 32) 737 | | [32, 64) 21 | | [64, 128) 8 | | [128, 256) 0 | | [256, 512) 1 | | @latency[0]: [0] 900 | | [1] 111009 |@@@@@@@ | [2, 4) 773116 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 146325 |@@@@@@@@@ | [8, 16) 262101 |@@@@@@@@@@@@@@@@@ | [16, 32) 32560 |@@ | [32, 64) 13769 | | [64, 128) 652 | | [128, 256) 1 | | @latency[4729]: [0] 5048 | | [1] 413375 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 890727 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 187772 |@@@@@@@@@@ | [8, 16) 319310 |@@@@@@@@@@@@@@@@@@ | [16, 32) 24486 |@ | [32, 64) 3774 | | [64, 128) 124 | | [128, 256) 5 | | [256, 512) 1 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 1 | | [Sun Jan 4 01:39:13 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Sun Jan 4 01:39:13 UTC 2026] respawn: sleeping 1 seconds... [Sun Jan 4 01:39:14 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 35 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[53]: [1] 4 |@@@@@@@@ | [2, 4) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 5 |@@@@@@@@@@ | @latency[5704]: [2, 4) 1 | | [4, 8) 11 |@ | [8, 16) 323 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[6701]: [1] 2 | | [2, 4) 145 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 236 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 393 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 181 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 189 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 24 |@@@ | @latency[5705]: [0] 37 |@@ | [1] 503 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 854 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 453 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 349 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 | | @latency[5707]: [0] 36 |@@ | [1] 522 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 899 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 392 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 345 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 | | @latency[5703]: [0] 37 |@@ | [1] 422 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 856 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 495 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 389 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4 | | @latency[5701]: [0] 11 | | [1] 558 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1057 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 519 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 583 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 216 |@@@@@@@@@@ | [32, 64) 163 |@@@@@@@@ | [64, 128) 17 | | [128, 256) 1 | | @latency[6702]: [1] 24755 |@ | [2, 4) 18093 | | [4, 8) 33774 |@ | [8, 16) 1161134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 29506 |@ | [32, 64) 26755 |@ | [64, 128) 1299 | | [128, 256) 15 | | [256, 512) 4 | | [512, 1K) 1 | | @latency[5702]: [0] 403 | | [1] 73428 |@@@ | [2, 4) 35314 |@ | [4, 8) 54034 |@@ | [8, 16) 1259939 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 7219 | | [32, 64) 51 | | [64, 128) 4 | | @latency[0]: [0] 65 | | [1] 17402 | | [2, 4) 102267 |@@ | [4, 8) 56335 |@ | [8, 16) 2120023 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 151008 |@@@ | [32, 64) 150729 |@@@ | [64, 128) 7364 | | [128, 256) 1 | | @latency[4729]: [0] 12098 | | [1] 315096 |@@@@@ | [2, 4) 372397 |@@@@@ | [4, 8) 233630 |@@@ | [8, 16) 3265376 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 30644 | | [32, 64) 14257 | | [64, 128) 1031 | | [128, 256) 10 | | [256, 512) 7 | | [512, 1K) 8 | | [1K, 2K) 2 | | [Sun Jan 4 02:02:16 UTC 2026] respawn: 1: stopped pid 38 with status 0 [Sun Jan 4 02:02:16 UTC 2026] respawn: sleeping 1 seconds... [Sun Jan 4 02:02:17 UTC 2026] respawn: 2: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 56 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16408]: [16, 32) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16410]: [32, 64) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@@ | @latency[16394]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16396]: [32, 64) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16398]: [16, 32) 1 |@@@ | [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16400]: [8, 16) 1 |@@@@@ | [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 |@@@@@ | [64, 128) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [128, 256) 1 |@@@@@ | @latency[16402]: [16, 32) 1 |@@@@@ | [32, 64) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16404]: [32, 64) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16422]: [16, 32) 3 |@@@@@ | [32, 64) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@ | @latency[16418]: [16, 32) 3 |@@@@@ | [32, 64) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16416]: [16, 32) 3 |@@@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [32, 64) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[53]: [1] 1 |@@@@ | [2, 4) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@ | [16, 32) 5 |@@@@@@@@@@@@@@@@@@@@ | [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@@ | @latency[16424]: [2, 4) 1 |@@ | [4, 8) 0 | | [8, 16) 1 |@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16420]: [4, 8) 2 |@@@@@ | [8, 16) 4 |@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[1984]: [16, 32) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@ | @latency[16388]: [8, 16) 2 |@ | [16, 32) 1 | | [32, 64) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16384]: [16, 32) 3 |@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 7 |@@@@ | @latency[16386]: [8, 16) 11 |@@@@@@@@ | [16, 32) 16 |@@@@@@@@@@@@ | [32, 64) 67 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@ | @latency[16392]: [8, 16) 10 |@@@@@@ | [16, 32) 4 |@@ | [32, 64) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16390]: [8, 16) 8 |@@@@ | [16, 32) 3 |@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16406]: [8, 16) 70 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 31 |@@@@@@@@@@@@@@@@@ | [64, 128) 1 | | @latency[16412]: [8, 16) 20 |@@@@@@@@@@@ | [16, 32) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 72 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 10 |@@@@@ | @latency[5707]: [0] 57 |@@ | [1] 891 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1448 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 646 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 535 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 8 | | @latency[5705]: [0] 59 |@@ | [1] 840 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1411 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 758 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 514 |@@@@@@@@@@@@@@@@@@ | [16, 32) 5 | | @latency[5703]: [0] 44 |@ | [1] 758 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1376 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 794 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 618 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 | | @latency[6701]: [1] 28 |@ | [2, 4) 879 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 582 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1406 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 572 |@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 563 |@@@@@@@@@@@@@@@@@@@@ | [64, 128) 48 |@ | @latency[5701]: [0] 13 | | [1] 1057 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1881 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1029 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1182 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 343 |@@@@@@@@@ | [32, 64) 254 |@@@@@@@ | [64, 128) 25 | | @latency[5704]: [1] 10 | | [2, 4) 36 | | [4, 8) 150 |@ | [8, 16) 5934 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 13 | | @latency[6702]: [1] 13993 | | [2, 4) 11991 | | [4, 8) 14438 | | [8, 16) 1578590 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 30879 |@ | [32, 64) 37947 |@ | [64, 128) 1220 | | [128, 256) 23 | | [256, 512) 1 | | [512, 1K) 2 | | @latency[5702]: [0] 252 | | [1] 28473 | | [2, 4) 16656 | | [4, 8) 61678 |@ | [8, 16) 1928568 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 22280 | | [32, 64) 164 | | [64, 128) 3 | | @latency[0]: [0] 36 | | [1] 12119 | | [2, 4) 55370 | | [4, 8) 44356 | | [8, 16) 2902648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 169255 |@@@ | [32, 64) 210328 |@@@ | [64, 128) 10565 | | [128, 256) 2 | | @latency[4729]: [0] 14867 | | [1] 420986 |@@@@ | [2, 4) 460675 |@@@@@ | [4, 8) 332871 |@@@ | [8, 16) 4751506 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 47589 | | [32, 64) 51705 | | [64, 128) 2688 | | [128, 256) 16 | | [256, 512) 8 | | [512, 1K) 4 | | [1K, 2K) 2 | | [Sun Jan 4 02:37:42 UTC 2026] respawn: 2: stopped pid 59 with status 0 [Sun Jan 4 02:37:42 UTC 2026] respawn: sleeping 1 seconds... [Sun Jan 4 02:37:44 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[5703]: [0] 1 |@@@@@@@@ | [1] 2 |@@@@@@@@@@@@@@@@@ | [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5705]: [0] 1 |@@@@@@@@ | [1] 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5707]: [0] 1 |@@@@@@@@ | [1] 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1 |@@@@@@@@ | [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@@@@@@@ | @latency[5701]: [1] 6 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@ | @latency[0]: [2, 4) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@ | [8, 16) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 |@@@@ | [32, 64) 7 |@@@@@@@ | [64, 128) 1 |@ | @latency[4729]: [0] 917 |@@@@ | [1] 9797 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2083 |@@@@@@@@@@@ | [4, 8) 1428 |@@@@@@@ | [8, 16) 5892 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 47 | | [32, 64) 45 | | [64, 128) 44 | | [Sun Jan 4 02:39:24 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Sun Jan 4 02:39:24 UTC 2026] respawn: sleeping 1 seconds... [Sun Jan 4 02:39:26 UTC 2026] respawn: 0: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9 Attaching 3 probes... Tracing udp_sendmsg() latency... Hit Ctrl-C to end. @latency[16418]: [16, 32) 1 |@@@@@@ | [32, 64) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16420]: [16, 32) 1 |@@@@@@@ | [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@@@@@@@@@@@@@ | @latency[16406]: [16, 32) 3 |@@@@@@@@@@@ | [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16408]: [32, 64) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@@@ | @latency[16410]: [32, 64) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 5 |@@@@@@@@@@@@@@@@@@@@@ | @latency[16404]: [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16412]: [16, 32) 1 |@@@ | [32, 64) 0 | | [64, 128) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16414]: [32, 64) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[16432]: [32, 64) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[16428]: [16, 32) 1 |@ | [32, 64) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@ | @latency[16426]: [16, 32) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16424]: [16, 32) 2 |@@@ | [32, 64) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 |@ | @latency[16434]: [8, 16) 3 |@@@@@@@ | [16, 32) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@ | @latency[16430]: [4, 8) 1 |@@ | [8, 16) 0 | | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 2 |@@@@@ | @latency[1984]: [16, 32) 5 |@@@@@ | [32, 64) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@@ | @latency[53]: [1] 1 |@@ | [2, 4) 4 |@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@ | [8, 16) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 4 |@@@@@@@@@ | @latency[16398]: [16, 32) 3 |@ | [32, 64) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 3 |@ | @latency[16394]: [16, 32) 5 |@@ | [32, 64) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 6 |@@@ | @latency[16402]: [16, 32) 1 | | [32, 64) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16400]: [16, 32) 3 |@ | [32, 64) 97 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 1 | | @latency[16396]: [16, 32) 7 |@@@ | [32, 64) 92 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16416]: [8, 16) 13 |@@@@@@@ | [16, 32) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 2 |@ | @latency[16422]: [8, 16) 37 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 | | @latency[5707]: [0] 111 |@ | [1] 1372 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3040 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1336 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1045 |@@@@@@@@@@@@@@@@@ | [16, 32) 25 | | @latency[5705]: [0] 115 |@@ | [1] 1352 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2788 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1583 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1078 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 17 | | [32, 64) 1 | | @latency[5703]: [0] 106 |@@ | [1] 1153 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2680 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1773 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1216 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 18 | | [32, 64) 1 | | @latency[6701]: [1] 59 | | [2, 4) 1785 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1551 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3235 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1320 |@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1241 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 182 |@@ | [128, 256) 1 | | @latency[5706]: [1] 101 | | [2, 4) 85 | | [4, 8) 307 |@ | [8, 16) 9186 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 25 | | @latency[5701]: [0] 19 | | [1] 1795 |@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 4442 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2469 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3455 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 612 |@@@@@@@ | [32, 64) 499 |@@@@@ | [64, 128) 55 | | @latency[5708]: [0] 3 | | [1] 191 | | [2, 4) 191 | | [4, 8) 430 |@ | [8, 16) 15016 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 47 | | @latency[5704]: [0] 1 | | [1] 185 | | [2, 4) 229 | | [4, 8) 2133 |@@@@@@ | [8, 16) 17294 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 52 | | @latency[6702]: [1] 37658 | | [2, 4) 33513 | | [4, 8) 304382 |@@@@@ | [8, 16) 3152326 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 289042 |@@@@ | [32, 64) 208283 |@@@ | [64, 128) 4634 | | [128, 256) 118 | | [256, 512) 15 | | [512, 1K) 7 | | [1K, 2K) 0 | | [2K, 4K) 1 | | @latency[5702]: [0] 652 | | [1] 81170 | | [2, 4) 74808 | | [4, 8) 635662 |@@@@@@@ | [8, 16) 4576267 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 27517 | | [32, 64) 410 | | [64, 128) 6 | | @latency[0]: [0] 56 | | [1] 24165 | | [2, 4) 126521 |@ | [4, 8) 197669 |@ | [8, 16) 5757438 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1524640 |@@@@@@@@@@@@@ | [32, 64) 425891 |@@@ | [64, 128) 61327 | | @latency[4729]: [0] 37959 | | [1] 782399 |@@@ | [2, 4) 1049907 |@@@@ | [4, 8) 1171678 |@@@@@ | [8, 16) 11283933 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 511632 |@@ | [32, 64) 119587 | | [64, 128) 4561 | | [128, 256) 55 | | [256, 512) 23 | | [512, 1K) 16 | | [1K, 2K) 12 | | [Sun Jan 4 03:45:50 UTC 2026] respawn: 0: stopped pid 17 with status 0 [Sun Jan 4 03:45:50 UTC 2026] respawn: sleeping 1 seconds... [Sun Jan 4 03:45:51 UTC 2026] respawn: 1: starting: /data/bpftrace/udp_sendmsg_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/udp_sendmsg_delay.bt -p 9