[Mon Jan 12 17:09:08 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 27 root cwd DIR 9,3 4096 13773703 /data sys_write 27 root rtd DIR 0,80 4096 7238994 / sys_write 27 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 27 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 27 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 27 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 27 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 27 root 1w FIFO W 0,13 0t0 1845024077 pipe sys_write 27 root 2w FIFO W 0,13 0t0 1845024078 pipe sys_write 27 root 10r REG LG,CX 9,3 104 13773715 /data/bpftrace/sys_write_delay.sh maps output: 56410e92d000-56410e931000 r--p 00000000 09:03 28221037 /usr/bin/dash 56410e931000-56410e944000 r-xp 00004000 09:03 28221037 /usr/bin/dash 56410e944000-56410e94a000 r--p 00017000 09:03 28221037 /usr/bin/dash 56410e94a000-56410e94c000 r--p 0001c000 09:03 28221037 /usr/bin/dash 56410e94c000-56410e94d000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 56410e94d000-56410e94f000 rw-p 00000000 00:00 0 56413091e000-56413093f000 rw-p 00000000 00:00 0 [heap] 7efc2ca8a000-7efc2ca8d000 rw-p 00000000 00:00 0 7efc2ca8d000-7efc2cab3000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7efc2cab3000-7efc2cc09000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7efc2cc09000-7efc2cc5c000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7efc2cc5c000-7efc2cc60000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7efc2cc60000-7efc2cc62000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7efc2cc62000-7efc2cc6f000 rw-p 00000000 00:00 0 7efc2cc7c000-7efc2cc7e000 rw-p 00000000 00:00 0 7efc2cc7e000-7efc2cc7f000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7efc2cc7f000-7efc2cca5000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7efc2cca5000-7efc2ccaf000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7efc2ccaf000-7efc2ccb1000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7efc2ccb1000-7efc2ccb3000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff23a14000-7fff23a35000 rw-p 00000000 00:00 0 [stack] 7fff23a80000-7fff23a84000 r--p 00000000 00:00 0 [vvar] 7fff23a84000-7fff23a86000 r-xp 00000000 00:00 0 [vdso] @latency[21]: [0] 17 |@@@ | [1] 35 |@@@@@@@ | [2, 4) 252 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 | | [8, 16) 1 | | @latency[19]: [1] 4 | | [2, 4) 400 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 106 |@@@@@@@@@@@@@ | [8, 16) 29 |@@@ | [16, 32) 1 | | @latency[13]: [1] 2 | | [2, 4) 453 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 134 |@@@@@@@@@@@@@@@ | [8, 16) 64 |@@@@@@@ | [16, 32) 20 |@@ | [32, 64) 1 | | @latency[26]: [0] 35 |@@@@ | [1] 18 |@@ | [2, 4) 249 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 408 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 163 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 327 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 | | @latency[25]: [0] 27 |@@@ | [1] 21 |@@ | [2, 4) 195 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 449 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 173 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 343 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 | | @latency[24]: [0] 24 |@@@ | [1] 19 |@@ | [2, 4) 205 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 407 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 141 |@@@@@@@@@@@@@@@@@@ | [16, 32) 389 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 81 |@@@@@@@@@@ | [64, 128) 8 |@ | @latency[22]: [0] 3 | | [1] 2 | | [2, 4) 105 |@@@ | [4, 8) 485 |@@@@@@@@@@@@@@@@@ | [8, 16) 458 |@@@@@@@@@@@@@@@@ | [16, 32) 1443 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1473 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 116 |@@@@ | [128, 256) 1 | | @latency[18]: [1] 63 |@ | [2, 4) 2230 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1236 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1061 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 44 |@ | [32, 64) 2 | | @latency[20]: [1] 63 |@ | [2, 4) 2382 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1186 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 972 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 32 | | [32, 64) 1 | | @latency[16]: [1] 59 |@ | [2, 4) 2065 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1318 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1162 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 47 |@ | [32, 64) 0 | | [64, 128) 0 | | [128, 256) 0 | | [256, 512) 1 | | @latency[23]: [0] 10 | | [1] 18 | | [2, 4) 916 |@@@@@@@@@@@@@@@@ | [4, 8) 546 |@@@@@@@@@ | [8, 16) 811 |@@@@@@@@@@@@@@ | [16, 32) 2328 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 2856 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 200 |@@@ | @latency[17]: [1] 5 | | [2, 4) 920 |@@@@@@@ | [4, 8) 494 |@@@ | [8, 16) 6514 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 64 | | [32, 64) 12 | | @latency[11]: [0] 1842 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 747 |@@@@@@@@@@@@ | [2, 4) 3166 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1920 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 533 |@@@@@@@@ | [16, 32) 70 |@ | [32, 64) 15 | | [64, 128) 1 | | @latency[28]: [0] 46 | | [1] 440 |@@ | [2, 4) 629 |@@@ | [4, 8) 10433 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4788 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 147 | | [32, 64) 5 | | @latency[5]: [1] 12 | | [2, 4) 3070 |@@@@ | [4, 8) 2018 |@@ | [8, 16) 35520 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1386 |@@ | [32, 64) 33 | | @latency[12]: [0] 17656 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 6934 |@@@@@@@@@@@ | [2, 4) 32687 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 18679 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5464 |@@@@@@@@ | [16, 32) 1134 |@ | [32, 64) 112 | | @latency[14]: [1] 94 | | [2, 4) 13660 |@@@@@@ | [4, 8) 7577 |@@@ | [8, 16) 107005 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12941 |@@@@@@ | [32, 64) 169 | | [64, 128) 1 | | @latency[2]: [0] 52307 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 54067 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 39440 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 50535 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 8801 |@@@@@@@@ | [16, 32) 7572 |@@@@@@@ | [32, 64) 904 | | [64, 128) 21 | | [128, 256) 19 | | [256, 512) 21 | | [512, 1K) 2 | | [1K, 2K) 1 | | [2K, 4K) 3 | | [4K, 8K) 3 | | [8K, 16K) 4 | | [16K, 32K) 0 | | [32K, 64K) 0 | | [64K, 128K) 0 | | [128K, 256K) 0 | | [256K, 512K) 1 | | @latency[15]: [1] 1490 | | [2, 4) 244709 |@@@@ | [4, 8) 157029 |@@ | [8, 16) 2748567 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 73824 |@ | [32, 64) 1148 | | [64, 128) 29 | | @latency[6]: [0] 8138 | | [1] 18002 | | [2, 4) 946835 |@@@@@@@ | [4, 8) 517893 |@@@@ | [8, 16) 6610525 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 472182 |@@@ | [32, 64) 25592 | | [64, 128) 50016 | | [128, 256) 100 | | [256, 512) 3 | | [Mon Jan 12 18:03:30 UTC 2026] respawn: 0: stopped pid 27 with status 0 [Mon Jan 12 18:03:30 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:03:31 UTC 2026] respawn: 1: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 67 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 71 root cwd DIR 9,3 4096 13773703 /data sys_write 71 root rtd DIR 0,80 4096 7238994 / sys_write 71 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 71 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 71 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 71 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 71 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 71 root 1w FIFO W 0,13 0t0 1845024077 pipe sys_write 71 root 2w FIFO W 0,13 0t0 1845024078 pipe sys_write 71 root 10r REG LG,CX 9,3 104 13773715 /data/bpftrace/sys_write_delay.sh maps output: 55d669317000-55d66931b000 r--p 00000000 09:03 28221037 /usr/bin/dash 55d66931b000-55d66932e000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55d66932e000-55d669334000 r--p 00017000 09:03 28221037 /usr/bin/dash 55d669334000-55d669336000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55d669336000-55d669337000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55d669337000-55d669339000 rw-p 00000000 00:00 0 55d6a05bc000-55d6a05dd000 rw-p 00000000 00:00 0 [heap] 7fd8894a0000-7fd8894a3000 rw-p 00000000 00:00 0 7fd8894a3000-7fd8894c9000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd8894c9000-7fd88961f000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd88961f000-7fd889672000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd889672000-7fd889676000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd889676000-7fd889678000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd889678000-7fd889685000 rw-p 00000000 00:00 0 7fd889692000-7fd889694000 rw-p 00000000 00:00 0 7fd889694000-7fd889695000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd889695000-7fd8896bb000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd8896bb000-7fd8896c5000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd8896c5000-7fd8896c7000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd8896c7000-7fd8896c9000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffe2df6f000-7ffe2df90000 rw-p 00000000 00:00 0 [stack] 7ffe2dfbc000-7ffe2dfc0000 r--p 00000000 00:00 0 [vvar] 7ffe2dfc0000-7ffe2dfc2000 r-xp 00000000 00:00 0 [vdso] @latency[19]: [2, 4) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[17]: [2, 4) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[13]: [2, 4) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@ | @latency[26]: [0] 4 |@@@ | [1] 1 | | [2, 4) 17 |@@@@@@@@@@@@@ | [4, 8) 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 22 |@@@@@@@@@@@@@@@@@ | [16, 32) 15 |@@@@@@@@@@@@ | @latency[25]: [0] 4 |@@@ | [1] 2 |@ | [2, 4) 9 |@@@@@@ | [4, 8) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 22 |@@@@@@@@@@@@@@@@ | [16, 32) 18 |@@@@@@@@@@@@@ | @latency[24]: [0] 4 |@@@ | [1] 2 |@ | [2, 4) 8 |@@@@@@ | [4, 8) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 22 |@@@@@@@@@@@@@@@@@@ | [16, 32) 24 |@@@@@@@@@@@@@@@@@@@ | @latency[16]: [1] 1 | | [2, 4) 149 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 46 |@@@@@@@@@@@@@@@@ | [8, 16) 36 |@@@@@@@@@@@@ | [16, 32) 2 | | @latency[20]: [2, 4) 171 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26 |@@@@@@@ | [8, 16) 35 |@@@@@@@@@@ | [16, 32) 2 | | @latency[18]: [2, 4) 170 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 27 |@@@@@@@@ | [8, 16) 34 |@@@@@@@@@@ | [16, 32) 3 | | @latency[14]: [2, 4) 180 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 95 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 65 |@@@@@@@@@@@@@@@@@@ | [16, 32) 28 |@@@@@@@@ | [32, 64) 1 | | @latency[11]: [0] 109 |@@@@@@@@@@@@@@@@@ | [1] 46 |@@@@@@@ | [2, 4) 321 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 16 |@@ | [8, 16) 1 | | [16, 32) 1 | | @latency[23]: [1] 4 | | [2, 4) 10 | | [4, 8) 44 |@@@ | [8, 16) 164 |@@@@@@@@@@@ | [16, 32) 735 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 449 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 87 |@@@@@@ | @latency[12]: [0] 602 |@@@@@@@@@@@@@ | [1] 461 |@@@@@@@@@@ | [2, 4) 2291 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 477 |@@@@@@@@@@ | [8, 16) 180 |@@@@ | [16, 32) 20 | | [32, 64) 2 | | @latency[5]: [1] 13 | | [2, 4) 3286 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2704 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2687 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 342 |@@@@@ | [32, 64) 7 | | @latency[2]: [0] 5527 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 2046 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 1369 |@@@@@@@@@@@@ | [4, 8) 1774 |@@@@@@@@@@@@@@@@ | [8, 16) 967 |@@@@@@@@@ | [16, 32) 374 |@@@ | [32, 64) 33 | | [64, 128) 10 | | [128, 256) 10 | | [256, 512) 3 | | [512, 1K) 1 | | [1K, 2K) 1 | | [2K, 4K) 1 | | [4K, 8K) 0 | | [8K, 16K) 1 | | [16K, 32K) 2 | | [32K, 64K) 4 | | [64K, 128K) 1 | | [128K, 256K) 0 | | [256K, 512K) 1 | | @latency[15]: [1] 1692 | | [2, 4) 239360 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 92004 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 138822 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 7045 |@ | [32, 64) 151 | | [64, 128) 17 | | @latency[6]: [0] 104 | | [1] 2384 | | [2, 4) 549935 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 283575 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 329281 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 71346 |@@@@@@ | [32, 64) 16002 |@ | [64, 128) 907 | | [128, 256) 6 | | [256, 512) 0 | | [512, 1K) 1 | | [Mon Jan 12 18:09:13 UTC 2026] respawn: 1: stopped pid 71 with status 0 [Mon Jan 12 18:09:13 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:09:14 UTC 2026] respawn: 2: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 115 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 119 root cwd DIR 9,3 4096 13773703 /data sys_write 119 root rtd DIR 0,80 4096 7238994 / sys_write 119 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 119 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 119 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 119 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 119 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 119 root 1w FIFO W 0,13 0t0 1845024077 pipe sys_write 119 root 2w FIFO W 0,13 0t0 1845024078 pipe sys_write 119 root 10r REG LG,CX 9,3 104 13773715 /data/bpftrace/sys_write_delay.sh maps output: 555d3f343000-555d3f347000 r--p 00000000 09:03 28221037 /usr/bin/dash 555d3f347000-555d3f35a000 r-xp 00004000 09:03 28221037 /usr/bin/dash 555d3f35a000-555d3f360000 r--p 00017000 09:03 28221037 /usr/bin/dash 555d3f360000-555d3f362000 r--p 0001c000 09:03 28221037 /usr/bin/dash 555d3f362000-555d3f363000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 555d3f363000-555d3f365000 rw-p 00000000 00:00 0 555d78bb4000-555d78bd5000 rw-p 00000000 00:00 0 [heap] 7fb1b87fc000-7fb1b87ff000 rw-p 00000000 00:00 0 7fb1b87ff000-7fb1b8825000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb1b8825000-7fb1b897b000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb1b897b000-7fb1b89ce000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb1b89ce000-7fb1b89d2000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb1b89d2000-7fb1b89d4000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb1b89d4000-7fb1b89e1000 rw-p 00000000 00:00 0 7fb1b89ee000-7fb1b89f0000 rw-p 00000000 00:00 0 7fb1b89f0000-7fb1b89f1000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb1b89f1000-7fb1b8a17000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb1b8a17000-7fb1b8a21000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb1b8a21000-7fb1b8a23000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb1b8a23000-7fb1b8a25000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffc45803000-7ffc45824000 rw-p 00000000 00:00 0 [stack] 7ffc458d1000-7ffc458d5000 r--p 00000000 00:00 0 [vvar] 7ffc458d5000-7ffc458d7000 r-xp 00000000 00:00 0 [vdso] @latency[26]: [2, 4) 3 |@@@@@@ | [4, 8) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@@@@ | @latency[25]: [2, 4) 2 |@@@ | [4, 8) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@@@ | @latency[24]: [2, 4) 1 |@ | [4, 8) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@ | [16, 32) 1 |@ | @latency[17]: [2, 4) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 8 |@@@@@@@@@ | [8, 16) 1 |@ | @latency[19]: [2, 4) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@@@@@@@@ | @latency[13]: [2, 4) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@@@@@ | [8, 16) 5 |@@@@@ | @latency[16]: [2, 4) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@ | @latency[18]: [2, 4) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 18 |@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@ | @latency[20]: [2, 4) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 17 |@@@@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@ | @latency[14]: [2, 4) 47 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 14 |@@@@@@@@@@@@@@@ | @latency[21]: [0] 22 |@@@@@@ | [1] 3 | | [2, 4) 166 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 15 |@@@@ | [8, 16) 2 | | @latency[23]: [2, 4) 1 | | [4, 8) 23 |@@@@ | [8, 16) 26 |@@@@ | [16, 32) 298 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 29 |@@@@@ | [64, 128) 1 | | @latency[11]: [0] 165 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 54 |@@@@@@@@@@@ | [2, 4) 236 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 102 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 11 |@@ | [16, 32) 4 | | @latency[12]: [0] 275 |@@@@@@@@@@@@@@@@@@@@@ | [1] 76 |@@@@@ | [2, 4) 673 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 202 |@@@@@@@@@@@@@@@ | [8, 16) 27 |@@ | [16, 32) 5 | | @latency[5]: [1] 2 | | [2, 4) 1345 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1111 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 190 |@@@@@@@ | [16, 32) 4 | | @latency[2]: [0] 2048 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 1387 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 239 |@@@@@@ | [4, 8) 379 |@@@@@@@@@ | [8, 16) 222 |@@@@@ | [16, 32) 16 | | [32, 64) 2 | | [64, 128) 0 | | [128, 256) 3 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 0 | | [8K, 16K) 1 | | [16K, 32K) 1 | | [32K, 64K) 2 | | [64K, 128K) 1 | | [128K, 256K) 0 | | [256K, 512K) 1 | | @latency[15]: [1] 1252 | | [2, 4) 102291 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 16303 |@@@@@@@@ | [8, 16) 9931 |@@@@@ | [16, 32) 224 | | [32, 64) 2 | | [64, 128) 2 | | @latency[6]: [1] 550 | | [2, 4) 256609 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 58365 |@@@@@@@@@@@ | [8, 16) 23177 |@@@@ | [16, 32) 7592 |@ | [32, 64) 4070 | | [64, 128) 95 | | [128, 256) 2 | | [256, 512) 1 | | [Mon Jan 12 18:11:01 UTC 2026] respawn: 2: stopped pid 119 with status 0 [Mon Jan 12 18:11:01 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:11:02 UTC 2026] respawn: 3: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 163 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 167 root cwd DIR 9,3 4096 13773703 /data sys_write 167 root rtd DIR 0,80 4096 7238994 / sys_write 167 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 167 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 167 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 167 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 167 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 167 root 1w FIFO W 0,13 0t0 1845024077 pipe sys_write 167 root 2w FIFO W 0,13 0t0 1845024078 pipe sys_write 167 root 10r REG LG,CX 9,3 104 13773715 /data/bpftrace/sys_write_delay.sh maps output: 55a3deb20000-55a3deb24000 r--p 00000000 09:03 28221037 /usr/bin/dash 55a3deb24000-55a3deb37000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55a3deb37000-55a3deb3d000 r--p 00017000 09:03 28221037 /usr/bin/dash 55a3deb3d000-55a3deb3f000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55a3deb3f000-55a3deb40000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55a3deb40000-55a3deb42000 rw-p 00000000 00:00 0 55a4175c6000-55a4175e7000 rw-p 00000000 00:00 0 [heap] 7f79a0c6f000-7f79a0c72000 rw-p 00000000 00:00 0 7f79a0c72000-7f79a0c98000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f79a0c98000-7f79a0dee000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f79a0dee000-7f79a0e41000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f79a0e41000-7f79a0e45000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f79a0e45000-7f79a0e47000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f79a0e47000-7f79a0e54000 rw-p 00000000 00:00 0 7f79a0e61000-7f79a0e63000 rw-p 00000000 00:00 0 7f79a0e63000-7f79a0e64000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f79a0e64000-7f79a0e8a000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f79a0e8a000-7f79a0e94000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f79a0e94000-7f79a0e96000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f79a0e96000-7f79a0e98000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffcc8ef5000-7ffcc8f16000 rw-p 00000000 00:00 0 [stack] 7ffcc8faf000-7ffcc8fb3000 r--p 00000000 00:00 0 [vvar] 7ffcc8fb3000-7ffcc8fb5000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1576380 detected long write(fd=2, count=126, ret=126): 707519 us PESPIN: write content: 20260112181132167 DTRX INFO[0 stack trace of write(): 0x7f4d0e33a340 @[ 0x7f4d0e33a340 ]: 1 @latency[26]: [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[25]: [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[24]: [4, 8) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[19]: [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[17]: [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[13]: [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@ | @latency[16]: [2, 4) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@ | [8, 16) 0 | | [16, 32) 1 |@ | @latency[20]: [2, 4) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@ | [8, 16) 0 | | [16, 32) 1 |@ | @latency[18]: [2, 4) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 7 |@@@@@@@@@ | [8, 16) 0 | | [16, 32) 1 |@ | @latency[23]: [2, 4) 2 |@@@@ | [4, 8) 5 |@@@@@@@@@@@ | [8, 16) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 1 |@@ | [64, 128) 1 |@@ | @latency[11]: [0] 16 |@@@@ | [1] 14 |@@@@ | [2, 4) 178 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 | | [8, 16) 1 | | @latency[5]: [1] 1 | | [2, 4) 282 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 25 |@@@@ | [8, 16) 28 |@@@@@ | [16, 32) 6 |@ | @latency[12]: [0] 188 |@@@@@@@@@@@@@@@@@ | [1] 19 |@ | [2, 4) 572 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 48 |@@@@ | [8, 16) 5 | | [16, 32) 1 | | @latency[2]: [0] 1649 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 181 |@@@@@ | [2, 4) 151 |@@@@ | [4, 8) 199 |@@@@@@ | [8, 16) 47 |@ | [16, 32) 7 | | [32, 64) 2 | | [64, 128) 0 | | [128, 256) 2 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 0 | | [16K, 32K) 0 | | [32K, 64K) 1 | | [64K, 128K) 0 | | [128K, 256K) 0 | | [256K, 512K) 0 | | [512K, 1M) 1 | | @latency[15]: [1] 97 | | [2, 4) 8741 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 702 |@@@@ | [8, 16) 802 |@@@@ | [16, 32) 40 | | [32, 64) 1 | | [64, 128) 0 | | [128, 256) 2 | | @latency[14]: [1] 44 | | [2, 4) 11955 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 874 |@@@ | [8, 16) 1516 |@@@@@@ | [16, 32) 88 | | [32, 64) 1 | | @latency[6]: [1] 310 | | [2, 4) 56869 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4618 |@@@@ | [8, 16) 6034 |@@@@@ | [16, 32) 1446 |@ | [32, 64) 286 | | [64, 128) 15 | | [128, 256) 1 | | [256, 512) 2 | | [Mon Jan 12 18:11:33 UTC 2026] respawn: 3: stopped pid 167 with status 0 [Mon Jan 12 18:11:33 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:11:34 UTC 2026] respawn: 4: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 211 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 215 root cwd DIR 9,3 4096 13773703 /data sys_write 215 root rtd DIR 0,80 4096 7238994 / sys_write 215 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 215 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 215 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 215 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 215 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 215 root 1w FIFO W 0,13 0t0 1845024077 pipe sys_write 215 root 2w FIFO W 0,13 0t0 1845024078 pipe sys_write 215 root 10r REG LG,CX 9,3 104 13773715 /data/bpftrace/sys_write_delay.sh maps output: 55673f8fe000-55673f902000 r--p 00000000 09:03 28221037 /usr/bin/dash 55673f902000-55673f915000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55673f915000-55673f91b000 r--p 00017000 09:03 28221037 /usr/bin/dash 55673f91b000-55673f91d000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55673f91d000-55673f91e000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55673f91e000-55673f920000 rw-p 00000000 00:00 0 556773549000-55677356a000 rw-p 00000000 00:00 0 [heap] 7f8722563000-7f8722566000 rw-p 00000000 00:00 0 7f8722566000-7f872258c000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f872258c000-7f87226e2000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f87226e2000-7f8722735000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8722735000-7f8722739000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8722739000-7f872273b000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f872273b000-7f8722748000 rw-p 00000000 00:00 0 7f8722755000-7f8722757000 rw-p 00000000 00:00 0 7f8722757000-7f8722758000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8722758000-7f872277e000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f872277e000-7f8722788000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8722788000-7f872278a000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f872278a000-7f872278c000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff58371000-7fff58392000 rw-p 00000000 00:00 0 [stack] 7fff583f5000-7fff583f9000 r--p 00000000 00:00 0 [vvar] 7fff583f9000-7fff583fb000 r-xp 00000000 00:00 0 [vdso] @latency[19]: [2, 4) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@ | [8, 16) 1 | | @latency[17]: [1] 1 | | [2, 4) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 7 |@@@@@ | [8, 16) 1 | | @latency[13]: [2, 4) 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@ | [8, 16) 6 |@@@@ | [16, 32) 1 | | @latency[26]: [1] 1 |@ | [2, 4) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 10 |@@@@@@@@@@@@@@ | [16, 32) 1 |@ | @latency[25]: [2, 4) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 48 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@@@ | [16, 32) 2 |@@ | @latency[24]: [2, 4) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@ | [16, 32) 5 |@@@@@@ | @latency[16]: [1] 14 |@@ | [2, 4) 340 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 66 |@@@@@@@@@@ | [8, 16) 28 |@@@@ | [16, 32) 1 | | @latency[20]: [1] 20 |@@@ | [2, 4) 342 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 69 |@@@@@@@@@@ | [8, 16) 17 |@@ | [16, 32) 1 | | @latency[18]: [1] 17 |@@ | [2, 4) 343 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 64 |@@@@@@@@@ | [8, 16) 24 |@@@ | [16, 32) 1 | | @latency[23]: [2, 4) 57 |@@@@@@@@@@@ | [4, 8) 269 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 175 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 169 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 110 |@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 21 |@@@@ | @latency[11]: [0] 240 |@@@@@@@@@@@@@@@@@@@@@@ | [1] 127 |@@@@@@@@@@@@ | [2, 4) 547 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 84 |@@@@@@@ | [8, 16) 63 |@@@@@ | [16, 32) 7 | | [32, 64) 1 | | @latency[5]: [1] 2 | | [2, 4) 1098 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 204 |@@@@@@@@@ | [8, 16) 580 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 70 |@@@ | [32, 64) 2 | | [64, 128) 1 | | @latency[12]: [0] 1896 |@@@@@@@@@@@@@@@@@@@ | [1] 469 |@@@@ | [2, 4) 4994 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1027 |@@@@@@@@@@ | [8, 16) 278 |@@ | [16, 32) 22 | | [32, 64) 4 | | @latency[14]: [1] 479 |@ | [2, 4) 14650 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2497 |@@@@@@@@ | [8, 16) 596 |@@ | [16, 32) 50 | | [32, 64) 1 | | @latency[2]: [0] 13509 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 3924 |@@@@@@@@@@@@@@@ | [2, 4) 1900 |@@@@@@@ | [4, 8) 1577 |@@@@@@ | [8, 16) 468 |@ | [16, 32) 223 | | [32, 64) 33 | | [64, 128) 10 | | [128, 256) 7 | | [256, 512) 4 | | [512, 1K) 1 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 2 | | [8K, 16K) 0 | | [16K, 32K) 1 | | [32K, 64K) 2 | | [64K, 128K) 1 | | [128K, 256K) 1 | | @latency[15]: [1] 591 | | [2, 4) 69191 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 13763 |@@@@@@@@@@ | [8, 16) 35800 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1900 |@ | [32, 64) 27 | | [64, 128) 2 | | @latency[6]: [0] 1204 | | [1] 4267 | | [2, 4) 266966 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 48856 |@@@@@@@@@ | [8, 16) 96624 |@@@@@@@@@@@@@@@@@@ | [16, 32) 17174 |@@@ | [32, 64) 1362 | | [64, 128) 206 | | [128, 256) 3 | | [256, 512) 1 | | [Mon Jan 12 18:15:18 UTC 2026] respawn: 4: stopped pid 215 with status 0 [Mon Jan 12 18:15:18 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:15:19 UTC 2026] respawn: 5: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 211 --unsafe osmo-bts-trx [Mon Jan 12 18:15:20 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 25 root cwd DIR 9,3 4096 13773703 /data sys_write 25 root rtd DIR 0,62 4096 7236652 / sys_write 25 root txt REG 0,62 125640 28221037 /usr/bin/dash sys_write 25 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,62) sys_write 25 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,62) sys_write 25 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,62) sys_write 25 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 25 root 1w FIFO W 0,13 0t0 1845952057 pipe sys_write 25 root 2w FIFO W 0,13 0t0 1845952058 pipe sys_write 25 root 10r REG LG,CX 9,3 104 13773718 /data/bpftrace/sys_write_delay.sh maps output: 55e93b3c7000-55e93b3cb000 r--p 00000000 09:03 28221037 /usr/bin/dash 55e93b3cb000-55e93b3de000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55e93b3de000-55e93b3e4000 r--p 00017000 09:03 28221037 /usr/bin/dash 55e93b3e4000-55e93b3e6000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55e93b3e6000-55e93b3e7000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55e93b3e7000-55e93b3e9000 rw-p 00000000 00:00 0 55e977739000-55e97775a000 rw-p 00000000 00:00 0 [heap] 7f37d1d84000-7f37d1d87000 rw-p 00000000 00:00 0 7f37d1d87000-7f37d1dad000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f37d1dad000-7f37d1f03000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f37d1f03000-7f37d1f56000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f37d1f56000-7f37d1f5a000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f37d1f5a000-7f37d1f5c000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f37d1f5c000-7f37d1f69000 rw-p 00000000 00:00 0 7f37d1f76000-7f37d1f78000 rw-p 00000000 00:00 0 7f37d1f78000-7f37d1f79000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f37d1f79000-7f37d1f9f000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f37d1f9f000-7f37d1fa9000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f37d1fa9000-7f37d1fab000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f37d1fab000-7f37d1fad000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffdfb48f000-7ffdfb4b0000 rw-p 00000000 00:00 0 [stack] 7ffdfb4bc000-7ffdfb4c0000 r--p 00000000 00:00 0 [vvar] 7ffdfb4c0000-7ffdfb4c2000 r-xp 00000000 00:00 0 [vdso] @latency[21]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[15]: [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[17]: [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1 |@@@@@@@@ | @latency[19]: [2, 4) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[13]: [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 10 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 5 |@@@@@@@@@@@@@@ | @latency[2]: [0] 491 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 113 |@@@@@@@@@@@ | [2, 4) 171 |@@@@@@@@@@@@@@@@@@ | [4, 8) 197 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 26 |@@ | [16, 32) 22 |@@ | [32, 64) 4 | | [64, 128) 1 | | [128, 256) 0 | | [256, 512) 1 | | @latency[11]: [0] 691 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 935 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 425 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 63 |@@@ | [8, 16) 86 |@@@@ | [16, 32) 25 |@ | [32, 64) 2 | | @latency[6]: [0] 142 | | [1] 1234 |@@@@@ | [2, 4) 12296 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2424 |@@@@@@@@@@ | [8, 16) 3902 |@@@@@@@@@@@@@@@@ | [16, 32) 191 | | [32, 64) 39 | | [64, 128) 22 | | [Mon Jan 12 18:16:58 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Mon Jan 12 18:16:58 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:16:59 UTC 2026] respawn: 1: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx [Mon Jan 12 18:17:01 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 25 root cwd DIR 9,3 4096 13773703 /data sys_write 25 root rtd DIR 0,80 4096 7236702 / sys_write 25 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 25 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 25 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 25 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 25 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 25 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 25 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 25 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 5576ab2fa000-5576ab2fe000 r--p 00000000 09:03 28221037 /usr/bin/dash 5576ab2fe000-5576ab311000 r-xp 00004000 09:03 28221037 /usr/bin/dash 5576ab311000-5576ab317000 r--p 00017000 09:03 28221037 /usr/bin/dash 5576ab317000-5576ab319000 r--p 0001c000 09:03 28221037 /usr/bin/dash 5576ab319000-5576ab31a000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 5576ab31a000-5576ab31c000 rw-p 00000000 00:00 0 5576abfd0000-5576abff1000 rw-p 00000000 00:00 0 [heap] 7f5117c38000-7f5117c3b000 rw-p 00000000 00:00 0 7f5117c3b000-7f5117c61000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5117c61000-7f5117db7000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5117db7000-7f5117e0a000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5117e0a000-7f5117e0e000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5117e0e000-7f5117e10000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5117e10000-7f5117e1d000 rw-p 00000000 00:00 0 7f5117e2a000-7f5117e2c000 rw-p 00000000 00:00 0 7f5117e2c000-7f5117e2d000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5117e2d000-7f5117e53000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5117e53000-7f5117e5d000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5117e5d000-7f5117e5f000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5117e5f000-7f5117e61000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffd1416b000-7ffd1418c000 rw-p 00000000 00:00 0 [stack] 7ffd141ea000-7ffd141ee000 r--p 00000000 00:00 0 [vvar] 7ffd141ee000-7ffd141f0000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1835820 detected long write(fd=2, count=229, ret=229): 527534 us PESPIN: write content: 20260112181806138 DMEAS INFO (bts=0,trx stack trace of write(): 0x7fbe2790d340 PESPIN: PID 1835820 detected long write(fd=2, count=229, ret=229): 411114 us PESPIN: write content: 20260112181958085 DMEAS INFO (bts=0,trx stack trace of write(): 0x7fbe2790d340 PESPIN: PID 1835820 detected long write(fd=2, count=127, ret=127): 603816 us PESPIN: write content: 20260112182222371 DTRX INFO[0 stack trace of write(): 0x7fbe2790d340 @[ 0x7fbe2790d340 ]: 3 @latency[26]: [2, 4) 1 | | [4, 8) 55 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 18 |@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@@@@ | @latency[13]: [2, 4) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 13 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 |@ | @latency[24]: [0] 2 |@ | [1] 1 | | [2, 4) 6 |@@@@ | [4, 8) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 30 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@@@@ | [32, 64) 2 |@ | @latency[25]: [0] 2 |@ | [1] 1 | | [2, 4) 5 |@@@ | [4, 8) 80 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 19 |@@@@@@@@@@@@ | [16, 32) 8 |@@@@@ | @latency[23]: [0] 2 |@@ | [1] 1 |@ | [2, 4) 5 |@@@@@@@ | [4, 8) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 22 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 8 |@@@@@@@@@@@ | @latency[18]: [1] 2 | | [2, 4) 134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 104 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 10 |@@@ | [16, 32) 9 |@@@ | @latency[20]: [1] 2 | | [2, 4) 164 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 100 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 18 |@@@@@ | [16, 32) 30 |@@@@@@@@@ | [32, 64) 1 | | @latency[16]: [2, 4) 143 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 117 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 33 |@@@@@@@@@@@@ | [16, 32) 51 |@@@@@@@@@@@@@@@@@@ | @latency[11]: [0] 78 |@@@@@@@@@@ | [1] 11 |@ | [2, 4) 376 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 74 |@@@@@@@@@@ | [8, 16) 18 |@@ | [16, 32) 3 | | @latency[19]: [1] 1 | | [2, 4) 446 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 485 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 189 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 23 |@@ | @latency[22]: [1] 2 | | [2, 4) 55 |@@@@ | [4, 8) 641 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 492 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 452 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 145 |@@@@@@@@@@@ | [64, 128) 43 |@@@ | @latency[21]: [0] 13 | | [1] 4 | | [2, 4) 1146 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 858 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 340 |@@@@@@@@@@@@@@@ | [16, 32) 48 |@@ | [32, 64) 1 | | @latency[17]: [1] 1 | | [2, 4) 1200 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 996 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 387 |@@@@@@@@@@@@@@@@ | [16, 32) 51 |@@ | @latency[12]: [0] 979 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 92 |@@ | [2, 4) 1698 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 749 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 53 |@ | [16, 32) 9 | | [32, 64) 1 | | @latency[5]: [1] 7 | | [2, 4) 2173 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2644 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1056 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 236 |@@@@ | [32, 64) 2 | | @latency[14]: [1] 4 | | [2, 4) 8454 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3395 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 4880 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5946 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 34 | | [64, 128) 1 | | @latency[2]: [0] 10414 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 10785 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2081 |@@@@@@@@@@ | [4, 8) 2712 |@@@@@@@@@@@@@ | [8, 16) 927 |@@@@ | [16, 32) 378 |@ | [32, 64) 39 | | [64, 128) 16 | | [128, 256) 9 | | [256, 512) 1 | | [512, 1K) 1 | | [1K, 2K) 2 | | [2K, 4K) 3 | | [4K, 8K) 1 | | [8K, 16K) 2 | | [16K, 32K) 2 | | [32K, 64K) 1 | | [64K, 128K) 2 | | [128K, 256K) 1 | | [256K, 512K) 2 | | [512K, 1M) 2 | | @latency[15]: [1] 982 | | [2, 4) 224376 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 109785 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 74746 |@@@@@@@@@@@@@@@@@ | [16, 32) 9077 |@@ | [32, 64) 106 | | [64, 128) 2 | | @latency[6]: [1] 2354 | | [2, 4) 450909 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 351655 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 181715 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 63335 |@@@@@@@ | [32, 64) 8779 |@ | [64, 128) 659 | | [128, 256) 10 | | [Mon Jan 12 18:22:23 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Mon Jan 12 18:22:23 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:22:24 UTC 2026] respawn: 1: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 67 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 71 root cwd DIR 9,3 4096 13773703 /data sys_write 71 root rtd DIR 0,80 4096 7236702 / sys_write 71 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 71 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 71 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 71 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 71 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 71 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 71 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 71 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 5582605e5000-5582605e9000 r--p 00000000 09:03 28221037 /usr/bin/dash 5582605e9000-5582605fc000 r-xp 00004000 09:03 28221037 /usr/bin/dash 5582605fc000-558260602000 r--p 00017000 09:03 28221037 /usr/bin/dash 558260602000-558260604000 r--p 0001c000 09:03 28221037 /usr/bin/dash 558260604000-558260605000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 558260605000-558260607000 rw-p 00000000 00:00 0 55828c17b000-55828c19c000 rw-p 00000000 00:00 0 [heap] 7f8ed9f95000-7f8ed9f98000 rw-p 00000000 00:00 0 7f8ed9f98000-7f8ed9fbe000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8ed9fbe000-7f8eda114000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8eda114000-7f8eda167000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8eda167000-7f8eda16b000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8eda16b000-7f8eda16d000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8eda16d000-7f8eda17a000 rw-p 00000000 00:00 0 7f8eda187000-7f8eda189000 rw-p 00000000 00:00 0 7f8eda189000-7f8eda18a000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8eda18a000-7f8eda1b0000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8eda1b0000-7f8eda1ba000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8eda1ba000-7f8eda1bc000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8eda1bc000-7f8eda1be000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffe0d2bd000-7ffe0d2de000 rw-p 00000000 00:00 0 [stack] 7ffe0d3a4000-7ffe0d3a8000 r--p 00000000 00:00 0 [vvar] 7ffe0d3a8000-7ffe0d3aa000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 2102582 detected long write(fd=2, count=127, ret=127): 567293 us PESPIN: write content: 20260112182243469 DTRX INFO[0 stack trace of write(): 0x7f4c6cd10340 PESPIN: PID 2102582 detected long write(fd=2, count=114, ret=114): 449698 us PESPIN: write content: 20260112183218541 DL1P NOTICE (bts=0,tr stack trace of write(): 0x7f4c6cd10340 @[ 0x7f4c6cd10340 ]: 2 @latency[13]: [1] 1 |@ | [2, 4) 52 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@@@@@@@ | [8, 16) 2 |@@ | @latency[26]: [0] 10 |@@@@@@ | [1] 5 |@@@ | [2, 4) 32 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 82 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@ | [16, 32) 2 |@ | @latency[28]: [0] 5 |@@@ | [1] 22 |@@@@@@@@@@@@@ | [2, 4) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 73 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 83 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@@@ | @latency[25]: [0] 9 |@@ | [1] 5 |@ | [2, 4) 55 |@@@@@@@@@@@@@ | [4, 8) 210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 25 |@@@@@@ | [16, 32) 16 |@@@ | @latency[24]: [0] 8 |@ | [1] 11 |@@ | [2, 4) 68 |@@@@@@@@@@@@@@@@ | [4, 8) 210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 21 |@@@@@ | [16, 32) 26 |@@@@@@ | [32, 64) 1 | | @latency[23]: [0] 8 |@@ | [1] 8 |@@ | [2, 4) 61 |@@@@@@@@@@@@@@@@@@ | [4, 8) 167 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 64 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 18 |@@@@@ | [64, 128) 1 | | @latency[20]: [1] 22 |@ | [2, 4) 976 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 202 |@@@@@@@@@@ | [8, 16) 61 |@@@ | [16, 32) 5 | | @latency[18]: [1] 20 |@ | [2, 4) 991 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 187 |@@@@@@@@@ | [8, 16) 65 |@@@ | [16, 32) 4 | | @latency[16]: [1] 7 | | [2, 4) 995 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 191 |@@@@@@@@@ | [8, 16) 66 |@@@ | [16, 32) 13 | | @latency[11]: [0] 408 |@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 9 | | [2, 4) 854 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 43 |@@ | [8, 16) 8 | | @latency[14]: [1] 5 | | [2, 4) 1000 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 558 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 140 |@@@@@@@ | [16, 32) 42 |@@ | [32, 64) 2 | | @latency[19]: [1] 3 | | [2, 4) 1616 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 141 |@@@@ | [8, 16) 280 |@@@@@@@@@ | [16, 32) 8 | | [32, 64) 1 | | @latency[21]: [1] 7 | | [2, 4) 2060 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 269 |@@@@@@ | [8, 16) 369 |@@@@@@@@@ | [16, 32) 7 | | [32, 64) 1 | | @latency[17]: [1] 11 | | [2, 4) 2892 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 260 |@@@@ | [8, 16) 746 |@@@@@@@@@@@@@ | [16, 32) 12 | | [32, 64) 2 | | @latency[22]: [0] 2 | | [1] 5 | | [2, 4) 329 |@@@@@@@@ | [4, 8) 1788 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2104 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1282 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 255 |@@@@@@ | [64, 128) 30 | | @latency[5]: [1] 31 | | [2, 4) 11766 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2388 |@@@@@@@@@@ | [8, 16) 2190 |@@@@@@@@@ | [16, 32) 318 |@ | [32, 64) 4 | | @latency[12]: [0] 4968 |@@@@@@@@@@@@@@@@@@@ | [1] 1208 |@@@@ | [2, 4) 12950 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2454 |@@@@@@@@@ | [8, 16) 663 |@@ | [16, 32) 122 | | [32, 64) 30 | | @latency[2]: [0] 34250 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 11198 |@@@@@@@@@@@@@@@@@ | [2, 4) 7730 |@@@@@@@@@@@ | [4, 8) 8730 |@@@@@@@@@@@@@ | [8, 16) 1913 |@@ | [16, 32) 627 | | [32, 64) 86 | | [64, 128) 67 | | [128, 256) 27 | | [256, 512) 4 | | [512, 1K) 4 | | [1K, 2K) 4 | | [2K, 4K) 1 | | [4K, 8K) 0 | | [8K, 16K) 4 | | [16K, 32K) 9 | | [32K, 64K) 6 | | [64K, 128K) 12 | | [128K, 256K) 5 | | [256K, 512K) 2 | | [512K, 1M) 1 | | @latency[15]: [1] 6201 | | [2, 4) 798897 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 122723 |@@@@@@@ | [8, 16) 156993 |@@@@@@@@@@ | [16, 32) 8942 | | [32, 64) 169 | | [64, 128) 15 | | @latency[6]: [0] 2300 | | [1] 11113 | | [2, 4) 1993733 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 361785 |@@@@@@@@@ | [8, 16) 420497 |@@@@@@@@@@ | [16, 32) 74237 |@ | [32, 64) 7933 | | [64, 128) 1028 | | [128, 256) 8 | | [256, 512) 1 | | [512, 1K) 1 | | [1K, 2K) 1 | | [Mon Jan 12 18:38:30 UTC 2026] respawn: 1: stopped pid 71 with status 0 [Mon Jan 12 18:38:30 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:38:31 UTC 2026] respawn: 2: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 115 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 119 root cwd DIR 9,3 4096 13773703 /data sys_write 119 root rtd DIR 0,80 4096 7236702 / sys_write 119 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 119 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 119 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 119 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 119 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 119 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 119 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 119 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 564636f0e000-564636f12000 r--p 00000000 09:03 28221037 /usr/bin/dash 564636f12000-564636f25000 r-xp 00004000 09:03 28221037 /usr/bin/dash 564636f25000-564636f2b000 r--p 00017000 09:03 28221037 /usr/bin/dash 564636f2b000-564636f2d000 r--p 0001c000 09:03 28221037 /usr/bin/dash 564636f2d000-564636f2e000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 564636f2e000-564636f30000 rw-p 00000000 00:00 0 564655d8e000-564655daf000 rw-p 00000000 00:00 0 [heap] 7f68e4e7c000-7f68e4e7f000 rw-p 00000000 00:00 0 7f68e4e7f000-7f68e4ea5000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f68e4ea5000-7f68e4ffb000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f68e4ffb000-7f68e504e000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f68e504e000-7f68e5052000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f68e5052000-7f68e5054000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f68e5054000-7f68e5061000 rw-p 00000000 00:00 0 7f68e506e000-7f68e5070000 rw-p 00000000 00:00 0 7f68e5070000-7f68e5071000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f68e5071000-7f68e5097000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f68e5097000-7f68e50a1000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f68e50a1000-7f68e50a3000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f68e50a3000-7f68e50a5000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff96891000-7fff968b2000 rw-p 00000000 00:00 0 [stack] 7fff968b5000-7fff968b9000 r--p 00000000 00:00 0 [vvar] 7fff968b9000-7fff968bb000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 2699301 detected long write(fd=2, count=126, ret=126): 1252103 us PESPIN: write content: 20260112184307453 DTRX INFO[0 stack trace of write(): 0x7ff8079ea340 @[ 0x7ff8079ea340 ]: 1 @latency[17]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | @latency[13]: [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@ | @latency[19]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@ | [8, 16) 1 |@@@ | @latency[26]: [0] 2 |@@ | [1] 1 |@ | [2, 4) 14 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@ | @latency[25]: [0] 4 |@@@ | [1] 1 | | [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 7 |@@@@@ | [16, 32) 1 | | @latency[23]: [0] 2 |@@ | [1] 0 | | [2, 4) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 48 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 10 |@@@@@@@@@@ | [16, 32) 16 |@@@@@@@@@@@@@@@@@ | [32, 64) 2 |@@ | @latency[24]: [0] 3 |@@ | [1] 1 | | [2, 4) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 64 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 9 |@@@@@@@ | [16, 32) 1 | | [32, 64) 1 | | @latency[11]: [0] 26 |@@@@@@@@ | [1] 0 | | [2, 4) 166 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@ | [8, 16) 1 | | @latency[22]: [1] 2 |@ | [2, 4) 27 |@@@@@@@@@@@@@@@@ | [4, 8) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 17 |@@@@@@@@@@ | [64, 128) 4 |@@ | @latency[16]: [1] 5 | | [2, 4) 464 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 90 |@@@@@@@@@@ | [8, 16) 6 | | [16, 32) 1 | | @latency[18]: [1] 5 | | [2, 4) 474 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 77 |@@@@@@@@ | [8, 16) 7 | | [16, 32) 3 | | @latency[20]: [1] 5 | | [2, 4) 472 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 83 |@@@@@@@@@ | [8, 16) 6 | | @latency[14]: [1] 1 | | [2, 4) 442 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 202 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 29 |@@@ | [16, 32) 6 | | @latency[5]: [1] 2 | | [2, 4) 617 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 130 |@@@@@@@@@@ | [8, 16) 40 |@@@ | [16, 32) 16 |@ | @latency[28]: [0] 85 | | [1] 1581 |@@@@@@@@@@@@@@@@@ | [2, 4) 4576 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1977 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 382 |@@@@ | [16, 32) 97 |@ | [32, 64) 3 | | @latency[12]: [0] 2253 |@@@@@@@@@@@@@@@@@@ | [1] 392 |@@@ | [2, 4) 6504 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1015 |@@@@@@@@ | [8, 16) 195 |@ | [16, 32) 37 | | [32, 64) 6 | | @latency[2]: [0] 12403 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 4056 |@@@@@@@@@@@@@@@@@ | [2, 4) 1327 |@@@@@ | [4, 8) 1168 |@@@@ | [8, 16) 218 | | [16, 32) 45 | | [32, 64) 29 | | [64, 128) 16 | | [128, 256) 3 | | [256, 512) 0 | | [512, 1K) 1 | | [1K, 2K) 1 | | [2K, 4K) 1 | | [4K, 8K) 1 | | [8K, 16K) 2 | | [16K, 32K) 1 | | [32K, 64K) 1 | | [64K, 128K) 0 | | [128K, 256K) 1 | | [256K, 512K) 0 | | [512K, 1M) 0 | | [1M, 2M) 1 | | @latency[15]: [1] 1139 | | [2, 4) 188470 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 19811 |@@@@@ | [8, 16) 12200 |@@@ | [16, 32) 1961 | | [32, 64) 23 | | [64, 128) 5 | | @latency[6]: [0] 193 | | [1] 2626 | | [2, 4) 447758 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 57273 |@@@@@@ | [8, 16) 28821 |@@@ | [16, 32) 7440 | | [32, 64) 829 | | [64, 128) 683 | | [Mon Jan 12 18:43:09 UTC 2026] respawn: 2: stopped pid 119 with status 0 [Mon Jan 12 18:43:09 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:43:10 UTC 2026] respawn: 3: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 163 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 173 root cwd DIR 9,3 4096 13773703 /data sys_write 173 root rtd DIR 0,80 4096 7236702 / sys_write 173 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 173 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 173 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 173 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 173 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 173 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 173 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 173 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 55a658abb000-55a658abf000 r--p 00000000 09:03 28221037 /usr/bin/dash 55a658abf000-55a658ad2000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55a658ad2000-55a658ad8000 r--p 00017000 09:03 28221037 /usr/bin/dash 55a658ad8000-55a658ada000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55a658ada000-55a658adb000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55a658adb000-55a658add000 rw-p 00000000 00:00 0 55a662768000-55a662789000 rw-p 00000000 00:00 0 [heap] 7f1317d93000-7f1317d96000 rw-p 00000000 00:00 0 7f1317d96000-7f1317dbc000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1317dbc000-7f1317f12000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1317f12000-7f1317f65000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1317f65000-7f1317f69000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1317f69000-7f1317f6b000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f1317f6b000-7f1317f78000 rw-p 00000000 00:00 0 7f1317f85000-7f1317f87000 rw-p 00000000 00:00 0 7f1317f87000-7f1317f88000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1317f88000-7f1317fae000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1317fae000-7f1317fb8000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1317fb8000-7f1317fba000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f1317fba000-7f1317fbc000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffdbe870000-7ffdbe891000 rw-p 00000000 00:00 0 [stack] 7ffdbe966000-7ffdbe96a000 r--p 00000000 00:00 0 [vvar] 7ffdbe96a000-7ffdbe96c000 r-xp 00000000 00:00 0 [vdso] @latency[21]: [32, 64) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[19]: [2, 4) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 7 |@@@@@@@@@@@@@@@@@ | [8, 16) 0 | | [16, 32) 0 | | [32, 64) 1 |@@ | @latency[13]: [2, 4) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1 |@@ | @latency[17]: [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 0 | | [16, 32) 4 |@@@@@@@@@@@ | [32, 64) 1 |@@ | @latency[24]: [0] 3 |@@ | [1] 4 |@@@ | [2, 4) 13 |@@@@@@@@@@ | [4, 8) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 16 |@@@@@@@@@@@@@ | [16, 32) 1 | | @latency[25]: [0] 4 |@@ | [1] 4 |@@ | [2, 4) 15 |@@@@@@@@@ | [4, 8) 82 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@ | [16, 32) 1 | | @latency[26]: [0] 4 |@@ | [1] 3 |@ | [2, 4) 11 |@@@@@@ | [4, 8) 88 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 18 |@@@@@@@@@@ | [16, 32) 2 |@ | @latency[23]: [0] 5 |@@@ | [1] 2 |@ | [2, 4) 30 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 29 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 4 |@@ | @latency[22]: [0] 2 |@ | [1] 4 |@@ | [2, 4) 26 |@@@@@@@@@@@@@@@ | [4, 8) 52 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 89 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 15 |@@@@@@@@ | [64, 128) 3 |@ | @latency[11]: [0] 142 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 13 |@@ | [2, 4) 269 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 56 |@@@@@@@@@@ | [8, 16) 2 | | @latency[16]: [1] 1 | | [2, 4) 370 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 378 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 16 |@@ | [16, 32) 7 | | @latency[18]: [1] 2 | | [2, 4) 391 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 359 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 16 |@@ | [16, 32) 4 | | @latency[20]: [1] 1 | | [2, 4) 397 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 359 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 12 |@ | [16, 32) 3 | | @latency[14]: [2, 4) 389 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 488 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 93 |@@@@@@@@@ | [16, 32) 16 |@ | [32, 64) 3 | | @latency[5]: [2, 4) 1210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1615 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 95 |@@@ | [16, 32) 10 | | @latency[28]: [0] 14 | | [1] 932 |@@@@@@@@@@@@@@@@ | [2, 4) 2890 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2531 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 398 |@@@@@@@ | [16, 32) 36 | | @latency[12]: [0] 2769 |@@@@@@@@@@@@@@@@@@@@@@@ | [1] 1274 |@@@@@@@@@@ | [2, 4) 6184 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4028 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 309 |@@ | [16, 32) 45 | | [32, 64) 4 | | @latency[2]: [0] 7011 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 14223 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 2438 |@@@@@@@@ | [4, 8) 2274 |@@@@@@@@ | [8, 16) 572 |@@ | [16, 32) 68 | | [32, 64) 29 | | [64, 128) 23 | | [128, 256) 7 | | [256, 512) 1 | | [512, 1K) 1 | | [1K, 2K) 1 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 0 | | [16K, 32K) 1 | | [32K, 64K) 2 | | [64K, 128K) 0 | | [128K, 256K) 1 | | [256K, 512K) 1 | | @latency[15]: [1] 682 | | [2, 4) 82840 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 64200 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 9136 |@@@@@ | [16, 32) 1112 | | [32, 64) 11 | | [64, 128) 2 | | @latency[6]: [1] 1826 | | [2, 4) 216137 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 206923 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 26755 |@@@@@@ | [16, 32) 9514 |@@ | [32, 64) 1965 | | [64, 128) 310 | | [Mon Jan 12 18:48:14 UTC 2026] respawn: 3: stopped pid 173 with status 0 [Mon Jan 12 18:48:14 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:48:15 UTC 2026] respawn: 4: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 211 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 215 root cwd DIR 9,3 4096 13773703 /data sys_write 215 root rtd DIR 0,80 4096 7236702 / sys_write 215 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 215 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 215 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 215 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 215 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 215 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 215 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 215 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 561f4554f000-561f45553000 r--p 00000000 09:03 28221037 /usr/bin/dash 561f45553000-561f45566000 r-xp 00004000 09:03 28221037 /usr/bin/dash 561f45566000-561f4556c000 r--p 00017000 09:03 28221037 /usr/bin/dash 561f4556c000-561f4556e000 r--p 0001c000 09:03 28221037 /usr/bin/dash 561f4556e000-561f4556f000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 561f4556f000-561f45571000 rw-p 00000000 00:00 0 561f7bbcd000-561f7bbee000 rw-p 00000000 00:00 0 [heap] 7f2f8c283000-7f2f8c286000 rw-p 00000000 00:00 0 7f2f8c286000-7f2f8c2ac000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f2f8c2ac000-7f2f8c402000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f2f8c402000-7f2f8c455000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f2f8c455000-7f2f8c459000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f2f8c459000-7f2f8c45b000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f2f8c45b000-7f2f8c468000 rw-p 00000000 00:00 0 7f2f8c475000-7f2f8c477000 rw-p 00000000 00:00 0 7f2f8c477000-7f2f8c478000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f2f8c478000-7f2f8c49e000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f2f8c49e000-7f2f8c4a8000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f2f8c4a8000-7f2f8c4aa000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f2f8c4aa000-7f2f8c4ac000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff0cd97000-7fff0cdb8000 rw-p 00000000 00:00 0 [stack] 7fff0cdd7000-7fff0cddb000 r--p 00000000 00:00 0 [vvar] 7fff0cddb000-7fff0cddd000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 2989106 detected long write(fd=2, count=137, ret=137): 1051273 us PESPIN: write content: 20260112185048627 DABIS NOTICE A-bis co stack trace of write(): 0x7fdd07da1340 PESPIN: PID 2989106 detected long write(fd=2, count=126, ret=126): 864592 us PESPIN: write content: 20260112185506918 DTRX INFO[0 stack trace of write(): 0x7fdd07da1340 @[ 0x7fdd07da1340 ]: 2 @latency[13]: [2, 4) 71 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 29 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5 |@@@ | [16, 32) 2 |@ | @latency[24]: [0] 3 |@ | [1] 5 |@@ | [2, 4) 34 |@@@@@@@@@@@@@@@@ | [4, 8) 105 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 11 |@@@@@ | [16, 32) 2 | | [32, 64) 3 |@ | @latency[25]: [0] 5 |@@ | [1] 2 | | [2, 4) 24 |@@@@@@@@@@ | [4, 8) 120 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@ | [16, 32) 5 |@@ | [32, 64) 1 | | @latency[26]: [0] 8 |@@@ | [1] 4 |@ | [2, 4) 34 |@@@@@@@@@@@@@ | [4, 8) 134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@ | [16, 32) 3 |@ | [32, 64) 1 | | @latency[23]: [0] 1 | | [1] 5 |@@ | [2, 4) 26 |@@@@@@@@@@ | [4, 8) 117 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 125 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 130 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 8 |@@@ | [64, 128) 2 | | @latency[20]: [1] 5 | | [2, 4) 653 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 235 |@@@@@@@@@@@@@@@@@@ | [8, 16) 11 | | [16, 32) 4 | | @latency[16]: [1] 3 | | [2, 4) 626 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 254 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 22 |@ | [16, 32) 6 | | @latency[18]: [1] 3 | | [2, 4) 626 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 259 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 20 |@ | [16, 32) 3 | | @latency[22]: [1] 3 | | [2, 4) 26 |@@ | [4, 8) 126 |@@@@@@@@@@@@@ | [8, 16) 260 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 474 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 72 |@@@@@@@ | [64, 128) 38 |@@@@ | @latency[11]: [0] 335 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 103 |@@@@@@@@ | [2, 4) 648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 97 |@@@@@@@ | [8, 16) 17 |@ | [16, 32) 7 | | [32, 64) 7 | | @latency[19]: [2, 4) 848 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 441 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 82 |@@@@@ | [16, 32) 5 | | [32, 64) 2 | | @latency[17]: [1] 1 | | [2, 4) 925 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 429 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 121 |@@@@@@ | [16, 32) 6 | | [32, 64) 2 | | @latency[21]: [1] 3 | | [2, 4) 1558 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 755 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 290 |@@@@@@@@@ | [16, 32) 38 |@ | [32, 64) 6 | | [64, 128) 1 | | @latency[5]: [1] 4 | | [2, 4) 2912 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1446 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 442 |@@@@@@@ | [16, 32) 110 |@ | [32, 64) 2 | | @latency[12]: [0] 3946 |@@@@@@@@@@@@@@@@@@@@@ | [1] 417 |@@ | [2, 4) 9576 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2318 |@@@@@@@@@@@@ | [8, 16) 274 |@ | [16, 32) 33 | | [32, 64) 3 | | @latency[2]: [0] 18084 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 13862 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3179 |@@@@@@@@@ | [4, 8) 4596 |@@@@@@@@@@@@@ | [8, 16) 817 |@@ | [16, 32) 436 |@ | [32, 64) 50 | | [64, 128) 30 | | [128, 256) 18 | | [256, 512) 2 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 2 | | [4K, 8K) 3 | | [8K, 16K) 5 | | [16K, 32K) 0 | | [32K, 64K) 12 | | [64K, 128K) 3 | | [128K, 256K) 5 | | [256K, 512K) 2 | | [512K, 1M) 1 | | [1M, 2M) 1 | | @latency[14]: [1] 191 | | [2, 4) 86761 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 20032 |@@@@@@@@@@@@ | [8, 16) 23188 |@@@@@@@@@@@@@ | [16, 32) 4958 |@@ | [32, 64) 60 | | [64, 128) 1 | | @latency[15]: [1] 1327 | | [2, 4) 305323 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 71711 |@@@@@@@@@@@@ | [8, 16) 34909 |@@@@@ | [16, 32) 4982 | | [32, 64) 44 | | [64, 128) 1 | | @latency[6]: [0] 332 | | [1] 3746 | | [2, 4) 784510 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 302403 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 116285 |@@@@@@@ | [16, 32) 38399 |@@ | [32, 64) 3278 | | [64, 128) 1806 | | [128, 256) 4 | | [Mon Jan 12 18:57:47 UTC 2026] respawn: 4: stopped pid 215 with status 0 [Mon Jan 12 18:57:47 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:57:48 UTC 2026] respawn: 5: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 259 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 269 root cwd DIR 9,3 4096 13773703 /data sys_write 269 root rtd DIR 0,80 4096 7236702 / sys_write 269 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 269 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 269 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 269 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 269 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 269 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 269 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 269 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 559207eee000-559207ef2000 r--p 00000000 09:03 28221037 /usr/bin/dash 559207ef2000-559207f05000 r-xp 00004000 09:03 28221037 /usr/bin/dash 559207f05000-559207f0b000 r--p 00017000 09:03 28221037 /usr/bin/dash 559207f0b000-559207f0d000 r--p 0001c000 09:03 28221037 /usr/bin/dash 559207f0d000-559207f0e000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 559207f0e000-559207f10000 rw-p 00000000 00:00 0 559221815000-559221836000 rw-p 00000000 00:00 0 [heap] 7fc23a2a4000-7fc23a2a7000 rw-p 00000000 00:00 0 7fc23a2a7000-7fc23a2cd000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc23a2cd000-7fc23a423000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc23a423000-7fc23a476000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc23a476000-7fc23a47a000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc23a47a000-7fc23a47c000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc23a47c000-7fc23a489000 rw-p 00000000 00:00 0 7fc23a496000-7fc23a498000 rw-p 00000000 00:00 0 7fc23a498000-7fc23a499000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc23a499000-7fc23a4bf000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc23a4bf000-7fc23a4c9000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc23a4c9000-7fc23a4cb000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc23a4cb000-7fc23a4cd000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffc7bb16000-7ffc7bb37000 rw-p 00000000 00:00 0 [stack] 7ffc7bb8b000-7ffc7bb8f000 r--p 00000000 00:00 0 [vvar] 7ffc7bb8f000-7ffc7bb91000 r-xp 00000000 00:00 0 [vdso] @latency[22]: [2, 4) 1 |@@@@@ | [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 |@@@@@@@@@@@ | [64, 128) 2 |@@@@@@@@@@@ | @latency[26]: [2, 4) 1 |@@ | [4, 8) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@ | [16, 32) 1 |@@ | @latency[25]: [2, 4) 4 |@@@@@@@@@@@@@ | [4, 8) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@@@@@@@@@ | [16, 32) 1 |@@@ | @latency[24]: [2, 4) 3 |@@@@@@@@@@@@@@ | [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@@@@@@@@ | [32, 64) 1 |@@@@ | [64, 128) 1 |@@@@ | @latency[13]: [2, 4) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@ | [16, 32) 4 |@@@@@@ | [32, 64) 1 |@ | @latency[23]: [2, 4) 2 |@@@@ | [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 12 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 4 |@@@@@@@@ | [64, 128) 2 |@@@@ | @latency[5]: [2, 4) 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 54 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 16 |@@@@@@@@@@@@@ | [16, 32) 8 |@@@@@@ | @latency[21]: [2, 4) 130 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 31 |@@@@@@@@@@@@ | [16, 32) 6 |@@ | @latency[19]: [2, 4) 155 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 76 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 37 |@@@@@@@@@@@@ | [16, 32) 4 |@ | @latency[17]: [2, 4) 158 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 32 |@@@@@@@@@@ | [16, 32) 9 |@@ | @latency[20]: [1] 1 | | [2, 4) 122 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 115 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 10 |@@@@ | @latency[18]: [2, 4) 117 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 122 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 7 |@@ | @latency[16]: [2, 4) 114 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 124 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 |@@@@ | @latency[11]: [0] 28 |@@@ | [1] 10 |@ | [2, 4) 459 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 72 |@@@@@@@@ | [8, 16) 27 |@@@ | [16, 32) 6 | | [32, 64) 0 | | [64, 128) 1 | | @latency[12]: [0] 430 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 232 |@@@@@@@@@@@@@ | [2, 4) 506 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 862 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 28 |@ | [16, 32) 3 | | @latency[2]: [0] 1099 |@@@@@@@@@@@@@@@@@@@ | [1] 2939 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 593 |@@@@@@@@@@ | [4, 8) 755 |@@@@@@@@@@@@@ | [8, 16) 161 |@@ | [16, 32) 81 |@ | [32, 64) 12 | | [64, 128) 4 | | [128, 256) 2 | | [256, 512) 1 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 0 | | [8K, 16K) 0 | | [16K, 32K) 2 | | [32K, 64K) 0 | | [64K, 128K) 0 | | [128K, 256K) 0 | | [256K, 512K) 1 | | @latency[14]: [1] 10 | | [2, 4) 7829 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2594 |@@@@@@@@@@@@@@@@@ | [8, 16) 4409 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1068 |@@@@@@@ | [32, 64) 6 | | [64, 128) 1 | | @latency[15]: [1] 62 | | [2, 4) 20583 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5453 |@@@@@@@@@@@@@ | [8, 16) 1535 |@@@ | [16, 32) 392 | | [32, 64) 1 | | @latency[6]: [1] 62 | | [2, 4) 48870 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 27047 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 12814 |@@@@@@@@@@@@@ | [16, 32) 4402 |@@@@ | [32, 64) 405 | | [64, 128) 351 | | [Mon Jan 12 18:58:52 UTC 2026] respawn: 5: stopped pid 269 with status 0 [Mon Jan 12 18:58:52 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 18:58:53 UTC 2026] respawn: 6: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 307 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 311 root cwd DIR 9,3 4096 13773703 /data sys_write 311 root rtd DIR 0,80 4096 7236702 / sys_write 311 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 311 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 311 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 311 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 311 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 311 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 311 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 311 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 558fa7f4c000-558fa7f50000 r--p 00000000 09:03 28221037 /usr/bin/dash 558fa7f50000-558fa7f63000 r-xp 00004000 09:03 28221037 /usr/bin/dash 558fa7f63000-558fa7f69000 r--p 00017000 09:03 28221037 /usr/bin/dash 558fa7f69000-558fa7f6b000 r--p 0001c000 09:03 28221037 /usr/bin/dash 558fa7f6b000-558fa7f6c000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 558fa7f6c000-558fa7f6e000 rw-p 00000000 00:00 0 558fb28a6000-558fb28c7000 rw-p 00000000 00:00 0 [heap] 7f4884fbc000-7f4884fbf000 rw-p 00000000 00:00 0 7f4884fbf000-7f4884fe5000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4884fe5000-7f488513b000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f488513b000-7f488518e000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f488518e000-7f4885192000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4885192000-7f4885194000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f4885194000-7f48851a1000 rw-p 00000000 00:00 0 7f48851ae000-7f48851b0000 rw-p 00000000 00:00 0 7f48851b0000-7f48851b1000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f48851b1000-7f48851d7000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f48851d7000-7f48851e1000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f48851e1000-7f48851e3000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f48851e3000-7f48851e5000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff0ccfd000-7fff0cd1e000 rw-p 00000000 00:00 0 [stack] 7fff0cd2a000-7fff0cd2e000 r--p 00000000 00:00 0 [vvar] 7fff0cd2e000-7fff0cd30000 r-xp 00000000 00:00 0 [vdso] @latency[25]: [1] 2 |@@@@@ | [2, 4) 2 |@@@@@ | [4, 8) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@@@@@@@@@@@@ | @latency[26]: [0] 2 |@@@@ | [1] 1 |@@ | [2, 4) 3 |@@@@@@ | [4, 8) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3 |@@@@@@ | @latency[22]: [2, 4) 1 |@@ | [4, 8) 3 |@@@@@@@ | [8, 16) 4 |@@@@@@@@@ | [16, 32) 21 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 4 |@@@@@@@@@ | @latency[24]: [1] 2 |@@@@ | [2, 4) 3 |@@@@@@ | [4, 8) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@@@@@ | [16, 32) 10 |@@@@@@@@@@@@@@@@@@@@@ | @latency[13]: [2, 4) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 14 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 4 |@@@@@ | @latency[23]: [1] 1 | | [2, 4) 0 | | [4, 8) 13 |@@@@@@@@@@@@ | [8, 16) 10 |@@@@@@@@@ | [16, 32) 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 1 | | @latency[20]: [2, 4) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 38 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 11 |@@@@@@ | @latency[18]: [1] 1 | | [2, 4) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 42 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@ | @latency[16]: [2, 4) 98 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 42 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5 |@@ | @latency[5]: [2, 4) 140 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 221 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 6 |@ | [16, 32) 3 | | @latency[21]: [2, 4) 5 | | [4, 8) 409 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[17]: [2, 4) 56 |@@@@@@@ | [4, 8) 409 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1 | | [16, 32) 2 | | @latency[19]: [2, 4) 54 |@@@@@@ | [4, 8) 412 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3 | | @latency[11]: [0] 307 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 5 | | [2, 4) 612 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 124 |@@@@@@@@@@ | [8, 16) 20 |@ | [16, 32) 1 | | @latency[12]: [0] 602 |@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 34 |@ | [2, 4) 1267 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 498 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 49 |@@ | [16, 32) 6 | | @latency[2]: [0] 2570 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 3552 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 426 |@@@@@@ | [4, 8) 500 |@@@@@@@ | [8, 16) 530 |@@@@@@@ | [16, 32) 43 | | [32, 64) 13 | | [64, 128) 7 | | [128, 256) 4 | | [256, 512) 0 | | [512, 1K) 1 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 0 | | [16K, 32K) 0 | | [32K, 64K) 1 | | [64K, 128K) 0 | | [128K, 256K) 2 | | @latency[14]: [1] 21 | | [2, 4) 12321 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3825 |@@@@@@@@@@@@@@@@ | [8, 16) 1985 |@@@@@@@@ | [16, 32) 38 | | [32, 64) 0 | | [64, 128) 1 | | @latency[15]: [1] 89 | | [2, 4) 68777 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 12710 |@@@@@@@@@ | [8, 16) 6334 |@@@@ | [16, 32) 125 | | [32, 64) 1 | | [64, 128) 0 | | [128, 256) 0 | | [256, 512) 1 | | @latency[6]: [1] 180 | | [2, 4) 143027 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 50816 |@@@@@@@@@@@@@@@@@@ | [8, 16) 8467 |@@@ | [16, 32) 4404 |@ | [32, 64) 5608 |@@ | [64, 128) 63 | | [128, 256) 2 | | [Mon Jan 12 19:00:48 UTC 2026] respawn: 6: stopped pid 311 with status 0 [Mon Jan 12 19:00:48 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 19:00:49 UTC 2026] respawn: 7: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 355 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 359 root cwd DIR 9,3 4096 13773703 /data sys_write 359 root rtd DIR 0,80 4096 7236702 / sys_write 359 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 359 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 359 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 359 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 359 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 359 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 359 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 359 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 562b0f55c000-562b0f560000 r--p 00000000 09:03 28221037 /usr/bin/dash 562b0f560000-562b0f573000 r-xp 00004000 09:03 28221037 /usr/bin/dash 562b0f573000-562b0f579000 r--p 00017000 09:03 28221037 /usr/bin/dash 562b0f579000-562b0f57b000 r--p 0001c000 09:03 28221037 /usr/bin/dash 562b0f57b000-562b0f57c000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 562b0f57c000-562b0f57e000 rw-p 00000000 00:00 0 562b41278000-562b41299000 rw-p 00000000 00:00 0 [heap] 7fdc9d870000-7fdc9d873000 rw-p 00000000 00:00 0 7fdc9d873000-7fdc9d899000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fdc9d899000-7fdc9d9ef000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fdc9d9ef000-7fdc9da42000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fdc9da42000-7fdc9da46000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fdc9da46000-7fdc9da48000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fdc9da48000-7fdc9da55000 rw-p 00000000 00:00 0 7fdc9da62000-7fdc9da64000 rw-p 00000000 00:00 0 7fdc9da64000-7fdc9da65000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fdc9da65000-7fdc9da8b000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fdc9da8b000-7fdc9da95000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fdc9da95000-7fdc9da97000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fdc9da97000-7fdc9da99000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffd2c267000-7ffd2c288000 rw-p 00000000 00:00 0 [stack] 7ffd2c2d0000-7ffd2c2d4000 r--p 00000000 00:00 0 [vvar] 7ffd2c2d4000-7ffd2c2d6000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 3375527 detected long write(fd=2, count=126, ret=126): 1259472 us PESPIN: write content: 20260112190715426 DTRX INFO[0 stack trace of write(): 0x7fa043420340 PESPIN: PID 3375527 detected long write(fd=2, count=231, ret=231): 442318 us PESPIN: write content: 20260112191938669 DMEAS INFO (bts=0,trx stack trace of write(): 0x7fa043420340 @[ 0x7fa043420340 ]: 2 @latency[28]: [1] 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@@@@@@@ | @latency[25]: [0] 3 | | [1] 14 |@@@ | [2, 4) 22 |@@@@@ | [4, 8) 157 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 197 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 9 |@@ | [32, 64) 1 | | @latency[26]: [0] 3 | | [1] 11 |@@ | [2, 4) 38 |@@@@@@@@@ | [4, 8) 136 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 211 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 11 |@@ | [32, 64) 2 | | @latency[24]: [0] 2 | | [1] 5 |@ | [2, 4) 33 |@@@@@@@ | [4, 8) 145 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 231 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 27 |@@@@@@ | [32, 64) 1 | | @latency[13]: [2, 4) 153 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 242 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 99 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 37 |@@@@@@@ | @latency[22]: [2, 4) 15 |@ | [4, 8) 27 |@@@ | [8, 16) 101 |@@@@@@@@@@@@ | [16, 32) 422 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 281 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 73 |@@@@@@@@ | [128, 256) 1 | | @latency[18]: [1] 2 | | [2, 4) 505 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 674 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 169 |@@@@@@@@@@@@@ | [16, 32) 23 |@ | @latency[16]: [1] 6 | | [2, 4) 492 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 853 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 202 |@@@@@@@@@@@@ | [16, 32) 14 | | @latency[20]: [1] 9 | | [2, 4) 521 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 869 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 196 |@@@@@@@@@@@ | [16, 32) 28 |@ | [32, 64) 1 | | @latency[23]: [1] 7 | | [2, 4) 38 |@ | [4, 8) 110 |@@@ | [8, 16) 401 |@@@@@@@@@@@@ | [16, 32) 831 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1737 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 97 |@@ | [128, 256) 3 | | @latency[19]: [1] 1 | | [2, 4) 655 |@@@@@@@@@@@@ | [4, 8) 2693 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 873 |@@@@@@@@@@@@@@@@ | [16, 32) 94 |@ | [32, 64) 1 | | @latency[21]: [1] 5 | | [2, 4) 611 |@@@@@@@@ | [4, 8) 3880 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1143 |@@@@@@@@@@@@@@@ | [16, 32) 121 |@ | [32, 64) 1 | | @latency[11]: [0] 1369 |@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 1627 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2035 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2852 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 400 |@@@@@@@ | [16, 32) 36 | | [32, 64) 6 | | @latency[17]: [1] 9 | | [2, 4) 1838 |@@@@@@@@@@@@@@ | [4, 8) 6789 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1668 |@@@@@@@@@@@@ | [16, 32) 131 |@ | [32, 64) 1 | | @latency[12]: [0] 2818 |@@@@@@@@@@@@@@@@@ | [1] 4152 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 6461 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8540 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1654 |@@@@@@@@@@ | [16, 32) 133 | | [32, 64) 21 | | @latency[5]: [1] 27 | | [2, 4) 4093 |@@@@@@@@@@@ | [4, 8) 17747 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3147 |@@@@@@@@@ | [16, 32) 295 | | [32, 64) 1 | | [64, 128) 1 | | @latency[14]: [1] 1 | | [2, 4) 1623 |@@ | [4, 8) 33275 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3141 |@@@@ | [16, 32) 2724 |@@@@ | [32, 64) 7 | | @latency[2]: [0] 15258 |@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 31778 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 10565 |@@@@@@@@@@@@@@@@@ | [4, 8) 4482 |@@@@@@@ | [8, 16) 4890 |@@@@@@@@ | [16, 32) 1621 |@@ | [32, 64) 152 | | [64, 128) 66 | | [128, 256) 49 | | [256, 512) 13 | | [512, 1K) 5 | | [1K, 2K) 3 | | [2K, 4K) 2 | | [4K, 8K) 7 | | [8K, 16K) 6 | | [16K, 32K) 5 | | [32K, 64K) 9 | | [64K, 128K) 8 | | [128K, 256K) 9 | | [256K, 512K) 4 | | [512K, 1M) 0 | | [1M, 2M) 1 | | @latency[15]: [1] 4014 | | [2, 4) 465889 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 716877 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 122277 |@@@@@@@@ | [16, 32) 50541 |@@@ | [32, 64) 2928 | | [64, 128) 14 | | @latency[6]: [0] 975 | | [1] 7398 | | [2, 4) 916075 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1840841 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 359315 |@@@@@@@@@@ | [16, 32) 94908 |@@ | [32, 64) 74806 |@@ | [64, 128) 53780 |@ | [128, 256) 3456 | | [256, 512) 4 | | [512, 1K) 2 | | [Mon Jan 12 19:22:18 UTC 2026] respawn: 7: stopped pid 359 with status 0 [Mon Jan 12 19:22:18 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 19:22:19 UTC 2026] respawn: 8: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 403 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 407 root cwd DIR 9,3 4096 13773703 /data sys_write 407 root rtd DIR 0,80 4096 7236702 / sys_write 407 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 407 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 407 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 407 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 407 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 407 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 407 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 407 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 55ee86e16000-55ee86e1a000 r--p 00000000 09:03 28221037 /usr/bin/dash 55ee86e1a000-55ee86e2d000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55ee86e2d000-55ee86e33000 r--p 00017000 09:03 28221037 /usr/bin/dash 55ee86e33000-55ee86e35000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55ee86e35000-55ee86e36000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55ee86e36000-55ee86e38000 rw-p 00000000 00:00 0 55eea32f8000-55eea3319000 rw-p 00000000 00:00 0 [heap] 7f8f04d8f000-7f8f04d92000 rw-p 00000000 00:00 0 7f8f04d92000-7f8f04db8000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8f04db8000-7f8f04f0e000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8f04f0e000-7f8f04f61000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8f04f61000-7f8f04f65000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8f04f65000-7f8f04f67000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f8f04f67000-7f8f04f74000 rw-p 00000000 00:00 0 7f8f04f81000-7f8f04f83000 rw-p 00000000 00:00 0 7f8f04f83000-7f8f04f84000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8f04f84000-7f8f04faa000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8f04faa000-7f8f04fb4000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8f04fb4000-7f8f04fb6000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f8f04fb6000-7f8f04fb8000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffed4f91000-7ffed4fb2000 rw-p 00000000 00:00 0 [stack] 7ffed4fc5000-7ffed4fc9000 r--p 00000000 00:00 0 [vvar] 7ffed4fc9000-7ffed4fcb000 r-xp 00000000 00:00 0 [vdso] @latency[15]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@ | @latency[17]: [2, 4) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | @latency[19]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@ | @latency[13]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@@@@@@@@@ | @latency[5]: [1] 1 |@ | [2, 4) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10 |@@@@@@@@@@@@@@@ | [8, 16) 1 |@ | @latency[16]: [1] 1 |@ | [2, 4) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@@ | @latency[11]: [0] 48 |@@@@@@@@@@@@@@@@ | [1] 0 | | [2, 4) 147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 59 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@ | @latency[2]: [0] 291 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 284 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 50 |@@@@@@@@ | [4, 8) 79 |@@@@@@@@@@@@@@ | [8, 16) 8 |@ | [16, 32) 0 | | [32, 64) 0 | | [64, 128) 0 | | [128, 256) 1 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 0 | | [16K, 32K) 0 | | [32K, 64K) 0 | | [64K, 128K) 1 | | [128K, 256K) 1 | | [256K, 512K) 1 | | @latency[14]: [1] 495 |@@@ | [2, 4) 8041 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 495 |@@@ | [8, 16) 9 | | @latency[6]: [1] 439 |@ | [2, 4) 20272 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1790 |@@@@ | [8, 16) 492 |@ | [16, 32) 108 | | [32, 64) 8 | | [Mon Jan 12 19:22:29 UTC 2026] respawn: 8: stopped pid 407 with status 0 [Mon Jan 12 19:22:29 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 19:22:30 UTC 2026] respawn: 9: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 451 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 455 root cwd DIR 9,3 4096 13773703 /data sys_write 455 root rtd DIR 0,80 4096 7236702 / sys_write 455 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 455 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 455 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 455 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 455 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 455 root 1w FIFO W 0,13 0t0 1846008648 pipe sys_write 455 root 2w FIFO W 0,13 0t0 1846008649 pipe sys_write 455 root 10r REG LG,CX 9,3 104 13773710 /data/bpftrace/sys_write_delay.sh maps output: 561c58099000-561c5809d000 r--p 00000000 09:03 28221037 /usr/bin/dash 561c5809d000-561c580b0000 r-xp 00004000 09:03 28221037 /usr/bin/dash 561c580b0000-561c580b6000 r--p 00017000 09:03 28221037 /usr/bin/dash 561c580b6000-561c580b8000 r--p 0001c000 09:03 28221037 /usr/bin/dash 561c580b8000-561c580b9000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 561c580b9000-561c580bb000 rw-p 00000000 00:00 0 561c8b092000-561c8b0b3000 rw-p 00000000 00:00 0 [heap] 7f17a3297000-7f17a329a000 rw-p 00000000 00:00 0 7f17a329a000-7f17a32c0000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f17a32c0000-7f17a3416000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f17a3416000-7f17a3469000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f17a3469000-7f17a346d000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f17a346d000-7f17a346f000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f17a346f000-7f17a347c000 rw-p 00000000 00:00 0 7f17a3489000-7f17a348b000 rw-p 00000000 00:00 0 7f17a348b000-7f17a348c000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f17a348c000-7f17a34b2000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f17a34b2000-7f17a34bc000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f17a34bc000-7f17a34be000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f17a34be000-7f17a34c0000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffc4a753000-7ffc4a774000 rw-p 00000000 00:00 0 [stack] 7ffc4a7b6000-7ffc4a7ba000 r--p 00000000 00:00 0 [vvar] 7ffc4a7ba000-7ffc4a7bc000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 4157456 detected long write(fd=2, count=137, ret=137): 676813 us PESPIN: write content: 20260112192315633 DABIS NOTICE A-bis co stack trace of write(): 0x7f81f943e340 @[ 0x7f81f943e340 ]: 1 @latency[26]: [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[25]: [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[24]: [4, 8) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[23]: [2, 4) 2 |@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[20]: [1] 1 |@ | [2, 4) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@ | @latency[18]: [1] 1 |@ | [2, 4) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@ | @latency[19]: [1] 1 |@ | [2, 4) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@@@@@@@@@ | [8, 16) 1 |@ | @latency[13]: [1] 1 |@ | [2, 4) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 8 |@@@@@@@@ | [8, 16) 2 |@@ | @latency[17]: [1] 1 | | [2, 4) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 12 |@@@@@@@@@ | [8, 16) 0 | | [16, 32) 1 | | @latency[16]: [1] 2 | | [2, 4) 134 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 42 |@@@@@@@@@@@@@@@@ | [8, 16) 2 | | @latency[5]: [2, 4) 123 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 63 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@ | [16, 32) 2 | | @latency[11]: [0] 117 |@@@@@@@@@@@@@@@@@@@@@@ | [1] 204 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 267 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 187 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 8 |@ | @latency[12]: [0] 174 |@@@@@@@@@@@@@@@@ | [1] 5 | | [2, 4) 533 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 69 |@@@@@@ | [8, 16) 8 | | [16, 32) 1 | | @latency[2]: [0] 1784 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 1013 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 156 |@@@@ | [4, 8) 323 |@@@@@@@@@ | [8, 16) 93 |@@ | [16, 32) 6 | | [32, 64) 3 | | [64, 128) 4 | | [128, 256) 4 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 0 | | [16K, 32K) 1 | | [32K, 64K) 0 | | [64K, 128K) 1 | | [128K, 256K) 1 | | [256K, 512K) 0 | | [512K, 1M) 1 | | @latency[15]: [1] 63 | | [2, 4) 4259 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 221 |@@ | [8, 16) 4 | | [16, 32) 2 | | @latency[14]: [1] 181 | | [2, 4) 23571 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4027 |@@@@@@@@ | [8, 16) 656 |@ | [16, 32) 11 | | @latency[6]: [1] 584 | | [2, 4) 73594 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 14903 |@@@@@@@@@@ | [8, 16) 3570 |@@ | [16, 32) 1455 |@ | [32, 64) 149 | | [64, 128) 3 | | [Mon Jan 12 19:23:21 UTC 2026] respawn: 9: stopped pid 455 with status 0 [Mon Jan 12 19:23:21 UTC 2026] respawn: sleeping 1 seconds... [Mon Jan 12 19:23:22 UTC 2026] respawn: 10: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 451 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end.