[Tue Jan 13 16:39:33 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 25 root cwd DIR 9,3 4096 13764116 /data sys_write 25 root rtd DIR 0,80 4096 15483395 / sys_write 25 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 25 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 25 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 25 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 25 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 25 root 1w FIFO W 0,13 0t0 1863040493 pipe sys_write 25 root 2w FIFO W 0,13 0t0 1863040494 pipe sys_write 25 root 10r REG LG,CX 9,3 104 13764131 /data/bpftrace/sys_write_delay.sh maps output: 55c9dd564000-55c9dd568000 r--p 00000000 09:03 28221037 /usr/bin/dash 55c9dd568000-55c9dd57b000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55c9dd57b000-55c9dd581000 r--p 00017000 09:03 28221037 /usr/bin/dash 55c9dd581000-55c9dd583000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55c9dd583000-55c9dd584000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55c9dd584000-55c9dd586000 rw-p 00000000 00:00 0 55c9f2fe3000-55c9f3004000 rw-p 00000000 00:00 0 [heap] 7fcd46f37000-7fcd46f3a000 rw-p 00000000 00:00 0 7fcd46f3a000-7fcd46f60000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fcd46f60000-7fcd470b6000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fcd470b6000-7fcd47109000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fcd47109000-7fcd4710d000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fcd4710d000-7fcd4710f000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fcd4710f000-7fcd4711c000 rw-p 00000000 00:00 0 7fcd47129000-7fcd4712b000 rw-p 00000000 00:00 0 7fcd4712b000-7fcd4712c000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fcd4712c000-7fcd47152000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fcd47152000-7fcd4715c000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fcd4715c000-7fcd4715e000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fcd4715e000-7fcd47160000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fffdb5ad000-7fffdb5ce000 rw-p 00000000 00:00 0 [stack] 7fffdb5d1000-7fffdb5d5000 r--p 00000000 00:00 0 [vvar] 7fffdb5d5000-7fffdb5d7000 r-xp 00000000 00:00 0 [vdso] @latency[21]: [0] 67 |@@@@@@@@@@@@@@@ | [1] 5 |@ | [2, 4) 226 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@ | @latency[19]: [1] 4 | | [2, 4) 447 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 182 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 35 |@@@@ | [16, 32) 2 | | @latency[13]: [1] 1 | | [2, 4) 537 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 161 |@@@@@@@@@@@@@@@ | [8, 16) 81 |@@@@@@@ | [16, 32) 55 |@@@@@ | [32, 64) 1 | | @latency[26]: [0] 53 |@@@@@ | [1] 36 |@@@ | [2, 4) 214 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 521 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 174 |@@@@@@@@@@@@@@@@@ | [16, 32) 467 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 4 | | @latency[25]: [0] 49 |@@@@ | [1] 34 |@@@ | [2, 4) 105 |@@@@@@@@@ | [4, 8) 589 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 171 |@@@@@@@@@@@@@@@ | [16, 32) 526 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 5 | | @latency[24]: [0] 40 |@@@ | [1] 34 |@@@ | [2, 4) 261 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 388 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 161 |@@@@@@@@@@@@@@@ | [16, 32) 540 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 101 |@@@@@@@@@ | [64, 128) 6 | | @latency[22]: [1] 19 | | [2, 4) 1002 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 235 |@@@@@@ | [8, 16) 352 |@@@@@@@@@@ | [16, 32) 1746 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 1337 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 73 |@@ | @latency[18]: [1] 58 |@ | [2, 4) 2396 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1190 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 124 |@@ | [32, 64) 2 | | @latency[20]: [1] 57 |@ | [2, 4) 2565 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1646 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1030 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 119 |@@ | [32, 64) 1 | | @latency[16]: [1] 43 | | [2, 4) 2303 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1701 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1236 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 150 |@@@ | [32, 64) 1 | | @latency[17]: [1] 5 | | [2, 4) 538 |@@@@ | [4, 8) 425 |@@@ | [8, 16) 6413 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 53 | | [32, 64) 8 | | @latency[23]: [0] 11 | | [1] 19 | | [2, 4) 259 |@@ | [4, 8) 611 |@@@@@ | [8, 16) 762 |@@@@@@@ | [16, 32) 2701 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 5379 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 381 |@@@ | @latency[11]: [0] 2268 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 711 |@@@@@@@@@ | [2, 4) 3734 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3002 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 940 |@@@@@@@@@@@@@ | [16, 32) 119 |@ | [32, 64) 14 | | @latency[28]: [0] 13 | | [1] 545 |@@@ | [2, 4) 939 |@@@@@ | [4, 8) 9044 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5547 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 393 |@@ | [32, 64) 15 | | [64, 128) 1 | | @latency[5]: [1] 5 | | [2, 4) 2745 |@@@@ | [4, 8) 2515 |@@@@ | [8, 16) 30395 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 25821 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 67 | | [64, 128) 1 | | @latency[12]: [0] 18843 |@@@@@@@@@@@@@@@@@@@@@@ | [1] 3292 |@@@ | [2, 4) 43630 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 22570 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6505 |@@@@@@@ | [16, 32) 1431 |@ | [32, 64) 149 | | [64, 128) 1 | | @latency[14]: [1] 83 | | [2, 4) 13494 |@@@@ | [4, 8) 12414 |@@@@ | [8, 16) 161176 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 17209 |@@@@@ | [32, 64) 268 | | [64, 128) 4 | | @latency[2]: [0] 56041 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 63315 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 32610 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 75282 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 15792 |@@@@@@@@@@ | [16, 32) 9402 |@@@@@@ | [32, 64) 1084 | | [64, 128) 38 | | [128, 256) 21 | | [256, 512) 21 | | [512, 1K) 5 | | [1K, 2K) 2 | | [2K, 4K) 4 | | [4K, 8K) 6 | | [8K, 16K) 4 | | @latency[15]: [1] 1678 | | [2, 4) 217874 |@@@ | [4, 8) 158438 |@@ | [8, 16) 3478059 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 174788 |@@ | [32, 64) 1885 | | [64, 128) 38 | | @latency[6]: [0] 7168 | | [1] 18784 | | [2, 4) 966082 |@@@@@@@@@ | [4, 8) 572688 |@@@@@ | [8, 16) 5240942 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4107629 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 34005 | | [64, 128) 50240 | | [128, 256) 161 | | [256, 512) 11 | | [Tue Jan 13 17:46:17 UTC 2026] respawn: 0: stopped pid 25 with status 0 [Tue Jan 13 17:46:17 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 17:46:19 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 19 root cwd DIR 9,3 4096 13764116 /data sys_write 19 root rtd DIR 0,62 4096 15483369 / sys_write 19 root txt REG 0,62 125640 28221037 /usr/bin/dash sys_write 19 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,62) sys_write 19 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,62) sys_write 19 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,62) sys_write 19 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 19 root 1w FIFO W 0,13 0t0 1863566424 pipe sys_write 19 root 2w FIFO W 0,13 0t0 1863566425 pipe sys_write 19 root 10r REG LG,CX 9,3 104 13764136 /data/bpftrace/sys_write_delay.sh maps output: 55da8d4dc000-55da8d4e0000 r--p 00000000 09:03 28221037 /usr/bin/dash 55da8d4e0000-55da8d4f3000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55da8d4f3000-55da8d4f9000 r--p 00017000 09:03 28221037 /usr/bin/dash 55da8d4f9000-55da8d4fb000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55da8d4fb000-55da8d4fc000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55da8d4fc000-55da8d4fe000 rw-p 00000000 00:00 0 55da95b54000-55da95b75000 rw-p 00000000 00:00 0 [heap] 7fb34ce98000-7fb34ce9b000 rw-p 00000000 00:00 0 7fb34ce9b000-7fb34cec1000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb34cec1000-7fb34d017000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb34d017000-7fb34d06a000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb34d06a000-7fb34d06e000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb34d06e000-7fb34d070000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb34d070000-7fb34d07d000 rw-p 00000000 00:00 0 7fb34d08a000-7fb34d08c000 rw-p 00000000 00:00 0 7fb34d08c000-7fb34d08d000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb34d08d000-7fb34d0b3000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb34d0b3000-7fb34d0bd000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb34d0bd000-7fb34d0bf000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb34d0bf000-7fb34d0c1000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff89e8d000-7fff89eae000 rw-p 00000000 00:00 0 [stack] 7fff89f29000-7fff89f2d000 r--p 00000000 00:00 0 [vvar] 7fff89f2d000-7fff89f2f000 r-xp 00000000 00:00 0 [vdso] @latency[21]: [2, 4) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[15]: [2, 4) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[17]: [2, 4) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 2 |@@@@@@@@@@@@@@ | @latency[19]: [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[13]: [2, 4) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 9 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 6 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 |@@@ | @latency[2]: [0] 499 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 149 |@@@@@@@@@@@@@@@ | [2, 4) 66 |@@@@@@ | [4, 8) 236 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 33 |@@@ | [16, 32) 25 |@@ | [32, 64) 16 |@ | [64, 128) 1 | | [128, 256) 0 | | [256, 512) 1 | | @latency[11]: [0] 648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 306 |@@@@@@@@@@@@@@@ | [2, 4) 1018 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 103 |@@@@@ | [8, 16) 84 |@@@@ | [16, 32) 60 |@@@ | [32, 64) 8 | | @latency[6]: [0] 279 |@ | [1] 1359 |@@@@@@ | [2, 4) 11409 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1226 |@@@@@ | [8, 16) 4871 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1011 |@@@@ | [32, 64) 50 | | [64, 128) 43 | | [128, 256) 1 | | [256, 512) 1 | | [Tue Jan 13 17:47:57 UTC 2026] respawn: 0: stopped pid 19 with status 0 [Tue Jan 13 17:47:57 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 17:47:59 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 8 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 24 root cwd DIR 9,3 4096 13764116 /data sys_write 24 root rtd DIR 0,80 4096 15483394 / sys_write 24 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 24 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 24 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 24 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 24 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 24 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 24 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 24 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 55568b123000-55568b127000 r--p 00000000 09:03 28221037 /usr/bin/dash 55568b127000-55568b13a000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55568b13a000-55568b140000 r--p 00017000 09:03 28221037 /usr/bin/dash 55568b140000-55568b142000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55568b142000-55568b143000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55568b143000-55568b145000 rw-p 00000000 00:00 0 5556a0d3e000-5556a0d5f000 rw-p 00000000 00:00 0 [heap] 7ffbf82bb000-7ffbf82be000 rw-p 00000000 00:00 0 7ffbf82be000-7ffbf82e4000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ffbf82e4000-7ffbf843a000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ffbf843a000-7ffbf848d000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ffbf848d000-7ffbf8491000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ffbf8491000-7ffbf8493000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ffbf8493000-7ffbf84a0000 rw-p 00000000 00:00 0 7ffbf84ad000-7ffbf84af000 rw-p 00000000 00:00 0 7ffbf84af000-7ffbf84b0000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffbf84b0000-7ffbf84d6000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffbf84d6000-7ffbf84e0000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffbf84e0000-7ffbf84e2000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffbf84e2000-7ffbf84e4000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff1e104000-7fff1e125000 rw-p 00000000 00:00 0 [stack] 7fff1e187000-7fff1e18b000 r--p 00000000 00:00 0 [vvar] 7fff1e18b000-7fff1e18d000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1385384 detected long write(fd=2, count=126, ret=126): 606672 us PESPIN: vfs_write delta=6 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113180344013 DTRX INFO[0 stack trace of write(): 0x7f8e807b3340 PESPIN: PID 1385384 detected long write(fd=2, count=132, ret=132): 832570 us PESPIN: vfs_write delta=0 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113180344764 DRSL INFO[0 stack trace of write(): 0x7f8e807b3340 PESPIN: PID 1385384 detected long write(fd=2, count=114, ret=114): 439842 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113180346187 DL1P NOTICE (bts=0,tr stack trace of write(): 0x7f8e807b3340 @[ 0x7f8e807b3340 ]: 3 @latency[13]: [2, 4) 94 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 36 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 33 |@@@@@@@@@@@@@@@@@@ | [16, 32) 22 |@@@@@@@@@@@@ | @latency[26]: [0] 3 |@ | [1] 2 | | [2, 4) 37 |@@@@@@@@@@@@@ | [4, 8) 118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 38 |@@@@@@@@@@@@@ | [16, 32) 144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 | | @latency[25]: [0] 3 | | [1] 2 | | [2, 4) 19 |@@@@@@ | [4, 8) 125 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 36 |@@@@@@@@@@@ | [16, 32) 157 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 2 | | @latency[24]: [0] 3 |@ | [1] 2 | | [2, 4) 48 |@@@@@@@@@@@@@@@@@ | [4, 8) 82 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 37 |@@@@@@@@@@@@@ | [16, 32) 146 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 28 |@@@@@@@@@ | [64, 128) 1 | | @latency[18]: [1] 11 |@ | [2, 4) 388 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 306 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 291 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 25 |@@@ | @latency[20]: [1] 12 |@ | [2, 4) 404 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 354 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 272 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 24 |@@@ | [32, 64) 2 | | @latency[16]: [1] 9 |@ | [2, 4) 391 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 324 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 358 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 28 |@@@ | [32, 64) 2 | | @latency[11]: [0] 360 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 50 |@@@@ | [2, 4) 544 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 608 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 95 |@@@@@@@@ | [16, 32) 21 |@ | [32, 64) 2 | | @latency[23]: [2, 4) 39 |@ | [4, 8) 97 |@@ | [8, 16) 209 |@@@@@ | [16, 32) 1976 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 1044 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 89 |@@ | @latency[19]: [2, 4) 210 |@@@ | [4, 8) 153 |@@ | [8, 16) 3176 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 57 | | @latency[22]: [1] 2 | | [2, 4) 319 |@@@@@@@@ | [4, 8) 577 |@@@@@@@@@@@@@@@ | [8, 16) 354 |@@@@@@@@@ | [16, 32) 1916 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 776 |@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 43 |@ | @latency[21]: [0] 31 | | [1] 2 | | [2, 4) 455 |@@@@ | [4, 8) 211 |@@ | [8, 16) 4872 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 52 | | [32, 64) 2 | | @latency[17]: [2, 4) 363 |@@ | [4, 8) 259 |@@ | [8, 16) 6298 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 67 | | [32, 64) 2 | | @latency[12]: [0] 3353 |@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 359 |@@ | [2, 4) 7232 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4198 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1319 |@@@@@@@@@ | [16, 32) 149 |@ | [32, 64) 29 | | @latency[5]: [1] 9 | | [2, 4) 2148 |@@@@@@@@@@@ | [4, 8) 794 |@@@@ | [8, 16) 6857 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 9370 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 37 | | @latency[14]: [1] 14 | | [2, 4) 2040 |@@@@@ | [4, 8) 2169 |@@@@@ | [8, 16) 20099 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1127 |@@ | [32, 64) 9 | | @latency[2]: [0] 9347 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 17384 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 9052 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 19138 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4771 |@@@@@@@@@@@@ | [16, 32) 2612 |@@@@@@@ | [32, 64) 286 | | [64, 128) 10 | | [128, 256) 11 | | [256, 512) 7 | | [512, 1K) 1 | | [1K, 2K) 2 | | [2K, 4K) 1 | | [4K, 8K) 2 | | [8K, 16K) 6 | | [16K, 32K) 5 | | [32K, 64K) 2 | | [64K, 128K) 4 | | [128K, 256K) 0 | | [256K, 512K) 2 | | [512K, 1M) 2 | | @latency[15]: [1] 505 | | [2, 4) 109021 |@@@@@@ | [4, 8) 51551 |@@ | [8, 16) 930109 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 40728 |@@ | [32, 64) 627 | | [64, 128) 16 | | [128, 256) 0 | | [256, 512) 1 | | @latency[6]: [0] 888 | | [1] 2943 | | [2, 4) 356604 |@@@@@@@@@@@@@ | [4, 8) 163031 |@@@@@@ | [8, 16) 1330119 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1003652 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 9879 | | [64, 128) 13138 | | [128, 256) 9 | | [256, 512) 2 | | [Tue Jan 13 18:03:47 UTC 2026] respawn: 0: stopped pid 24 with status 0 [Tue Jan 13 18:03:47 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:03:48 UTC 2026] respawn: 1: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p --unsafe osmo-bts-trx ERROR: pid '--unsafe' is not a valid decimal number lsof output: maps output: cat: /proc/70/maps: No such file or directory [Tue Jan 13 18:03:53 UTC 2026] respawn: 1: stopped pid 70 with status 1 [Tue Jan 13 18:03:53 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:03:54 UTC 2026] respawn: 2: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 80 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 99 root cwd DIR 9,3 4096 13764116 /data sys_write 99 root rtd DIR 0,80 4096 15483394 / sys_write 99 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 99 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 99 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 99 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 99 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 99 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 99 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 99 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 561af5c94000-561af5c98000 r--p 00000000 09:03 28221037 /usr/bin/dash 561af5c98000-561af5cab000 r-xp 00004000 09:03 28221037 /usr/bin/dash 561af5cab000-561af5cb1000 r--p 00017000 09:03 28221037 /usr/bin/dash 561af5cb1000-561af5cb3000 r--p 0001c000 09:03 28221037 /usr/bin/dash 561af5cb3000-561af5cb4000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 561af5cb4000-561af5cb6000 rw-p 00000000 00:00 0 561afa352000-561afa373000 rw-p 00000000 00:00 0 [heap] 7f5e4106c000-7f5e4106f000 rw-p 00000000 00:00 0 7f5e4106f000-7f5e41095000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5e41095000-7f5e411eb000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5e411eb000-7f5e4123e000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5e4123e000-7f5e41242000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5e41242000-7f5e41244000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5e41244000-7f5e41251000 rw-p 00000000 00:00 0 7f5e4125e000-7f5e41260000 rw-p 00000000 00:00 0 7f5e41260000-7f5e41261000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5e41261000-7f5e41287000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5e41287000-7f5e41291000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5e41291000-7f5e41293000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5e41293000-7f5e41295000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff43b4a000-7fff43b6b000 rw-p 00000000 00:00 0 [stack] 7fff43bd4000-7fff43bd8000 r--p 00000000 00:00 0 [vvar] 7fff43bd8000-7fff43bda000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1439800 detected long write(fd=2, count=126, ret=126): 691404 us PESPIN: vfs_write delta=6 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113180544062 DTRX INFO[0 stack trace of write(): 0x7f3e96d99340 PESPIN: PID 1439800 detected long write(fd=2, count=189, ret=189): 1400395 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113180603452 DL1P NOTICE 004140/03 stack trace of write(): 0x7f3e96d99340 PESPIN: PID 1439800 detected long write(fd=2, count=127, ret=127): 534440 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113180843489 DTRX INFO[0 stack trace of write(): 0x7f3e96d99340 @[ 0x7f3e96d99340 ]: 3 @latency[13]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[19]: [2, 4) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 16 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@ | @latency[24]: [1] 2 |@@ | [2, 4) 19 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 18 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@@@ | [32, 64) 9 |@@@@@@@@@@@ | @latency[17]: [2, 4) 46 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 17 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2 |@@ | @latency[26]: [0] 2 |@@ | [1] 2 |@@ | [2, 4) 22 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 17 |@@@@@@@@@@@@@@@@@@ | [16, 32) 15 |@@@@@@@@@@@@@@@ | @latency[25]: [1] 3 |@@ | [2, 4) 14 |@@@@@@@@@@@@@ | [4, 8) 56 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 17 |@@@@@@@@@@@@@@@ | [16, 32) 17 |@@@@@@@@@@@@@@@ | @latency[23]: [1] 2 |@ | [2, 4) 4 |@@@ | [4, 8) 26 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 24 |@@@@@@@@@@@@@@@@@@ | [16, 32) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 26 |@@@@@@@@@@@@@@@@@@@@ | @latency[22]: [2, 4) 11 |@@@@@@ | [4, 8) 19 |@@@@@@@@@@ | [8, 16) 59 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 91 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 57 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 10 |@@@@@ | @latency[20]: [1] 1 | | [2, 4) 210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 111 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 37 |@@@@@@@@@ | @latency[18]: [1] 3 | | [2, 4) 205 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 108 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 40 |@@@@@@@@@@ | [16, 32) 4 |@ | @latency[16]: [1] 1 | | [2, 4) 194 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 45 |@@@@@@@@@@@@ | [16, 32) 2 | | @latency[21]: [1] 17 |@@@@ | [2, 4) 131 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 59 |@@@@@@@@@@@@@@ | [8, 16) 210 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 3 | | @latency[5]: [1] 10 | | [2, 4) 1263 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 564 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1124 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 341 |@@@@@@@@@@@@@@ | [32, 64) 4 | | @latency[12]: [0] 733 |@@@@@@@@@@@@ | [1] 761 |@@@@@@@@@@@@ | [2, 4) 3097 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1522 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 535 |@@@@@@@@ | [16, 32) 157 |@@ | [32, 64) 76 |@ | [64, 128) 1 | | @latency[14]: [1] 25 | | [2, 4) 7630 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2729 |@@@@@@@@@@@ | [8, 16) 12243 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 694 |@@ | [32, 64) 8 | | [64, 128) 1 | | @latency[2]: [0] 12114 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 6811 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 4246 |@@@@@@@@@@@@@@@@@@ | [4, 8) 4749 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2105 |@@@@@@@@@ | [16, 32) 730 |@@@ | [32, 64) 70 | | [64, 128) 22 | | [128, 256) 14 | | [256, 512) 2 | | [512, 1K) 2 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 1 | | [8K, 16K) 3 | | [16K, 32K) 2 | | [32K, 64K) 9 | | [64K, 128K) 5 | | [128K, 256K) 2 | | [256K, 512K) 0 | | [512K, 1M) 2 | | [1M, 2M) 1 | | @latency[15]: [1] 2113 | | [2, 4) 145064 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 59915 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 98250 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 15407 |@@@@@ | [32, 64) 204 | | [64, 128) 9 | | [128, 256) 1 | | [256, 512) 1 | | @latency[6]: [0] 8371 |@ | [1] 1989 | | [2, 4) 362621 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 183373 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 234324 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 108697 |@@@@@@@@@@@@@@@ | [32, 64) 5936 | | [64, 128) 342 | | [128, 256) 7 | | [256, 512) 1 | | [Tue Jan 13 18:08:44 UTC 2026] respawn: 2: stopped pid 99 with status 0 [Tue Jan 13 18:08:44 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:08:45 UTC 2026] respawn: 3: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 142 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 146 root cwd DIR 9,3 4096 13764116 /data sys_write 146 root rtd DIR 0,80 4096 15483394 / sys_write 146 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 146 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 146 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 146 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 146 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 146 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 146 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 146 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 557fbdcc4000-557fbdcc8000 r--p 00000000 09:03 28221037 /usr/bin/dash 557fbdcc8000-557fbdcdb000 r-xp 00004000 09:03 28221037 /usr/bin/dash 557fbdcdb000-557fbdce1000 r--p 00017000 09:03 28221037 /usr/bin/dash 557fbdce1000-557fbdce3000 r--p 0001c000 09:03 28221037 /usr/bin/dash 557fbdce3000-557fbdce4000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 557fbdce4000-557fbdce6000 rw-p 00000000 00:00 0 557fc720d000-557fc722e000 rw-p 00000000 00:00 0 [heap] 7fe8a21b9000-7fe8a21bc000 rw-p 00000000 00:00 0 7fe8a21bc000-7fe8a21e2000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fe8a21e2000-7fe8a2338000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fe8a2338000-7fe8a238b000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fe8a238b000-7fe8a238f000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fe8a238f000-7fe8a2391000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fe8a2391000-7fe8a239e000 rw-p 00000000 00:00 0 7fe8a23ab000-7fe8a23ad000 rw-p 00000000 00:00 0 7fe8a23ad000-7fe8a23ae000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fe8a23ae000-7fe8a23d4000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fe8a23d4000-7fe8a23de000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fe8a23de000-7fe8a23e0000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fe8a23e0000-7fe8a23e2000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffc98ee6000-7ffc98f07000 rw-p 00000000 00:00 0 [stack] 7ffc98f6f000-7ffc98f73000 r--p 00000000 00:00 0 [vvar] 7ffc98f73000-7ffc98f75000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1613841 detected long write(fd=2, count=136, ret=136): 502130 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113181024774 DABIS NOTICE A-bis co stack trace of write(): 0x7f9ef2e03340 PESPIN: PID 1613841 detected long write(fd=2, count=120, ret=120): 548499 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113181126150 DRSL INFO[0 stack trace of write(): 0x7f9ef2e03340 @[ 0x7f9ef2e03340 ]: 2 @latency[17]: [2, 4) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@ | @latency[19]: [2, 4) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | @latency[13]: [2, 4) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@ | @latency[26]: [1] 3 |@@@ | [2, 4) 16 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@ | [16, 32) 2 |@@ | @latency[25]: [2, 4) 7 |@@@@@@@ | [4, 8) 52 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4 |@@@@ | [16, 32) 2 |@@ | @latency[24]: [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@@@@ | [16, 32) 1 |@ | [32, 64) 1 |@ | @latency[22]: [2, 4) 8 |@@@@@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 15 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 8 |@@@@@@@@@@@ | @latency[23]: [0] 2 |@ | [1] 0 | | [2, 4) 13 |@@@@@@@@@ | [4, 8) 22 |@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@@@@@@@@ | [16, 32) 69 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 6 |@@@@ | [64, 128) 1 | | @latency[11]: [1] 14 |@@@@@@@@@ | [2, 4) 77 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 75 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 33 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 |@@ | @latency[16]: [1] 1 | | [2, 4) 236 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 61 |@@@@@@@@@@@@@ | [8, 16) 5 |@ | [16, 32) 2 | | @latency[18]: [2, 4) 242 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 55 |@@@@@@@@@@@ | [8, 16) 7 |@ | [16, 32) 1 | | @latency[20]: [2, 4) 248 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 51 |@@@@@@@@@@ | [8, 16) 6 |@ | @latency[14]: [1] 1 | | [2, 4) 229 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 99 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 30 |@@@@@@ | [16, 32) 2 | | @latency[5]: [2, 4) 244 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 389 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 32 |@@@@ | [16, 32) 13 |@ | @latency[28]: [0] 15 | | [1] 159 |@@@ | [2, 4) 540 |@@@@@@@@@@@@ | [4, 8) 2171 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 535 |@@@@@@@@@@@@ | [16, 32) 7 | | [32, 64) 1 | | @latency[12]: [0] 1304 |@@@@@@@@@@@@@@@@@@@@@@ | [1] 212 |@@@ | [2, 4) 3040 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 811 |@@@@@@@@@@@@@ | [8, 16) 236 |@@@@ | [16, 32) 31 | | [32, 64) 1 | | @latency[2]: [0] 4045 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 4953 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 937 |@@@@@@@@@ | [4, 8) 965 |@@@@@@@@@@ | [8, 16) 563 |@@@@@ | [16, 32) 37 | | [32, 64) 17 | | [64, 128) 2 | | [128, 256) 5 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 1 | | [8K, 16K) 0 | | [16K, 32K) 3 | | [32K, 64K) 1 | | [64K, 128K) 1 | | [128K, 256K) 4 | | [256K, 512K) 1 | | [512K, 1M) 1 | | @latency[15]: [1] 765 | | [2, 4) 132351 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 31244 |@@@@@@@@@@@@ | [8, 16) 13353 |@@@@@ | [16, 32) 287 | | [32, 64) 8 | | [64, 128) 1 | | @latency[6]: [0] 93 | | [1] 1549 | | [2, 4) 290652 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 126356 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 29618 |@@@@@ | [16, 32) 14183 |@@ | [32, 64) 5481 | | [64, 128) 89 | | [128, 256) 1 | | [Tue Jan 13 18:11:51 UTC 2026] respawn: 3: stopped pid 146 with status 0 [Tue Jan 13 18:11:51 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:11:52 UTC 2026] respawn: 4: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 192 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 209 root cwd DIR 9,3 4096 13764116 /data sys_write 209 root rtd DIR 0,80 4096 15483394 / sys_write 209 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 209 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 209 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 209 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 209 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 209 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 209 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 209 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 55ff5938c000-55ff59390000 r--p 00000000 09:03 28221037 /usr/bin/dash 55ff59390000-55ff593a3000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55ff593a3000-55ff593a9000 r--p 00017000 09:03 28221037 /usr/bin/dash 55ff593a9000-55ff593ab000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55ff593ab000-55ff593ac000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55ff593ac000-55ff593ae000 rw-p 00000000 00:00 0 55ff97292000-55ff972b3000 rw-p 00000000 00:00 0 [heap] 7f6d33c49000-7f6d33c4c000 rw-p 00000000 00:00 0 7f6d33c4c000-7f6d33c72000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d33c72000-7f6d33dc8000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d33dc8000-7f6d33e1b000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d33e1b000-7f6d33e1f000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d33e1f000-7f6d33e21000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d33e21000-7f6d33e2e000 rw-p 00000000 00:00 0 7f6d33e3b000-7f6d33e3d000 rw-p 00000000 00:00 0 7f6d33e3d000-7f6d33e3e000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d33e3e000-7f6d33e64000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d33e64000-7f6d33e6e000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d33e6e000-7f6d33e70000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d33e70000-7f6d33e72000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffc727b4000-7ffc727d5000 rw-p 00000000 00:00 0 [stack] 7ffc727d8000-7ffc727dc000 r--p 00000000 00:00 0 [vvar] 7ffc727dc000-7ffc727de000 r-xp 00000000 00:00 0 [vdso] @latency[19]: [2, 4) 1 |@@@ | [4, 8) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[17]: [2, 4) 3 |@@@@@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[13]: [2, 4) 5 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3 |@@@@@@@@@@@@@@ | @latency[23]: [2, 4) 2 |@@@@@@@@@@@@@ | [4, 8) 3 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 1 |@@@@@@ | [16, 32) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 1 |@@@@@@ | @latency[26]: [1] 2 |@@@@@@@ | [2, 4) 5 |@@@@@@@@@@@@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@@@@ | @latency[25]: [2, 4) 3 |@@@@@@@@ | [4, 8) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@@ | @latency[24]: [2, 4) 5 |@@@@@@@@@@@@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@@@@ | [16, 32) 2 |@@@@@@@ | @latency[22]: [2, 4) 2 |@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 5 |@@@@@@@@@@@@@@@@@@@@@@@ | @latency[5]: [2, 4) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 10 |@@@@@@@@@@ | [16, 32) 14 |@@@@@@@@@@@@@@ | @latency[16]: [2, 4) 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 58 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@@ | [16, 32) 1 | | @latency[18]: [2, 4) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@ | [16, 32) 1 | | @latency[20]: [2, 4) 51 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 58 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 6 |@@@@@ | [16, 32) 1 | | @latency[11]: [0] 27 |@@@@@@@@@ | [1] 1 | | [2, 4) 29 |@@@@@@@@@@ | [4, 8) 147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1 | | @latency[28]: [0] 1 | | [1] 43 |@@@ | [2, 4) 199 |@@@@@@@@@@@@@@ | [4, 8) 719 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 242 |@@@@@@@@@@@@@@@@@ | [16, 32) 42 |@@@ | @latency[12]: [0] 90 |@@@@@ | [1] 397 |@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 854 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 605 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 74 |@@@@ | [16, 32) 21 |@ | [32, 64) 2 | | [64, 128) 1 | | @latency[14]: [2, 4) 2487 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 869 |@@@@@@@@@@@@@@@@@@ | [8, 16) 87 |@ | [16, 32) 6 | | @latency[2]: [0] 607 |@@@@@@@@@@@@ | [1] 2464 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 262 |@@@@@ | [4, 8) 317 |@@@@@@ | [8, 16) 95 |@@ | [16, 32) 29 | | [32, 64) 8 | | [64, 128) 2 | | [128, 256) 0 | | [256, 512) 1 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 1 | | [16K, 32K) 1 | | [32K, 64K) 0 | | [64K, 128K) 2 | | [128K, 256K) 3 | | @latency[15]: [1] 56 | | [2, 4) 18061 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 14910 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 7225 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1646 |@@@@ | [32, 64) 31 | | @latency[6]: [1] 18 | | [2, 4) 27947 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 36329 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 9976 |@@@@@@@@@@@@@@ | [16, 32) 6036 |@@@@@@@@ | [32, 64) 515 | | [64, 128) 594 | | [128, 256) 1 | | [Tue Jan 13 18:12:51 UTC 2026] respawn: 4: stopped pid 209 with status 0 [Tue Jan 13 18:12:51 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:12:52 UTC 2026] respawn: 5: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 242 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 252 root cwd DIR 9,3 4096 13764116 /data sys_write 252 root rtd DIR 0,80 4096 15483394 / sys_write 252 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 252 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 252 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 252 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 252 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 252 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 252 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 252 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 555abf85f000-555abf863000 r--p 00000000 09:03 28221037 /usr/bin/dash 555abf863000-555abf876000 r-xp 00004000 09:03 28221037 /usr/bin/dash 555abf876000-555abf87c000 r--p 00017000 09:03 28221037 /usr/bin/dash 555abf87c000-555abf87e000 r--p 0001c000 09:03 28221037 /usr/bin/dash 555abf87e000-555abf87f000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 555abf87f000-555abf881000 rw-p 00000000 00:00 0 555aeb693000-555aeb6b4000 rw-p 00000000 00:00 0 [heap] 7f96016f2000-7f96016f5000 rw-p 00000000 00:00 0 7f96016f5000-7f960171b000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f960171b000-7f9601871000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9601871000-7f96018c4000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f96018c4000-7f96018c8000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f96018c8000-7f96018ca000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f96018ca000-7f96018d7000 rw-p 00000000 00:00 0 7f96018e4000-7f96018e6000 rw-p 00000000 00:00 0 7f96018e6000-7f96018e7000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f96018e7000-7f960190d000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f960190d000-7f9601917000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9601917000-7f9601919000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9601919000-7f960191b000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fff9a10b000-7fff9a12c000 rw-p 00000000 00:00 0 [stack] 7fff9a14d000-7fff9a151000 r--p 00000000 00:00 0 [vvar] 7fff9a151000-7fff9a153000 r-xp 00000000 00:00 0 [vdso] @latency[17]: [2, 4) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@@@ | @latency[13]: [2, 4) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@ | [8, 16) 1 |@@@ | @latency[19]: [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@ | [8, 16) 1 |@@ | [16, 32) 1 |@@ | @latency[26]: [0] 2 |@@ | [1] 0 | | [2, 4) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 36 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 11 |@@@@@@@@@@@@@@@ | [16, 32) 2 |@@ | @latency[25]: [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 44 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 7 |@@@@@@@@ | [16, 32) 6 |@@@@@@@ | [32, 64) 1 |@ | @latency[24]: [2, 4) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 45 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 6 |@@@@@@ | [16, 32) 8 |@@@@@@@@@ | @latency[23]: [2, 4) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@@@@@@@@ | [16, 32) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 6 |@@@@@@@@@ | [64, 128) 4 |@@@@@@ | @latency[22]: [2, 4) 21 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 12 |@@@@@@@@@@@@ | [16, 32) 49 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 12 |@@@@@@@@@@@@ | @latency[11]: [0] 12 |@@@ | [1] 0 | | [2, 4) 185 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@ | [8, 16) 1 | | @latency[16]: [1] 7 |@ | [2, 4) 357 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 77 |@@@@@@@@@@@ | [8, 16) 39 |@@@@@ | [16, 32) 6 | | @latency[18]: [1] 9 |@ | [2, 4) 363 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 75 |@@@@@@@@@@ | [8, 16) 33 |@@@@ | [16, 32) 6 | | @latency[20]: [1] 12 |@ | [2, 4) 386 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 49 |@@@@@@ | [8, 16) 32 |@@@@ | [16, 32) 6 | | [32, 64) 1 | | @latency[14]: [1] 7 |@ | [2, 4) 362 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 131 |@@@@@@@@@@@@@@@@@@ | [8, 16) 57 |@@@@@@@@ | [16, 32) 29 |@@@@ | @latency[5]: [1] 3 | | [2, 4) 897 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 301 |@@@@@@@@@@@@@@@@ | [8, 16) 933 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 318 |@@@@@@@@@@@@@@@@@ | [32, 64) 2 | | @latency[12]: [0] 1361 |@@@@@@@@@@@@@ | [1] 571 |@@@@@ | [2, 4) 5339 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1130 |@@@@@@@@@@@ | [8, 16) 249 |@@ | [16, 32) 42 | | [32, 64) 15 | | @latency[28]: [0] 12 | | [1] 1360 |@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2511 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 3030 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2070 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 95 |@ | [32, 64) 3 | | @latency[2]: [0] 5592 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 6530 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 1521 |@@@@@@@@@@@@ | [4, 8) 2106 |@@@@@@@@@@@@@@@@ | [8, 16) 726 |@@@@@ | [16, 32) 278 |@@ | [32, 64) 39 | | [64, 128) 25 | | [128, 256) 12 | | [256, 512) 4 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 1 | | [8K, 16K) 0 | | [16K, 32K) 1 | | [32K, 64K) 4 | | [64K, 128K) 2 | | [128K, 256K) 1 | | [256K, 512K) 1 | | @latency[15]: [1] 440 | | [2, 4) 91716 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 20271 |@@@@@@@@@@@ | [8, 16) 48681 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4240 |@@ | [32, 64) 75 | | [64, 128) 9 | | [128, 256) 1 | | @latency[6]: [0] 6 | | [1] 2533 | | [2, 4) 222542 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 50236 |@@@@@@@@@@@ | [8, 16) 101628 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 44401 |@@@@@@@@@@ | [32, 64) 2396 | | [64, 128) 511 | | [128, 256) 1 | | [Tue Jan 13 18:16:33 UTC 2026] respawn: 5: stopped pid 252 with status 0 [Tue Jan 13 18:16:33 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:16:34 UTC 2026] respawn: 6: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 292 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 296 root cwd DIR 9,3 4096 13764116 /data sys_write 296 root rtd DIR 0,80 4096 15483394 / sys_write 296 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 296 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 296 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 296 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 296 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 296 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 296 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 296 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 55f3ac9e4000-55f3ac9e8000 r--p 00000000 09:03 28221037 /usr/bin/dash 55f3ac9e8000-55f3ac9fb000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55f3ac9fb000-55f3aca01000 r--p 00017000 09:03 28221037 /usr/bin/dash 55f3aca01000-55f3aca03000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55f3aca03000-55f3aca04000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55f3aca04000-55f3aca06000 rw-p 00000000 00:00 0 55f3e005f000-55f3e0080000 rw-p 00000000 00:00 0 [heap] 7f5c70e9a000-7f5c70e9d000 rw-p 00000000 00:00 0 7f5c70e9d000-7f5c70ec3000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5c70ec3000-7f5c71019000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5c71019000-7f5c7106c000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5c7106c000-7f5c71070000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5c71070000-7f5c71072000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f5c71072000-7f5c7107f000 rw-p 00000000 00:00 0 7f5c7108c000-7f5c7108e000 rw-p 00000000 00:00 0 7f5c7108e000-7f5c7108f000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5c7108f000-7f5c710b5000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5c710b5000-7f5c710bf000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5c710bf000-7f5c710c1000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f5c710c1000-7f5c710c3000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fffe2fb9000-7fffe2fda000 rw-p 00000000 00:00 0 [stack] 7fffe2fdc000-7fffe2fe0000 r--p 00000000 00:00 0 [vvar] 7fffe2fe0000-7fffe2fe2000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 2030801 detected long write(fd=2, count=114, ret=114): 409772 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113182010184 DL1P NOTICE (bts=0,tr stack trace of write(): 0x7f95853c6340 PESPIN: PID 2030801 detected long write(fd=2, count=127, ret=127): 569404 us PESPIN: vfs_write delta=0 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113182212009 DTRX INFO[0 stack trace of write(): 0x7f95853c6340 @[ 0x7f95853c6340 ]: 2 @latency[13]: [2, 4) 18 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 0 | | [8, 16) 1 |@@ | @latency[26]: [0] 3 |@@ | [1] 2 |@ | [2, 4) 7 |@@@@@ | [4, 8) 72 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@ | [16, 32) 6 |@@@@ | @latency[25]: [0] 6 |@@@@ | [1] 4 |@@ | [2, 4) 15 |@@@@@@@@@@ | [4, 8) 78 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 20 |@@@@@@@@@@@@@ | [16, 32) 4 |@@ | @latency[24]: [0] 4 |@@ | [1] 4 |@@ | [2, 4) 18 |@@@@@@@@@@@ | [4, 8) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 19 |@@@@@@@@@@@ | [16, 32) 8 |@@@@ | @latency[11]: [0] 15 |@@@@ | [1] 0 | | [2, 4) 183 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 | | [8, 16) 1 | | @latency[23]: [0] 5 |@@@ | [1] 3 |@@ | [2, 4) 23 |@@@@@@@@@@@@@@@ | [4, 8) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 60 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 9 |@@@@@@ | @latency[22]: [0] 2 | | [1] 3 | | [2, 4) 27 |@@@@@@ | [4, 8) 79 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 113 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 213 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 100 |@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 25 |@@@@@@ | @latency[19]: [1] 6 |@ | [2, 4) 247 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 139 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 164 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 24 |@@@@@ | [32, 64) 1 | | @latency[17]: [1] 4 | | [2, 4) 266 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 169 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 177 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 15 |@@ | [32, 64) 2 | | @latency[16]: [1] 3 | | [2, 4) 402 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 257 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 52 |@@@@@@ | [16, 32) 14 |@ | [32, 64) 1 | | @latency[18]: [1] 5 | | [2, 4) 381 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 289 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 41 |@@@@@ | [16, 32) 13 |@ | @latency[20]: [1] 7 | | [2, 4) 428 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 233 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 45 |@@@@@ | [16, 32) 16 |@ | @latency[14]: [1] 1 | | [2, 4) 408 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 421 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 149 |@@@@@@@@@@@@@@@@@@ | [16, 32) 64 |@@@@@@@ | [32, 64) 6 | | @latency[21]: [2, 4) 479 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 346 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 223 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 28 |@@@ | [32, 64) 1 | | @latency[28]: [0] 4 | | [1] 188 |@@@@@@@@@@@@@@@@ | [2, 4) 588 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 494 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 386 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 67 |@@@@@ | [32, 64) 1 | | @latency[5]: [1] 4 | | [2, 4) 1091 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 759 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 612 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 232 |@@@@@@@@@@@ | @latency[12]: [0] 1731 |@@@@@@@@@@@@ | [1] 1018 |@@@@@@@ | [2, 4) 7037 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3347 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 587 |@@@@ | [16, 32) 124 | | [32, 64) 20 | | [64, 128) 1 | | @latency[2]: [0] 7471 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 11280 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 3036 |@@@@@@@@@@@@@ | [4, 8) 2883 |@@@@@@@@@@@@@ | [8, 16) 744 |@@@ | [16, 32) 367 |@ | [32, 64) 72 | | [64, 128) 13 | | [128, 256) 11 | | [256, 512) 1 | | [512, 1K) 1 | | [1K, 2K) 1 | | [2K, 4K) 0 | | [4K, 8K) 1 | | [8K, 16K) 1 | | [16K, 32K) 1 | | [32K, 64K) 5 | | [64K, 128K) 4 | | [128K, 256K) 3 | | [256K, 512K) 1 | | [512K, 1M) 1 | | @latency[15]: [1] 1072 | | [2, 4) 128043 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 49283 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 56102 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6967 |@@ | [32, 64) 90 | | [64, 128) 3 | | @latency[6]: [0] 222 | | [1] 1600 | | [2, 4) 292074 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 169982 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 129319 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 41448 |@@@@@@@ | [32, 64) 3226 | | [64, 128) 972 | | [128, 256) 2 | | [Tue Jan 13 18:22:13 UTC 2026] respawn: 6: stopped pid 296 with status 0 [Tue Jan 13 18:22:13 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:22:14 UTC 2026] respawn: 7: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 342 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 359 root cwd DIR 9,3 4096 13764116 /data sys_write 359 root rtd DIR 0,80 4096 15483394 / sys_write 359 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 359 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 359 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 359 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 359 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 359 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 359 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 359 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 55b5b0600000-55b5b0604000 r--p 00000000 09:03 28221037 /usr/bin/dash 55b5b0604000-55b5b0617000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55b5b0617000-55b5b061d000 r--p 00017000 09:03 28221037 /usr/bin/dash 55b5b061d000-55b5b061f000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55b5b061f000-55b5b0620000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55b5b0620000-55b5b0622000 rw-p 00000000 00:00 0 55b5c26ef000-55b5c2710000 rw-p 00000000 00:00 0 [heap] 7ff515b79000-7ff515b7c000 rw-p 00000000 00:00 0 7ff515b7c000-7ff515ba2000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff515ba2000-7ff515cf8000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff515cf8000-7ff515d4b000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff515d4b000-7ff515d4f000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff515d4f000-7ff515d51000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7ff515d51000-7ff515d5e000 rw-p 00000000 00:00 0 7ff515d6b000-7ff515d6d000 rw-p 00000000 00:00 0 7ff515d6d000-7ff515d6e000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff515d6e000-7ff515d94000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff515d94000-7ff515d9e000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff515d9e000-7ff515da0000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ff515da0000-7ff515da2000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffdd5a71000-7ffdd5a92000 rw-p 00000000 00:00 0 [stack] 7ffdd5bf6000-7ffdd5bfa000 r--p 00000000 00:00 0 [vvar] 7ffdd5bfa000-7ffdd5bfc000 r-xp 00000000 00:00 0 [vdso] @latency[22]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[13]: [2, 4) 48 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@ | [8, 16) 6 |@@@@@@ | [16, 32) 1 |@ | @latency[26]: [0] 5 |@@@@@@@@@@ | [1] 4 |@@@@@@@@ | [2, 4) 25 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 20 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@ | [16, 32) 3 |@@@@@@ | @latency[25]: [0] 4 |@@@@@ | [1] 4 |@@@@@ | [2, 4) 10 |@@@@@@@@@@@@@ | [4, 8) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@@@@@ | [16, 32) 4 |@@@@@ | @latency[24]: [0] 4 |@@@@@ | [1] 4 |@@@@@ | [2, 4) 12 |@@@@@@@@@@@@@@@@ | [4, 8) 38 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3 |@@@@ | [16, 32) 5 |@@@@@@ | @latency[19]: [2, 4) 188 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 31 |@@@@@@@@ | [8, 16) 67 |@@@@@@@@@@@@@@@@@@ | [16, 32) 5 |@ | @latency[17]: [2, 4) 219 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 39 |@@@@@@@@@ | [8, 16) 67 |@@@@@@@@@@@@@@@ | [16, 32) 6 |@ | @latency[16]: [1] 3 | | [2, 4) 304 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 34 |@@@@@ | [8, 16) 38 |@@@@@@ | [16, 32) 6 |@ | @latency[18]: [1] 2 | | [2, 4) 302 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 49 |@@@@@@@@ | [8, 16) 27 |@@@@ | [16, 32) 5 | | @latency[20]: [1] 7 |@ | [2, 4) 308 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 41 |@@@@@@ | [8, 16) 23 |@@@ | [16, 32) 4 | | [32, 64) 2 | | @latency[23]: [0] 4 |@ | [1] 1 | | [2, 4) 27 |@@@@@@@@@@ | [4, 8) 63 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 120 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 93 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 12 |@@@@ | @latency[21]: [2, 4) 288 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 73 |@@@@@@@@@@@@@ | [8, 16) 169 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 6 |@ | [32, 64) 1 | | [64, 128) 1 | | @latency[11]: [0] 83 |@@@@@@@ | [1] 113 |@@@@@@@@@@ | [2, 4) 560 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 64 |@@@@@ | [8, 16) 14 |@ | [16, 32) 5 | | @latency[5]: [1] 1 | | [2, 4) 702 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 159 |@@@@@@@@@@@ | [8, 16) 177 |@@@@@@@@@@@@@ | [16, 32) 247 |@@@@@@@@@@@@@@@@@@ | [32, 64) 4 | | @latency[12]: [0] 1789 |@@@@@@@@@@@@@@@@@@@@@@ | [1] 181 |@@ | [2, 4) 4197 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 567 |@@@@@@@ | [8, 16) 189 |@@ | [16, 32) 59 | | [32, 64) 17 | | [64, 128) 2 | | @latency[2]: [0] 6604 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 5236 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1669 |@@@@@@@@@@@@@ | [4, 8) 2062 |@@@@@@@@@@@@@@@@ | [8, 16) 380 |@@ | [16, 32) 389 |@@@ | [32, 64) 53 | | [64, 128) 8 | | [128, 256) 7 | | [256, 512) 2 | | [512, 1K) 1 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 1 | | [8K, 16K) 3 | | [16K, 32K) 3 | | [32K, 64K) 4 | | [64K, 128K) 3 | | [128K, 256K) 2 | | @latency[14]: [1] 108 | | [2, 4) 36462 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6050 |@@@@@@@@ | [8, 16) 14510 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 2480 |@@@ | [32, 64) 51 | | [64, 128) 4 | | @latency[15]: [1] 383 | | [2, 4) 60626 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 12445 |@@@@@@@@@@ | [8, 16) 28336 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3162 |@@ | [32, 64) 65 | | [64, 128) 9 | | @latency[6]: [0] 574 | | [1] 2277 | | [2, 4) 228115 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 40180 |@@@@@@@@@ | [8, 16) 69706 |@@@@@@@@@@@@@@@ | [16, 32) 33410 |@@@@@@@ | [32, 64) 2164 | | [64, 128) 2145 | | [128, 256) 3 | | [Tue Jan 13 18:25:44 UTC 2026] respawn: 7: stopped pid 359 with status 0 [Tue Jan 13 18:25:44 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:25:45 UTC 2026] respawn: 8: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 392 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 396 root cwd DIR 9,3 4096 13764116 /data sys_write 396 root rtd DIR 0,80 4096 15483394 / sys_write 396 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 396 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 396 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 396 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 396 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 396 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 396 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 396 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 56052174e000-560521752000 r--p 00000000 09:03 28221037 /usr/bin/dash 560521752000-560521765000 r-xp 00004000 09:03 28221037 /usr/bin/dash 560521765000-56052176b000 r--p 00017000 09:03 28221037 /usr/bin/dash 56052176b000-56052176d000 r--p 0001c000 09:03 28221037 /usr/bin/dash 56052176d000-56052176e000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 56052176e000-560521770000 rw-p 00000000 00:00 0 560557bf4000-560557c15000 rw-p 00000000 00:00 0 [heap] 7f42e7e7a000-7f42e7e7d000 rw-p 00000000 00:00 0 7f42e7e7d000-7f42e7ea3000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f42e7ea3000-7f42e7ff9000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f42e7ff9000-7f42e804c000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f42e804c000-7f42e8050000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f42e8050000-7f42e8052000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f42e8052000-7f42e805f000 rw-p 00000000 00:00 0 7f42e806c000-7f42e806e000 rw-p 00000000 00:00 0 7f42e806e000-7f42e806f000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f42e806f000-7f42e8095000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f42e8095000-7f42e809f000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f42e809f000-7f42e80a1000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f42e80a1000-7f42e80a3000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffdbec3b000-7ffdbec5c000 rw-p 00000000 00:00 0 [stack] 7ffdbed9b000-7ffdbed9f000 r--p 00000000 00:00 0 [vvar] 7ffdbed9f000-7ffdbeda1000 r-xp 00000000 00:00 0 [vdso] @latency[26]: [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[25]: [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[24]: [2, 4) 4 |@@@@@@@@@@@@@@@@@ | [4, 8) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[23]: [2, 4) 2 |@@@@@@@ | [4, 8) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[13]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | [8, 16) 2 |@@@@@@ | [16, 32) 1 |@@@ | @latency[16]: [2, 4) 46 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 0 | | [8, 16) 0 | | [16, 32) 1 |@ | @latency[20]: [2, 4) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@ | @latency[18]: [1] 1 |@ | [2, 4) 46 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[22]: [4, 8) 10 |@@@@@@ | [8, 16) 26 |@@@@@@@@@@@@@@@@ | [16, 32) 82 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 1 | | [64, 128) 1 | | @latency[11]: [0] 4 |@ | [1] 0 | | [2, 4) 138 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 57 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 8 |@@@ | [16, 32) 4 |@ | @latency[19]: [2, 4) 304 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 12 |@@ | [8, 16) 24 |@@@@ | [16, 32) 2 | | @latency[17]: [2, 4) 314 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 23 |@@@ | [8, 16) 18 |@@ | @latency[21]: [2, 4) 326 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 23 |@@@ | [8, 16) 16 |@@ | [16, 32) 1 | | @latency[12]: [0] 237 |@@@@@@@@@@@@@@@@@@@@ | [1] 9 | | [2, 4) 588 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 40 |@@@ | [8, 16) 1 | | [16, 32) 2 | | @latency[5]: [1] 1 | | [2, 4) 1195 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 119 |@@@@@ | [8, 16) 26 |@ | [16, 32) 17 | | @latency[2]: [0] 2526 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 1091 |@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 437 |@@@@@@@@ | [4, 8) 844 |@@@@@@@@@@@@@@@@@ | [8, 16) 235 |@@@@ | [16, 32) 89 |@ | [32, 64) 10 | | [64, 128) 5 | | [128, 256) 3 | | [256, 512) 1 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 1 | | [8K, 16K) 4 | | [16K, 32K) 3 | | [32K, 64K) 1 | | [64K, 128K) 2 | | [128K, 256K) 3 | | [256K, 512K) 1 | | @latency[15]: [1] 170 | | [2, 4) 51058 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1510 |@ | [8, 16) 1212 |@ | [16, 32) 191 | | [32, 64) 4 | | @latency[14]: [1] 386 | | [2, 4) 72888 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 8882 |@@@@@@ | [8, 16) 7145 |@@@@@ | [16, 32) 1007 | | [32, 64) 14 | | @latency[6]: [1] 642 | | [2, 4) 207847 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 20024 |@@@@@ | [8, 16) 13147 |@@@ | [16, 32) 5715 |@ | [32, 64) 1744 | | [64, 128) 565 | | [Tue Jan 13 18:27:25 UTC 2026] respawn: 8: stopped pid 396 with status 0 [Tue Jan 13 18:27:25 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:27:26 UTC 2026] respawn: 9: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 442 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 459 root cwd DIR 9,3 4096 13764116 /data sys_write 459 root rtd DIR 0,80 4096 15483394 / sys_write 459 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 459 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 459 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 459 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 459 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 459 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 459 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 459 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 561ec5dde000-561ec5de2000 r--p 00000000 09:03 28221037 /usr/bin/dash 561ec5de2000-561ec5df5000 r-xp 00004000 09:03 28221037 /usr/bin/dash 561ec5df5000-561ec5dfb000 r--p 00017000 09:03 28221037 /usr/bin/dash 561ec5dfb000-561ec5dfd000 r--p 0001c000 09:03 28221037 /usr/bin/dash 561ec5dfd000-561ec5dfe000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 561ec5dfe000-561ec5e00000 rw-p 00000000 00:00 0 561f01269000-561f0128a000 rw-p 00000000 00:00 0 [heap] 7fd4a2afd000-7fd4a2b00000 rw-p 00000000 00:00 0 7fd4a2b00000-7fd4a2b26000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd4a2b26000-7fd4a2c7c000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd4a2c7c000-7fd4a2ccf000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd4a2ccf000-7fd4a2cd3000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd4a2cd3000-7fd4a2cd5000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd4a2cd5000-7fd4a2ce2000 rw-p 00000000 00:00 0 7fd4a2cef000-7fd4a2cf1000 rw-p 00000000 00:00 0 7fd4a2cf1000-7fd4a2cf2000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd4a2cf2000-7fd4a2d18000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd4a2d18000-7fd4a2d22000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd4a2d22000-7fd4a2d24000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd4a2d24000-7fd4a2d26000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffeb2561000-7ffeb2582000 rw-p 00000000 00:00 0 [stack] 7ffeb25ee000-7ffeb25f2000 r--p 00000000 00:00 0 [vvar] 7ffeb25f2000-7ffeb25f4000 r-xp 00000000 00:00 0 [vdso] @latency[25]: [0] 2 |@ | [1] 2 |@ | [2, 4) 28 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 68 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 7 |@@@@@ | [16, 32) 2 |@ | @latency[13]: [1] 1 | | [2, 4) 67 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@ | @latency[26]: [0] 2 |@ | [1] 2 |@ | [2, 4) 42 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 77 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@ | [16, 32) 6 |@@@@ | @latency[24]: [0] 3 |@@ | [1] 3 |@@ | [2, 4) 35 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 72 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 15 |@@@@@@@@@@ | [16, 32) 12 |@@@@@@@@ | @latency[23]: [0] 4 |@ | [1] 1 | | [2, 4) 19 |@@@@@@@@ | [4, 8) 76 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 65 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 123 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 19 |@@@@@@@@ | [64, 128) 7 |@@ | @latency[22]: [0] 2 | | [1] 2 | | [2, 4) 19 |@@@@@@ | [4, 8) 47 |@@@@@@@@@@@@@@@@ | [8, 16) 69 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 38 |@@@@@@@@@@@@@ | [64, 128) 23 |@@@@@@@@ | @latency[20]: [1] 7 | | [2, 4) 525 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 161 |@@@@@@@@@@@@@@@ | [8, 16) 41 |@@@@ | [16, 32) 2 | | @latency[18]: [1] 6 | | [2, 4) 514 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 170 |@@@@@@@@@@@@@@@@@ | [8, 16) 40 |@@@@ | [16, 32) 6 | | @latency[16]: [1] 7 | | [2, 4) 519 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 165 |@@@@@@@@@@@@@@@@ | [8, 16) 45 |@@@@ | [16, 32) 7 | | @latency[5]: [1] 2 | | [2, 4) 683 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 306 |@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 116 |@@@@@@@@ | [16, 32) 117 |@@@@@@@@ | [32, 64) 1 | | @latency[21]: [1] 5 | | [2, 4) 1123 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 287 |@@@@@@@@@@@@@ | [8, 16) 176 |@@@@@@@@ | [16, 32) 21 | | @latency[19]: [1] 4 | | [2, 4) 1184 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 304 |@@@@@@@@@@@@@ | [8, 16) 181 |@@@@@@@ | [16, 32) 24 |@ | @latency[17]: [1] 7 | | [2, 4) 1184 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 304 |@@@@@@@@@@@@@ | [8, 16) 201 |@@@@@@@@ | [16, 32) 21 | | [32, 64) 1 | | @latency[11]: [0] 600 |@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 178 |@@@@@@@ | [2, 4) 1263 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 396 |@@@@@@@@@@@@@@@@ | [8, 16) 50 |@@ | [16, 32) 12 | | @latency[14]: [1] 42 | | [2, 4) 7828 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 703 |@@@@ | [8, 16) 97 | | [16, 32) 38 | | @latency[12]: [0] 2473 |@@@@@@@@@@@@@@@ | [1] 555 |@@@ | [2, 4) 8154 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1626 |@@@@@@@@@@ | [8, 16) 287 |@ | [16, 32) 20 | | [32, 64) 2 | | @latency[2]: [0] 12949 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 10401 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2921 |@@@@@@@@@@@ | [4, 8) 3107 |@@@@@@@@@@@@ | [8, 16) 613 |@@ | [16, 32) 303 |@ | [32, 64) 57 | | [64, 128) 15 | | [128, 256) 11 | | [256, 512) 2 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 2 | | [16K, 32K) 5 | | [32K, 64K) 3 | | [64K, 128K) 4 | | [128K, 256K) 4 | | [256K, 512K) 2 | | @latency[15]: [1] 1679 | | [2, 4) 193968 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 42420 |@@@@@@@@@@@ | [8, 16) 46452 |@@@@@@@@@@@@ | [16, 32) 7883 |@@ | [32, 64) 75 | | [64, 128) 3 | | [128, 256) 0 | | [256, 512) 1 | | @latency[6]: [0] 78 | | [1] 3504 | | [2, 4) 463405 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 152135 |@@@@@@@@@@@@@@@@@ | [8, 16) 97700 |@@@@@@@@@@ | [16, 32) 35134 |@@@ | [32, 64) 2454 | | [64, 128) 1915 | | [128, 256) 1 | | [Tue Jan 13 18:34:06 UTC 2026] respawn: 9: stopped pid 459 with status 0 [Tue Jan 13 18:34:06 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:34:07 UTC 2026] respawn: 10: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 492 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 502 root cwd DIR 9,3 4096 13764116 /data sys_write 502 root rtd DIR 0,80 4096 15483394 / sys_write 502 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 502 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 502 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 502 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 502 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 502 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 502 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 502 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 5626cc365000-5626cc369000 r--p 00000000 09:03 28221037 /usr/bin/dash 5626cc369000-5626cc37c000 r-xp 00004000 09:03 28221037 /usr/bin/dash 5626cc37c000-5626cc382000 r--p 00017000 09:03 28221037 /usr/bin/dash 5626cc382000-5626cc384000 r--p 0001c000 09:03 28221037 /usr/bin/dash 5626cc384000-5626cc385000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 5626cc385000-5626cc387000 rw-p 00000000 00:00 0 5626cfdc4000-5626cfde5000 rw-p 00000000 00:00 0 [heap] 7f14b7f32000-7f14b7f35000 rw-p 00000000 00:00 0 7f14b7f35000-7f14b7f5b000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f14b7f5b000-7f14b80b1000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f14b80b1000-7f14b8104000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f14b8104000-7f14b8108000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f14b8108000-7f14b810a000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f14b810a000-7f14b8117000 rw-p 00000000 00:00 0 7f14b8124000-7f14b8126000 rw-p 00000000 00:00 0 7f14b8126000-7f14b8127000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f14b8127000-7f14b814d000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f14b814d000-7f14b8157000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f14b8157000-7f14b8159000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f14b8159000-7f14b815b000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffdd539b000-7ffdd53bc000 rw-p 00000000 00:00 0 [stack] 7ffdd53e5000-7ffdd53e9000 r--p 00000000 00:00 0 [vvar] 7ffdd53e9000-7ffdd53eb000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 2599323 detected long write(fd=2, count=157, ret=157): 684201 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113183412157 DLINP  stack trace of write(): 0x7f24cc8bc340 PESPIN: PID 2599323 detected long write(fd=2, count=136, ret=136): 1769196 us PESPIN: vfs_write delta=2 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113183419108 DABIS NOTICE A-bis co stack trace of write(): 0x7f24cc8bc340 PESPIN: PID 2599323 detected long write(fd=2, count=136, ret=136): 544302 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113183758408 DABIS NOTICE A-bis co stack trace of write(): 0x7f24cc8bc340 PESPIN: PID 2599323 detected long write(fd=2, count=114, ret=114): 1019364 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113184105879 DL1P NOTICE (bts=0,tr stack trace of write(): 0x7f24cc8bc340 PESPIN: PID 2599323 detected long write(fd=2, count=114, ret=114): 719532 us PESPIN: vfs_write delta=0 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113184406230 DL1P NOTICE (bts=0,tr stack trace of write(): 0x7f24cc8bc340 PESPIN: PID 2599323 detected long write(fd=2, count=128, ret=128): 1364406 us PESPIN: vfs_write delta=1 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113184644598 DTRX INFO[0 stack trace of write(): 0x7f24cc8bc340 @[ 0x7f24cc8bc340 ]: 6 @latency[28]: [1] 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[25]: [0] 4 |@ | [1] 3 |@ | [2, 4) 19 |@@@@@@ | [4, 8) 144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 28 |@@@@@@@@@@ | [16, 32) 20 |@@@@@@@ | @latency[24]: [0] 5 |@ | [1] 4 |@ | [2, 4) 26 |@@@@@@@@@ | [4, 8) 140 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 38 |@@@@@@@@@@@@@@ | [16, 32) 20 |@@@@@@@ | [32, 64) 2 | | @latency[26]: [0] 3 |@ | [1] 6 |@@ | [2, 4) 32 |@@@@@@@@@@@ | [4, 8) 146 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 35 |@@@@@@@@@@@@ | [16, 32) 22 |@@@@@@@ | @latency[13]: [2, 4) 187 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 62 |@@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@@ | [16, 32) 2 | | @latency[22]: [0] 1 | | [1] 9 |@ | [2, 4) 17 |@@@ | [4, 8) 24 |@@@@ | [8, 16) 83 |@@@@@@@@@@@@@@@ | [16, 32) 278 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 120 |@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 55 |@@@@@@@@@@ | @latency[18]: [1] 7 | | [2, 4) 451 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 195 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 65 |@@@@@@@ | [16, 32) 11 |@ | @latency[20]: [1] 6 | | [2, 4) 468 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 192 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 52 |@@@@@ | [16, 32) 11 |@ | @latency[16]: [1] 4 | | [2, 4) 438 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 217 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 60 |@@@@@@@ | [16, 32) 10 |@ | @latency[23]: [0] 5 | | [1] 8 | | [2, 4) 30 |@ | [4, 8) 101 |@@@@@ | [8, 16) 314 |@@@@@@@@@@@@@@@@@ | [16, 32) 935 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 245 |@@@@@@@@@@@@@ | [64, 128) 55 |@@@ | @latency[19]: [1] 4 | | [2, 4) 1251 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 391 |@@@@@@@@@@@@@@@@ | [8, 16) 323 |@@@@@@@@@@@@@ | [16, 32) 10 | | [32, 64) 1 | | @latency[21]: [1] 1 | | [2, 4) 1836 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 533 |@@@@@@@@@@@@@@@ | [8, 16) 513 |@@@@@@@@@@@@@@ | [16, 32) 30 | | @latency[14]: [1] 4 | | [2, 4) 609 |@@@@@@@@@@@@@@ | [4, 8) 487 |@@@@@@@@@@@ | [8, 16) 2182 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 116 |@@ | [32, 64) 4 | | [64, 128) 1 | | @latency[11]: [0] 1477 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 233 |@@@@@ | [2, 4) 2056 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 708 |@@@@@@@@@@@@@@@@@ | [8, 16) 125 |@@@ | [16, 32) 33 | | [32, 64) 5 | | @latency[17]: [1] 12 | | [2, 4) 3519 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1215 |@@@@@@@@@@@@@@@@@ | [8, 16) 1063 |@@@@@@@@@@@@@@@ | [16, 32) 66 | | [32, 64) 3 | | @latency[12]: [0] 1807 |@@@@@@@@@@@@@@ | [1] 899 |@@@@@@@ | [2, 4) 6465 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2437 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 593 |@@@@ | [16, 32) 79 | | [32, 64) 5 | | @latency[5]: [1] 28 | | [2, 4) 8913 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3608 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1337 |@@@@@@@ | [16, 32) 1234 |@@@@@@@ | [32, 64) 5 | | [64, 128) 1 | | @latency[2]: [0] 14812 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 13954 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3808 |@@@@@@@@@@@@@ | [4, 8) 4425 |@@@@@@@@@@@@@@@ | [8, 16) 1264 |@@@@ | [16, 32) 607 |@@ | [32, 64) 125 | | [64, 128) 24 | | [128, 256) 17 | | [256, 512) 4 | | [512, 1K) 1 | | [1K, 2K) 2 | | [2K, 4K) 1 | | [4K, 8K) 2 | | [8K, 16K) 2 | | [16K, 32K) 4 | | [32K, 64K) 6 | | [64K, 128K) 9 | | [128K, 256K) 4 | | [256K, 512K) 1 | | [512K, 1M) 4 | | [1M, 2M) 2 | | @latency[15]: [1] 3930 | | [2, 4) 522598 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 138844 |@@@@@@@@@@@@@ | [8, 16) 172074 |@@@@@@@@@@@@@@@@@ | [16, 32) 22503 |@@ | [32, 64) 318 | | [64, 128) 18 | | [128, 256) 1 | | @latency[6]: [0] 827 | | [1] 6729 | | [2, 4) 1158441 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 371988 |@@@@@@@@@@@@@@@@ | [8, 16) 309463 |@@@@@@@@@@@@@ | [16, 32) 148772 |@@@@@@ | [32, 64) 10961 | | [64, 128) 5292 | | [128, 256) 13 | | [256, 512) 1 | | [Tue Jan 13 18:46:46 UTC 2026] respawn: 10: stopped pid 502 with status 0 [Tue Jan 13 18:46:46 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:46:47 UTC 2026] respawn: 11: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 542 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 546 root cwd DIR 9,3 4096 13764116 /data sys_write 546 root rtd DIR 0,80 4096 15483394 / sys_write 546 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 546 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 546 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 546 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 546 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 546 root 1w FIFO W 0,13 0t0 1863589944 pipe sys_write 546 root 2w FIFO W 0,13 0t0 1863589945 pipe sys_write 546 root 10r REG LG,CX 9,3 104 13764126 /data/bpftrace/sys_write_delay.sh maps output: 561b646ca000-561b646ce000 r--p 00000000 09:03 28221037 /usr/bin/dash 561b646ce000-561b646e1000 r-xp 00004000 09:03 28221037 /usr/bin/dash 561b646e1000-561b646e7000 r--p 00017000 09:03 28221037 /usr/bin/dash 561b646e7000-561b646e9000 r--p 0001c000 09:03 28221037 /usr/bin/dash 561b646e9000-561b646ea000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 561b646ea000-561b646ec000 rw-p 00000000 00:00 0 561ba321d000-561ba323e000 rw-p 00000000 00:00 0 [heap] 7fb97a5df000-7fb97a5e2000 rw-p 00000000 00:00 0 7fb97a5e2000-7fb97a608000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb97a608000-7fb97a75e000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb97a75e000-7fb97a7b1000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb97a7b1000-7fb97a7b5000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb97a7b5000-7fb97a7b7000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb97a7b7000-7fb97a7c4000 rw-p 00000000 00:00 0 7fb97a7d1000-7fb97a7d3000 rw-p 00000000 00:00 0 7fb97a7d3000-7fb97a7d4000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb97a7d4000-7fb97a7fa000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb97a7fa000-7fb97a804000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb97a804000-7fb97a806000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb97a806000-7fb97a808000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffec8736000-7ffec8757000 rw-p 00000000 00:00 0 [stack] 7ffec87ca000-7ffec87ce000 r--p 00000000 00:00 0 [vvar] 7ffec87ce000-7ffec87d0000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 3036406 detected long write(fd=2, count=183, ret=183): 401149 us PESPIN: vfs_write delta=0 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113185258708 DL1P NOTICE 001402/01 stack trace of write(): 0x7f37321ce340 PESPIN: PID 3036406 detected long write(fd=2, count=173, ret=173): 1168085 us PESPIN: vfs_write delta=0 us, file->f_flags=0x8c01 PESPIN: sys_write content: 20260113185332627 DL1P NOTICE PH-RTS-IN stack trace of write(): 0x7f37321ce340 @[ 0x7f37321ce340 ]: 2 @latency[13]: [1] 1 | | [2, 4) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 15 |@@@@@@@ | [8, 16) 7 |@@@ | @latency[26]: [0] 6 |@@@ | [1] 4 |@@ | [2, 4) 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@ | [16, 32) 2 |@ | @latency[25]: [0] 3 |@ | [1] 8 |@@@@ | [2, 4) 35 |@@@@@@@@@@@@@@@@@@ | [4, 8) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@ | [16, 32) 2 |@ | @latency[24]: [0] 3 |@ | [1] 5 |@@ | [2, 4) 36 |@@@@@@@@@@@@@@@@@@ | [4, 8) 99 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@ | [16, 32) 1 | | @latency[18]: [1] 2 | | [2, 4) 503 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 52 |@@@@@ | [8, 16) 13 |@ | [16, 32) 1 | | @latency[20]: [2, 4) 531 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26 |@@ | [8, 16) 14 |@ | @latency[16]: [1] 3 | | [2, 4) 509 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 43 |@@@@ | [8, 16) 15 |@ | [16, 32) 4 | | @latency[19]: [2, 4) 1051 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 252 |@@@@@@@@@@@@ | [8, 16) 8 | | [16, 32) 2 | | @latency[23]: [1] 4 | | [2, 4) 67 |@@@@ | [4, 8) 206 |@@@@@@@@@@@@@@ | [8, 16) 435 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 757 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 66 |@@@@ | [64, 128) 17 |@ | @latency[11]: [0] 490 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 67 |@@@@ | [2, 4) 806 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 228 |@@@@@@@@@@@@@@ | [8, 16) 38 |@@ | [16, 32) 14 | | @latency[14]: [1] 63 |@@@ | [2, 4) 990 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 485 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 131 |@@@@@@ | [16, 32) 13 | | [32, 64) 1 | | @latency[21]: [2, 4) 1642 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 350 |@@@@@@@@@@@ | [8, 16) 71 |@@ | [16, 32) 1 | | @latency[17]: [1] 9 | | [2, 4) 2780 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 478 |@@@@@@@@ | [8, 16) 144 |@@ | @latency[5]: [1] 30 | | [2, 4) 4963 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1199 |@@@@@@@@@@@@ | [8, 16) 332 |@@@ | [16, 32) 16 | | @latency[12]: [0] 2401 |@@@@@@@@@@@@@@@@@@ | [1] 834 |@@@@@@ | [2, 4) 6718 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 604 |@@@@ | [8, 16) 93 | | [16, 32) 14 | | [32, 64) 1 | | @latency[2]: [0] 14104 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 9027 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 1991 |@@@@@@@ | [4, 8) 2817 |@@@@@@@@@@ | [8, 16) 705 |@@ | [16, 32) 140 | | [32, 64) 26 | | [64, 128) 19 | | [128, 256) 10 | | [256, 512) 3 | | [512, 1K) 3 | | [1K, 2K) 1 | | [2K, 4K) 0 | | [4K, 8K) 4 | | [8K, 16K) 5 | | [16K, 32K) 5 | | [32K, 64K) 5 | | [64K, 128K) 11 | | [128K, 256K) 7 | | [256K, 512K) 6 | | [512K, 1M) 0 | | [1M, 2M) 1 | | @latency[15]: [1] 2857 | | [2, 4) 329984 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 37802 |@@@@@ | [8, 16) 23320 |@@@ | [16, 32) 769 | | [32, 64) 25 | | [64, 128) 5 | | @latency[6]: [0] 1434 | | [1] 6196 | | [2, 4) 804648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 120692 |@@@@@@@ | [8, 16) 78192 |@@@@@ | [16, 32) 13747 | | [32, 64) 2509 | | [64, 128) 301 | | [128, 256) 2 | | [256, 512) 1 | | [Tue Jan 13 18:53:34 UTC 2026] respawn: 11: stopped pid 546 with status 0 [Tue Jan 13 18:53:34 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 18:53:35 UTC 2026] respawn: 12: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 542 --unsafe osmo-bts-trx Attaching 4 probes... Tracing sys_write() latency... Hit Ctrl-C to end.