[Tue Jan 13 09:26:48 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 28 root cwd DIR 9,3 4096 13764113 /data sys_write 28 root rtd DIR 0,113 4096 13007245 / sys_write 28 root txt REG 0,113 125640 28221037 /usr/bin/dash sys_write 28 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,113) sys_write 28 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,113) sys_write 28 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,113) sys_write 28 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 28 root 1w FIFO W 0,13 0t0 1857147124 pipe sys_write 28 root 2w FIFO W 0,13 0t0 1857147125 pipe sys_write 28 root 10r REG LG,CX 9,3 104 13764128 /data/bpftrace/sys_write_delay.sh maps output: 55b8ecd6f000-55b8ecd73000 r--p 00000000 09:03 28221037 /usr/bin/dash 55b8ecd73000-55b8ecd86000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55b8ecd86000-55b8ecd8c000 r--p 00017000 09:03 28221037 /usr/bin/dash 55b8ecd8c000-55b8ecd8e000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55b8ecd8e000-55b8ecd8f000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55b8ecd8f000-55b8ecd91000 rw-p 00000000 00:00 0 55b900d76000-55b900d97000 rw-p 00000000 00:00 0 [heap] 7fa354adf000-7fa354ae2000 rw-p 00000000 00:00 0 7fa354ae2000-7fa354b08000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa354b08000-7fa354c5e000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa354c5e000-7fa354cb1000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa354cb1000-7fa354cb5000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa354cb5000-7fa354cb7000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa354cb7000-7fa354cc4000 rw-p 00000000 00:00 0 7fa354cd1000-7fa354cd3000 rw-p 00000000 00:00 0 7fa354cd3000-7fa354cd4000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa354cd4000-7fa354cfa000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa354cfa000-7fa354d04000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa354d04000-7fa354d06000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa354d06000-7fa354d08000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffdebf20000-7ffdebf41000 rw-p 00000000 00:00 0 [stack] 7ffdebff1000-7ffdebff5000 r--p 00000000 00:00 0 [vvar] 7ffdebff5000-7ffdebff7000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 3934303 detected long write(fd=2, count=127, ret=127): 440649 us PESPIN: write content: 20260113093451967 DTRX INFO[0 stack trace of write(): 0x7f752c780340 @[ 0x7f752c780340 ]: 1 @latency[19]: [2, 4) 40 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 5 |@@@@@@ | [16, 32) 3 |@@@ | @latency[17]: [2, 4) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 28 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@ | [16, 32) 3 |@@@@ | @latency[13]: [2, 4) 47 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 37 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 |@ | @latency[26]: [0] 2 |@ | [1] 1 | | [2, 4) 14 |@@@@@@@@ | [4, 8) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 24 |@@@@@@@@@@@@@@@ | [16, 32) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[25]: [0] 2 |@ | [1] 1 | | [2, 4) 11 |@@@@@@@ | [4, 8) 79 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 25 |@@@@@@@@@@@@@@@@ | [16, 32) 54 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[24]: [0] 2 |@ | [1] 1 | | [2, 4) 15 |@@@@@@@@@@@ | [4, 8) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 27 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 55 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 5 |@@@ | [64, 128) 1 | | @latency[16]: [1] 2 | | [2, 4) 159 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 66 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 38 |@@@@@@@@@@@@ | [16, 32) 4 |@ | @latency[18]: [1] 2 | | [2, 4) 175 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 54 |@@@@@@@@@@@@@@@@ | [8, 16) 36 |@@@@@@@@@@ | [16, 32) 2 | | @latency[20]: [1] 1 | | [2, 4) 185 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 45 |@@@@@@@@@@@@ | [8, 16) 33 |@@@@@@@@@ | [16, 32) 5 |@ | @latency[21]: [0] 40 |@@@@@@@@ | [1] 5 |@ | [2, 4) 259 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 | | [8, 16) 1 | | @latency[22]: [0] 2 | | [1] 1 | | [2, 4) 5 | | [4, 8) 57 |@@@@@@@@@ | [8, 16) 153 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 207 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 320 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 62 |@@@@@@@@@@ | @latency[11]: [0] 179 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 139 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 262 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 246 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 13 |@@ | [16, 32) 1 | | @latency[23]: [1] 1 | | [2, 4) 369 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 567 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 267 |@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 209 |@@@@@@@@@@@@@@@@@@@ | [32, 64) 287 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 56 |@@@@@ | [128, 256) 1 | | @latency[12]: [0] 750 |@@@@@@@@@@@@@@@@@ | [1] 415 |@@@@@@@@@ | [2, 4) 2292 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 980 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 249 |@@@@@ | [16, 32) 40 | | [32, 64) 6 | | @latency[5]: [1] 5 | | [2, 4) 2354 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1265 |@@@@@@@@@@@@ | [8, 16) 5258 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 310 |@@@ | [32, 64) 11 | | [64, 128) 1 | | @latency[14]: [1] 2 | | [2, 4) 3882 |@@@@@@@@@@@@ | [4, 8) 3790 |@@@@@@@@@@@@ | [8, 16) 16150 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 694 |@@ | [32, 64) 16 | | [64, 128) 1 | | @latency[2]: [0] 13705 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 7537 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 4177 |@@@@@@@@@@@@@@@ | [4, 8) 3506 |@@@@@@@@@@@@@ | [8, 16) 1104 |@@@@ | [16, 32) 954 |@@@ | [32, 64) 91 | | [64, 128) 17 | | [128, 256) 5 | | [256, 512) 4 | | [512, 1K) 1 | | [1K, 2K) 0 | | [2K, 4K) 2 | | [4K, 8K) 1 | | [8K, 16K) 0 | | [16K, 32K) 1 | | [32K, 64K) 2 | | [64K, 128K) 0 | | [128K, 256K) 0 | | [256K, 512K) 2 | | @latency[15]: [1] 1837 | | [2, 4) 232308 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 79741 |@@@@@@@@@@@@ | [8, 16) 337579 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 12236 |@ | [32, 64) 421 | | [64, 128) 20 | | [128, 256) 3 | | [256, 512) 0 | | [512, 1K) 3 | | @latency[6]: [0] 443 | | [1] 1717 | | [2, 4) 596101 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 214649 |@@@@@@@@@@@@ | [8, 16) 880601 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 95463 |@@@@@ | [32, 64) 10478 | | [64, 128) 1032 | | [128, 256) 79 | | [256, 512) 2 | | [512, 1K) 1 | | [Tue Jan 13 09:34:52 UTC 2026] respawn: 0: stopped pid 28 with status 0 [Tue Jan 13 09:34:52 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 09:34:53 UTC 2026] respawn: 1: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 67 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 71 root cwd DIR 9,3 4096 13764113 /data sys_write 71 root rtd DIR 0,113 4096 13007245 / sys_write 71 root txt REG 0,113 125640 28221037 /usr/bin/dash sys_write 71 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,113) sys_write 71 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,113) sys_write 71 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,113) sys_write 71 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 71 root 1w FIFO W 0,13 0t0 1857147124 pipe sys_write 71 root 2w FIFO W 0,13 0t0 1857147125 pipe sys_write 71 root 10r REG LG,CX 9,3 104 13764128 /data/bpftrace/sys_write_delay.sh maps output: 557b3108a000-557b3108e000 r--p 00000000 09:03 28221037 /usr/bin/dash 557b3108e000-557b310a1000 r-xp 00004000 09:03 28221037 /usr/bin/dash 557b310a1000-557b310a7000 r--p 00017000 09:03 28221037 /usr/bin/dash 557b310a7000-557b310a9000 r--p 0001c000 09:03 28221037 /usr/bin/dash 557b310a9000-557b310aa000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 557b310aa000-557b310ac000 rw-p 00000000 00:00 0 557b335da000-557b335fb000 rw-p 00000000 00:00 0 [heap] 7f98f2a0a000-7f98f2a0d000 rw-p 00000000 00:00 0 7f98f2a0d000-7f98f2a33000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f98f2a33000-7f98f2b89000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f98f2b89000-7f98f2bdc000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f98f2bdc000-7f98f2be0000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f98f2be0000-7f98f2be2000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f98f2be2000-7f98f2bef000 rw-p 00000000 00:00 0 7f98f2bfc000-7f98f2bfe000 rw-p 00000000 00:00 0 7f98f2bfe000-7f98f2bff000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f98f2bff000-7f98f2c25000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f98f2c25000-7f98f2c2f000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f98f2c2f000-7f98f2c31000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f98f2c31000-7f98f2c33000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffffa55f000-7ffffa580000 rw-p 00000000 00:00 0 [stack] 7ffffa5a0000-7ffffa5a4000 r--p 00000000 00:00 0 [vvar] 7ffffa5a4000-7ffffa5a6000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 4016132 detected long write(fd=2, count=126, ret=126): 897142 us PESPIN: write content: 20260113093529533 DTRX INFO[0 stack trace of write(): 0x7fa5492b1340 PESPIN: PID 4016132 detected long write(fd=2, count=127, ret=127): 1064650 us PESPIN: write content: 20260113093612503 DTRX INFO[0 stack trace of write(): 0x7fa5492b1340 @[ 0x7fa5492b1340 ]: 2 @latency[19]: [1] 11 |@ | [2, 4) 397 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 201 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 25 |@@@ | [16, 32) 7 | | @latency[13]: [1] 4 | | [2, 4) 467 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 194 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 71 |@@@@@@@ | [16, 32) 28 |@@@ | [32, 64) 1 | | @latency[26]: [0] 39 |@@@ | [1] 22 |@@ | [2, 4) 224 |@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 519 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 162 |@@@@@@@@@@@@@@@@ | [16, 32) 343 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 5 | | @latency[25]: [0] 31 |@@ | [1] 25 |@@ | [2, 4) 123 |@@@@@@@@@@ | [4, 8) 600 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 160 |@@@@@@@@@@@@@ | [16, 32) 373 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 2 | | @latency[24]: [0] 26 |@@@ | [1] 24 |@@ | [2, 4) 246 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 434 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 144 |@@@@@@@@@@@@@@@@@ | [16, 32) 427 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 93 |@@@@@@@@@@@ | [64, 128) 6 | | @latency[22]: [0] 2 | | [1] 7 | | [2, 4) 86 |@@@@@ | [4, 8) 245 |@@@@@@@@@@@@@@ | [8, 16) 390 |@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 877 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 850 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 96 |@@@@@ | @latency[18]: [1] 76 |@ | [2, 4) 2529 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1348 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1097 |@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 77 |@ | @latency[20]: [1] 76 |@ | [2, 4) 2648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1398 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 925 |@@@@@@@@@@@@@@@@@@ | [16, 32) 80 |@ | @latency[16]: [1] 63 |@ | [2, 4) 2329 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1441 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 1197 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 112 |@@ | [32, 64) 0 | | [64, 128) 1 | | @latency[17]: [1] 13 | | [2, 4) 502 |@@@ | [4, 8) 401 |@@@ | [8, 16) 6838 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 42 | | [32, 64) 11 | | @latency[23]: [0] 9 | | [1] 15 | | [2, 4) 279 |@@@ | [4, 8) 821 |@@@@@@@@@ | [8, 16) 1022 |@@@@@@@@@@@@ | [16, 32) 3000 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 4365 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 220 |@@ | [128, 256) 1 | | @latency[11]: [0] 2908 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 535 |@@@@@@@@@ | [2, 4) 3000 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2662 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 911 |@@@@@@@@@@@@@@@ | [16, 32) 112 |@ | [32, 64) 25 | | @latency[28]: [0] 19 | | [1] 306 |@ | [2, 4) 900 |@@@@@ | [4, 8) 9043 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5877 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 345 |@ | [32, 64) 17 | | @latency[5]: [1] 11 | | [2, 4) 4347 |@@@@@@ | [4, 8) 2433 |@@@ | [8, 16) 36664 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 10707 |@@@@@@@@@@@@@@@ | [32, 64) 52 | | @latency[12]: [0] 17867 |@@@@@@@@@@@@@@@@@@@@@@@ | [1] 5543 |@@@@@@@ | [2, 4) 39347 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 20832 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6467 |@@@@@@@@ | [16, 32) 1527 |@@ | [32, 64) 167 | | [64, 128) 4 | | @latency[2]: [0] 55349 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 58489 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [2, 4) 36842 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 51541 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 11697 |@@@@@@@@@@ | [16, 32) 8416 |@@@@@@@ | [32, 64) 903 | | [64, 128) 45 | | [128, 256) 20 | | [256, 512) 25 | | [512, 1K) 4 | | [1K, 2K) 0 | | [2K, 4K) 5 | | [4K, 8K) 5 | | [8K, 16K) 6 | | [16K, 32K) 5 | | [32K, 64K) 0 | | [64K, 128K) 0 | | [128K, 256K) 1 | | [256K, 512K) 0 | | [512K, 1M) 1 | | [1M, 2M) 1 | | @latency[14]: [1] 105 | | [2, 4) 10308 |@@ | [4, 8) 8194 |@@ | [8, 16) 190453 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 16595 |@@@@ | [32, 64) 301 | | [64, 128) 5 | | @latency[15]: [1] 2067 | | [2, 4) 353371 |@@@@@@ | [4, 8) 163989 |@@@ | [8, 16) 2747185 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 100070 |@ | [32, 64) 1668 | | [64, 128) 42 | | [128, 256) 2 | | @latency[6]: [0] 7288 | | [1] 20411 | | [2, 4) 1274300 |@@@@@@@@@@@@ | [4, 8) 565707 |@@@@@ | [8, 16) 5521414 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1834802 |@@@@@@@@@@@@@@@@@ | [32, 64) 29990 | | [64, 128) 56151 | | [128, 256) 91 | | [256, 512) 4 | | [512, 1K) 1 | | [Tue Jan 13 10:34:01 UTC 2026] respawn: 1: stopped pid 71 with status 0 [Tue Jan 13 10:34:01 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 10:34:03 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 27 root cwd DIR 9,3 4096 13764113 /data sys_write 27 root rtd DIR 0,105 4096 14161150 / sys_write 27 root txt REG 0,105 125640 28221037 /usr/bin/dash sys_write 27 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,105) sys_write 27 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,105) sys_write 27 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,105) sys_write 27 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 27 root 1w FIFO W 0,13 0t0 1857984133 pipe sys_write 27 root 2w FIFO W 0,13 0t0 1857984134 pipe sys_write 27 root 10r REG LG,CX 9,3 104 13764131 /data/bpftrace/sys_write_delay.sh maps output: 557395c89000-557395c8d000 r--p 00000000 09:03 28221037 /usr/bin/dash 557395c8d000-557395ca0000 r-xp 00004000 09:03 28221037 /usr/bin/dash 557395ca0000-557395ca6000 r--p 00017000 09:03 28221037 /usr/bin/dash 557395ca6000-557395ca8000 r--p 0001c000 09:03 28221037 /usr/bin/dash 557395ca8000-557395ca9000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 557395ca9000-557395cab000 rw-p 00000000 00:00 0 5573cbe0e000-5573cbe2f000 rw-p 00000000 00:00 0 [heap] 7fb2866b8000-7fb2866bb000 rw-p 00000000 00:00 0 7fb2866bb000-7fb2866e1000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb2866e1000-7fb286837000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb286837000-7fb28688a000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb28688a000-7fb28688e000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb28688e000-7fb286890000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fb286890000-7fb28689d000 rw-p 00000000 00:00 0 7fb2868aa000-7fb2868ac000 rw-p 00000000 00:00 0 7fb2868ac000-7fb2868ad000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb2868ad000-7fb2868d3000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb2868d3000-7fb2868dd000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb2868dd000-7fb2868df000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fb2868df000-7fb2868e1000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffe1a7bf000-7ffe1a7e0000 rw-p 00000000 00:00 0 [stack] 7ffe1a7e0000-7ffe1a7e4000 r--p 00000000 00:00 0 [vvar] 7ffe1a7e4000-7ffe1a7e6000 r-xp 00000000 00:00 0 [vdso] @latency[16]: [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[18]: [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[20]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[12]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[14]: [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[15]: [1] 1 |@@@@@@ | [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[17]: [1] 2 |@@@@@@@@@@@@@@ | [2, 4) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[19]: [1] 2 |@@@@@@@@@@@@@@ | [2, 4) 7 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@@@@@@@ | @latency[13]: [2, 4) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 5 |@@@@@@@@@@@@@@@@@@ | @latency[2]: [0] 490 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 109 |@@@@@@@@@@@ | [2, 4) 136 |@@@@@@@@@@@@@@ | [4, 8) 232 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 23 |@@ | [16, 32) 21 |@@ | [32, 64) 13 |@ | [64, 128) 2 | | @latency[11]: [0] 1185 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 231 |@@@@@@@@@@ | [2, 4) 697 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 42 |@ | [8, 16) 34 |@ | [16, 32) 33 |@ | [32, 64) 5 | | @latency[6]: [0] 293 |@ | [1] 928 |@@@ | [2, 4) 12556 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2134 |@@@@@@@@ | [8, 16) 3832 |@@@@@@@@@@@@@@@ | [16, 32) 443 |@ | [32, 64) 30 | | [64, 128) 33 | | [128, 256) 1 | | [Tue Jan 13 10:35:41 UTC 2026] respawn: 0: stopped pid 27 with status 0 [Tue Jan 13 10:35:41 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 10:35:43 UTC 2026] respawn: 0: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 9 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 27 root cwd DIR 9,3 4096 13764113 /data sys_write 27 root rtd DIR 0,80 4096 14161179 / sys_write 27 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 27 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 27 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 27 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 27 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 27 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 27 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 27 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 559c7f7af000-559c7f7b3000 r--p 00000000 09:03 28221037 /usr/bin/dash 559c7f7b3000-559c7f7c6000 r-xp 00004000 09:03 28221037 /usr/bin/dash 559c7f7c6000-559c7f7cc000 r--p 00017000 09:03 28221037 /usr/bin/dash 559c7f7cc000-559c7f7ce000 r--p 0001c000 09:03 28221037 /usr/bin/dash 559c7f7ce000-559c7f7cf000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 559c7f7cf000-559c7f7d1000 rw-p 00000000 00:00 0 559caa6dd000-559caa6fe000 rw-p 00000000 00:00 0 [heap] 7f6d334b7000-7f6d334ba000 rw-p 00000000 00:00 0 7f6d334ba000-7f6d334e0000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d334e0000-7f6d33636000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d33636000-7f6d33689000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d33689000-7f6d3368d000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d3368d000-7f6d3368f000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f6d3368f000-7f6d3369c000 rw-p 00000000 00:00 0 7f6d336a9000-7f6d336ab000 rw-p 00000000 00:00 0 7f6d336ab000-7f6d336ac000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d336ac000-7f6d336d2000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d336d2000-7f6d336dc000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d336dc000-7f6d336de000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f6d336de000-7f6d336e0000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fffe794d000-7fffe796e000 rw-p 00000000 00:00 0 [stack] 7fffe7993000-7fffe7997000 r--p 00000000 00:00 0 [vvar] 7fffe7997000-7fffe7999000 r-xp 00000000 00:00 0 [vdso] @latency[13]: [2, 4) 110 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 32 |@@@@@@@@@@@@@@@ | [8, 16) 27 |@@@@@@@@@@@@ | [16, 32) 25 |@@@@@@@@@@@ | @latency[26]: [0] 14 |@@@@ | [1] 7 |@@ | [2, 4) 69 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 151 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 46 |@@@@@@@@@@@@@@@ | [16, 32) 124 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1 | | @latency[25]: [0] 10 |@@ | [1] 8 |@@ | [2, 4) 31 |@@@@@@@@ | [4, 8) 192 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 38 |@@@@@@@@@@ | [16, 32) 130 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 3 | | @latency[24]: [0] 10 |@@@ | [1] 7 |@@ | [2, 4) 59 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 143 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 47 |@@@@@@@@@@@@@@@@@ | [16, 32) 135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 17 |@@@@@@ | @latency[18]: [1] 10 | | [2, 4) 762 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 245 |@@@@@@@@@@@@@@@@ | [8, 16) 205 |@@@@@@@@@@@@@ | [16, 32) 21 |@ | @latency[20]: [1] 12 | | [2, 4) 791 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 230 |@@@@@@@@@@@@@@@ | [8, 16) 247 |@@@@@@@@@@@@@@@@ | [16, 32) 15 | | [32, 64) 1 | | @latency[16]: [1] 10 | | [2, 4) 739 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 271 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 298 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 15 |@ | [32, 64) 1 | | @latency[11]: [0] 440 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 33 |@@ | [2, 4) 844 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 277 |@@@@@@@@@@@@@@@@@ | [8, 16) 68 |@@@@ | [16, 32) 18 |@ | @latency[19]: [2, 4) 900 |@@@@@@@@@@@@@@@@@@ | [4, 8) 218 |@@@@ | [8, 16) 2507 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 27 | | [32, 64) 2 | | @latency[23]: [0] 6 | | [1] 5 | | [2, 4) 183 |@@@@@@@ | [4, 8) 463 |@@@@@@@@@@@@@@@@@@ | [8, 16) 664 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1296 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 988 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 155 |@@@@@@ | [128, 256) 1 | | @latency[22]: [1] 4 | | [2, 4) 328 |@@@@@@@@@ | [4, 8) 504 |@@@@@@@@@@@@@@ | [8, 16) 652 |@@@@@@@@@@@@@@@@@@ | [16, 32) 1848 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 707 |@@@@@@@@@@@@@@@@@@@ | [64, 128) 68 |@ | @latency[21]: [0] 17 | | [1] 5 | | [2, 4) 1827 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 401 |@@@@@ | [8, 16) 3791 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 42 | | [32, 64) 1 | | @latency[17]: [1] 5 | | [2, 4) 1982 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 377 |@@@@ | [8, 16) 4769 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 51 | | [32, 64) 2 | | @latency[12]: [0] 4604 |@@@@@@@@@@@@@@@@@@@@@@@ | [1] 1007 |@@@@@ | [2, 4) 10382 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3321 |@@@@@@@@@@@@@@@@ | [8, 16) 782 |@@@ | [16, 32) 108 | | [32, 64) 3 | | [64, 128) 0 | | [128, 256) 0 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[5]: [1] 13 | | [2, 4) 5823 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1509 |@@@@@@@ | [8, 16) 10778 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 4749 |@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 16 | | @latency[14]: [1] 11 | | [2, 4) 2248 |@@@@@@ | [4, 8) 1825 |@@@@ | [8, 16) 19094 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 933 |@@ | [32, 64) 8 | | [64, 128) 1 | | @latency[2]: [0] 22816 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 14991 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 10984 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 17018 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3752 |@@@@@@@@ | [16, 32) 2203 |@@@@@ | [32, 64) 166 | | [64, 128) 6 | | [128, 256) 8 | | [256, 512) 5 | | [512, 1K) 2 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 0 | | [8K, 16K) 1 | | [16K, 32K) 0 | | [32K, 64K) 0 | | [64K, 128K) 0 | | [128K, 256K) 0 | | [256K, 512K) 1 | | @latency[15]: [1] 2314 | | [2, 4) 417526 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 82893 |@@@@@ | [8, 16) 817118 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 33321 |@@ | [32, 64) 434 | | [64, 128) 11 | | [128, 256) 0 | | [256, 512) 1 | | @latency[6]: [0] 733 | | [1] 6037 | | [2, 4) 1100388 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 240593 |@@@@@@@@ | [8, 16) 1451837 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 671782 |@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11182 | | [64, 128) 8693 | | [128, 256) 43 | | [256, 512) 1 | | [Tue Jan 13 10:54:22 UTC 2026] respawn: 0: stopped pid 27 with status 0 [Tue Jan 13 10:54:22 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 10:54:23 UTC 2026] respawn: 1: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 67 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 77 root cwd DIR 9,3 4096 13764113 /data sys_write 77 root rtd DIR 0,80 4096 14161179 / sys_write 77 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 77 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 77 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 77 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 77 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 77 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 77 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 77 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 55c81325d000-55c813261000 r--p 00000000 09:03 28221037 /usr/bin/dash 55c813261000-55c813274000 r-xp 00004000 09:03 28221037 /usr/bin/dash 55c813274000-55c81327a000 r--p 00017000 09:03 28221037 /usr/bin/dash 55c81327a000-55c81327c000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55c81327c000-55c81327d000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55c81327d000-55c81327f000 rw-p 00000000 00:00 0 55c83408b000-55c8340ac000 rw-p 00000000 00:00 0 [heap] 7f9f4111b000-7f9f4111e000 rw-p 00000000 00:00 0 7f9f4111e000-7f9f41144000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9f41144000-7f9f4129a000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9f4129a000-7f9f412ed000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9f412ed000-7f9f412f1000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9f412f1000-7f9f412f3000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f9f412f3000-7f9f41300000 rw-p 00000000 00:00 0 7f9f4130d000-7f9f4130f000 rw-p 00000000 00:00 0 7f9f4130f000-7f9f41310000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9f41310000-7f9f41336000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9f41336000-7f9f41340000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9f41340000-7f9f41342000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f9f41342000-7f9f41344000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffd9917f000-7ffd991a0000 rw-p 00000000 00:00 0 [stack] 7ffd991dc000-7ffd991e0000 r--p 00000000 00:00 0 [vvar] 7ffd991e0000-7ffd991e2000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 481422 detected long write(fd=2, count=126, ret=126): 3248283 us PESPIN: write content: 20260113112710343 DTRX INFO[0 stack trace of write(): 0x7f30674b3340 @[ 0x7f30674b3340 ]: 1 @latency[13]: [1] 4 | | [2, 4) 310 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 133 |@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 39 |@@@@@@ | [16, 32) 13 |@@ | @latency[22]: [0] 5 |@ | [1] 6 |@@ | [2, 4) 60 |@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 86 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 85 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 106 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 144 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 26 |@@@@@@@@@ | @latency[25]: [0] 24 |@@@ | [1] 15 |@@ | [2, 4) 100 |@@@@@@@@@@@@@@ | [4, 8) 362 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 93 |@@@@@@@@@@@@@ | [16, 32) 124 |@@@@@@@@@@@@@@@@@ | @latency[26]: [0] 27 |@@@@ | [1] 16 |@@ | [2, 4) 164 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 305 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 94 |@@@@@@@@@@@@@@@@ | [16, 32) 117 |@@@@@@@@@@@@@@@@@@@ | @latency[24]: [0] 24 |@@@ | [1] 9 |@ | [2, 4) 130 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 325 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 82 |@@@@@@@@@@@@@ | [16, 32) 147 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 30 |@@@@ | [64, 128) 1 | | @latency[23]: [0] 7 | | [1] 6 | | [2, 4) 99 |@@@ | [4, 8) 226 |@@@@@@@@ | [8, 16) 245 |@@@@@@@@@ | [16, 32) 609 |@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 1336 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [64, 128) 39 |@ | @latency[19]: [1] 2 | | [2, 4) 383 |@@@@@@@@@ | [4, 8) 572 |@@@@@@@@@@@@@@ | [8, 16) 2103 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 15 | | [32, 64) 2 | | @latency[18]: [1] 52 |@ | [2, 4) 1737 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 895 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 580 |@@@@@@@@@@@@@@@@@ | [16, 32) 35 |@ | @latency[20]: [1] 52 |@ | [2, 4) 1783 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 932 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 492 |@@@@@@@@@@@@@@ | [16, 32) 38 |@ | [32, 64) 2 | | @latency[16]: [1] 47 |@ | [2, 4) 1625 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 984 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 605 |@@@@@@@@@@@@@@@@@@@ | [16, 32) 45 |@ | @latency[17]: [1] 5 | | [2, 4) 895 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 770 |@@@@@@@@@@@@@@@@@ | [8, 16) 2308 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 18 | | [32, 64) 1 | | @latency[21]: [1] 1 | | [2, 4) 167 |@@ | [4, 8) 502 |@@@@@@@ | [8, 16) 3378 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 16 | | [32, 64) 1 | | @latency[11]: [0] 1935 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 385 |@@@@@@@ | [2, 4) 2515 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1409 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 519 |@@@@@@@@@@ | [16, 32) 51 |@ | [32, 64) 5 | | @latency[5]: [1] 8 | | [2, 4) 2209 |@@@@@@@@@@@@@ | [4, 8) 961 |@@@@@@ | [8, 16) 8230 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 1426 |@@@@@@@@@ | [32, 64) 11 | | @latency[28]: [0] 313 |@@ | [1] 2506 |@@@@@@@@@@@@@@@@@@@ | [2, 4) 1986 |@@@@@@@@@@@@@@@ | [4, 8) 6647 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 4350 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 229 |@ | [32, 64) 7 | | @latency[12]: [0] 13381 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 2818 |@@@@@ | [2, 4) 25492 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 13263 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3955 |@@@@@@@@ | [16, 32) 762 |@ | [32, 64) 98 | | @latency[2]: [0] 44748 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 37904 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 21351 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 25915 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 4913 |@@@@@ | [16, 32) 5043 |@@@@@ | [32, 64) 491 | | [64, 128) 26 | | [128, 256) 22 | | [256, 512) 7 | | [512, 1K) 6 | | [1K, 2K) 2 | | [2K, 4K) 4 | | [4K, 8K) 5 | | [8K, 16K) 9 | | [16K, 32K) 8 | | [32K, 64K) 3 | | [64K, 128K) 1 | | [128K, 256K) 1 | | [256K, 512K) 1 | | [512K, 1M) 0 | | [1M, 2M) 0 | | [2M, 4M) 1 | | @latency[14]: [1] 157 | | [2, 4) 36995 |@@@@@@@@@@@@@@@@@@ | [4, 8) 5042 |@@ | [8, 16) 103813 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 14857 |@@@@@@@ | [32, 64) 139 | | [64, 128) 1 | | @latency[15]: [1] 2969 | | [2, 4) 451808 |@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 137612 |@@@@@@@ | [8, 16) 965240 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 41440 |@@ | [32, 64) 574 | | [64, 128) 13 | | [128, 256) 2 | | [256, 512) 0 | | [512, 1K) 1 | | @latency[6]: [0] 2658 | | [1] 16102 | | [2, 4) 1263249 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 394538 |@@@@@@@@@@ | [8, 16) 1991707 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 441179 |@@@@@@@@@@@ | [32, 64) 17582 | | [64, 128) 43306 |@ | [128, 256) 14 | | [256, 512) 7 | | [512, 1K) 2 | | [Tue Jan 13 11:27:14 UTC 2026] respawn: 1: stopped pid 77 with status 0 [Tue Jan 13 11:27:14 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 11:27:15 UTC 2026] respawn: 2: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 115 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 119 root cwd DIR 9,3 4096 13764113 /data sys_write 119 root rtd DIR 0,80 4096 14161179 / sys_write 119 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 119 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 119 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 119 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 119 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 119 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 119 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 119 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 5614ed636000-5614ed63a000 r--p 00000000 09:03 28221037 /usr/bin/dash 5614ed63a000-5614ed64d000 r-xp 00004000 09:03 28221037 /usr/bin/dash 5614ed64d000-5614ed653000 r--p 00017000 09:03 28221037 /usr/bin/dash 5614ed653000-5614ed655000 r--p 0001c000 09:03 28221037 /usr/bin/dash 5614ed655000-5614ed656000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 5614ed656000-5614ed658000 rw-p 00000000 00:00 0 56150cdaa000-56150cdcb000 rw-p 00000000 00:00 0 [heap] 7fa6d6e9a000-7fa6d6e9d000 rw-p 00000000 00:00 0 7fa6d6e9d000-7fa6d6ec3000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa6d6ec3000-7fa6d7019000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa6d7019000-7fa6d706c000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa6d706c000-7fa6d7070000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa6d7070000-7fa6d7072000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fa6d7072000-7fa6d707f000 rw-p 00000000 00:00 0 7fa6d708c000-7fa6d708e000 rw-p 00000000 00:00 0 7fa6d708e000-7fa6d708f000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa6d708f000-7fa6d70b5000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa6d70b5000-7fa6d70bf000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa6d70bf000-7fa6d70c1000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fa6d70c1000-7fa6d70c3000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffe9cbc2000-7ffe9cbe3000 rw-p 00000000 00:00 0 [stack] 7ffe9cbec000-7ffe9cbf0000 r--p 00000000 00:00 0 [vvar] 7ffe9cbf0000-7ffe9cbf2000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1249776 detected long write(fd=2, count=114, ret=114): 450869 us PESPIN: write content: 20260113113029718 DL1P NOTICE (bts=0,tr stack trace of write(): 0x7f82c6c29340 @[ 0x7f82c6c29340 ]: 1 @latency[28]: [1] 1 |@@@@@@@@@@@@@ | [2, 4) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1 |@@@@@@@@@@@@@ | [16, 32) 1 |@@@@@@@@@@@@@ | @latency[13]: [2, 4) 17 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | [8, 16) 1 |@@@ | @latency[26]: [0] 2 |@@ | [1] 3 |@@@ | [2, 4) 11 |@@@@@@@@@@@ | [4, 8) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 9 |@@@@@@@@@ | [16, 32) 11 |@@@@@@@@@@@ | @latency[25]: [0] 2 |@ | [1] 3 |@@ | [2, 4) 9 |@@@@@@@@ | [4, 8) 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 8 |@@@@@@@ | [16, 32) 10 |@@@@@@@@@ | [32, 64) 0 | | [64, 128) 1 | | @latency[24]: [0] 2 |@ | [1] 3 |@@ | [2, 4) 6 |@@@@@ | [4, 8) 53 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 9 |@@@@@@@@ | [16, 32) 13 |@@@@@@@@@@@@ | @latency[18]: [1] 2 | | [2, 4) 137 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 54 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 10 |@@@ | [16, 32) 1 | | @latency[20]: [2, 4) 140 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 50 |@@@@@@@@@@@@@@@@@@ | [8, 16) 14 |@@@@@ | @latency[16]: [1] 2 | | [2, 4) 122 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 66 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 12 |@@@@@ | [16, 32) 2 | | @latency[14]: [2, 4) 135 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 108 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 44 |@@@@@@@@@@@@@@@@ | [16, 32) 8 |@@@ | @latency[23]: [1] 2 | | [2, 4) 11 |@ | [4, 8) 25 |@@ | [8, 16) 157 |@@@@@@@@@@@@@@@ | [16, 32) 542 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 87 |@@@@@@@@ | [64, 128) 37 |@@@ | @latency[19]: [1] 21 |@ | [2, 4) 748 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 282 |@@@@@@@@@@@@@@@@@@@ | [8, 16) 85 |@@@@@ | [16, 32) 2 | | @latency[21]: [0] 47 |@@ | [1] 23 |@ | [2, 4) 1138 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 365 |@@@@@@@@@@@@@@@@ | [8, 16) 143 |@@@@@@ | [16, 32) 5 | | @latency[17]: [1] 25 | | [2, 4) 1648 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 675 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 291 |@@@@@@@@@ | [16, 32) 5 | | @latency[12]: [0] 751 |@@@@@@@@@@@@@@@@@@@@ | [1] 190 |@@@@@ | [2, 4) 1905 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 649 |@@@@@@@@@@@@@@@@@ | [8, 16) 136 |@@@ | [16, 32) 12 | | [32, 64) 1 | | @latency[5]: [1] 41 | | [2, 4) 4090 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2047 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 567 |@@@@@@@ | [16, 32) 174 |@@ | [32, 64) 5 | | [64, 128) 1 | | @latency[2]: [0] 4334 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 2706 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 825 |@@@@@@@@@ | [4, 8) 1241 |@@@@@@@@@@@@@@ | [8, 16) 462 |@@@@@ | [16, 32) 130 |@ | [32, 64) 18 | | [64, 128) 3 | | [128, 256) 7 | | [256, 512) 3 | | [512, 1K) 1 | | [1K, 2K) 0 | | [2K, 4K) 1 | | [4K, 8K) 1 | | [8K, 16K) 1 | | [16K, 32K) 2 | | [32K, 64K) 4 | | [64K, 128K) 5 | | [128K, 256K) 4 | | [256K, 512K) 3 | | @latency[15]: [1] 3015 | | [2, 4) 210263 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 41010 |@@@@@@@@@@ | [8, 16) 49300 |@@@@@@@@@@@@ | [16, 32) 2852 | | [32, 64) 54 | | [64, 128) 3 | | @latency[6]: [0] 92 | | [1] 3655 | | [2, 4) 464043 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 134706 |@@@@@@@@@@@@@@@ | [8, 16) 99793 |@@@@@@@@@@@ | [16, 32) 34196 |@@@ | [32, 64) 8112 | | [64, 128) 453 | | [128, 256) 3 | | [Tue Jan 13 11:31:06 UTC 2026] respawn: 2: stopped pid 119 with status 0 [Tue Jan 13 11:31:06 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 11:31:07 UTC 2026] respawn: 3: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 163 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 167 root cwd DIR 9,3 4096 13764113 /data sys_write 167 root rtd DIR 0,80 4096 14161179 / sys_write 167 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 167 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 167 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 167 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 167 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 167 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 167 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 167 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 559deb63f000-559deb643000 r--p 00000000 09:03 28221037 /usr/bin/dash 559deb643000-559deb656000 r-xp 00004000 09:03 28221037 /usr/bin/dash 559deb656000-559deb65c000 r--p 00017000 09:03 28221037 /usr/bin/dash 559deb65c000-559deb65e000 r--p 0001c000 09:03 28221037 /usr/bin/dash 559deb65e000-559deb65f000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 559deb65f000-559deb661000 rw-p 00000000 00:00 0 559e251d7000-559e251f8000 rw-p 00000000 00:00 0 [heap] 7fd631e4b000-7fd631e4e000 rw-p 00000000 00:00 0 7fd631e4e000-7fd631e74000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd631e74000-7fd631fca000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd631fca000-7fd63201d000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd63201d000-7fd632021000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd632021000-7fd632023000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd632023000-7fd632030000 rw-p 00000000 00:00 0 7fd63203d000-7fd63203f000 rw-p 00000000 00:00 0 7fd63203f000-7fd632040000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd632040000-7fd632066000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd632066000-7fd632070000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd632070000-7fd632072000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd632072000-7fd632074000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffe5680c000-7ffe5682d000 rw-p 00000000 00:00 0 [stack] 7ffe569db000-7ffe569df000 r--p 00000000 00:00 0 [vvar] 7ffe569df000-7ffe569e1000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1470732 detected long write(fd=2, count=126, ret=126): 2041623 us PESPIN: write content: 20260113113253567 DTRX INFO[0 stack trace of write(): 0x7f31a8dbe340 @[ 0x7f31a8dbe340 ]: 1 @latency[26]: [1] 2 |@@@@ | [2, 4) 4 |@@@@@@@@ | [4, 8) 26 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3 |@@@@@@ | [16, 32) 2 |@@@@ | @latency[25]: [1] 2 |@@@@ | [2, 4) 7 |@@@@@@@@@@@@@@@ | [4, 8) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@ | [16, 32) 2 |@@@@ | @latency[24]: [2, 4) 8 |@@@@@@@@@@@@@@@@@ | [4, 8) 24 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@ | [16, 32) 3 |@@@@@@ | @latency[13]: [2, 4) 32 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 6 |@@@@@@@@@ | [8, 16) 2 |@@@ | @latency[20]: [1] 3 |@@ | [2, 4) 74 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 31 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 7 |@@@@ | [16, 32) 1 | | @latency[18]: [1] 1 | | [2, 4) 83 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 22 |@@@@@@@@@@@@@ | [8, 16) 9 |@@@@@ | [16, 32) 1 | | @latency[16]: [1] 1 | | [2, 4) 81 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 28 |@@@@@@@@@@@@@@@@@ | [8, 16) 10 |@@@@@@ | [16, 32) 3 |@ | @latency[19]: [1] 1 | | [2, 4) 159 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 20 |@@@@@@ | [8, 16) 26 |@@@@@@@@ | @latency[23]: [1] 1 | | [2, 4) 8 |@@ | [4, 8) 27 |@@@@@@@ | [8, 16) 125 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 189 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 35 |@@@@@@@@@ | [64, 128) 11 |@@@ | @latency[11]: [0] 130 |@@@@@@@@@@@@@@@@@@@@ | [1] 19 |@@ | [2, 4) 330 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 16 |@@ | [8, 16) 2 | | @latency[21]: [1] 8 | | [2, 4) 483 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 61 |@@@@@@ | [8, 16) 78 |@@@@@@@@ | [16, 32) 1 | | @latency[17]: [1] 10 | | [2, 4) 619 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 62 |@@@@@ | [8, 16) 124 |@@@@@@@@@@ | @latency[14]: [1] 25 |@ | [2, 4) 839 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 208 |@@@@@@@@@@@@ | [8, 16) 335 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 25 |@ | @latency[5]: [1] 5 | | [2, 4) 1103 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 225 |@@@@@@@@@@ | [8, 16) 211 |@@@@@@@@@ | [16, 32) 79 |@@@ | @latency[12]: [0] 466 |@@@@@@@@@@@@@@@@@@@@@@@@ | [1] 130 |@@@@@@ | [2, 4) 971 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 339 |@@@@@@@@@@@@@@@@@@ | [8, 16) 98 |@@@@@ | [16, 32) 5 | | @latency[2]: [0] 3278 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 1287 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 449 |@@@@@@@ | [4, 8) 803 |@@@@@@@@@@@@ | [8, 16) 144 |@@ | [16, 32) 67 |@ | [32, 64) 10 | | [64, 128) 5 | | [128, 256) 3 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 1 | | [8K, 16K) 0 | | [16K, 32K) 2 | | [32K, 64K) 3 | | [64K, 128K) 3 | | [128K, 256K) 3 | | [256K, 512K) 0 | | [512K, 1M) 0 | | [1M, 2M) 1 | | @latency[15]: [1] 743 | | [2, 4) 88570 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10728 |@@@@@@ | [8, 16) 16762 |@@@@@@@@@ | [16, 32) 933 | | [32, 64) 18 | | [64, 128) 1 | | @latency[6]: [0] 692 | | [1] 1502 | | [2, 4) 199465 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 26509 |@@@@@@ | [8, 16) 38556 |@@@@@@@@@@ | [16, 32) 11834 |@@@ | [32, 64) 715 | | [64, 128) 194 | | [128, 256) 2 | | [Tue Jan 13 11:32:56 UTC 2026] respawn: 3: stopped pid 167 with status 0 [Tue Jan 13 11:32:56 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 11:32:57 UTC 2026] respawn: 4: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 211 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 215 root cwd DIR 9,3 4096 13764113 /data sys_write 215 root rtd DIR 0,80 4096 14161179 / sys_write 215 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 215 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 215 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 215 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 215 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 215 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 215 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 215 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 5570147fc000-557014800000 r--p 00000000 09:03 28221037 /usr/bin/dash 557014800000-557014813000 r-xp 00004000 09:03 28221037 /usr/bin/dash 557014813000-557014819000 r--p 00017000 09:03 28221037 /usr/bin/dash 557014819000-55701481b000 r--p 0001c000 09:03 28221037 /usr/bin/dash 55701481b000-55701481c000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 55701481c000-55701481e000 rw-p 00000000 00:00 0 557039f74000-557039f95000 rw-p 00000000 00:00 0 [heap] 7f59fc486000-7f59fc489000 rw-p 00000000 00:00 0 7f59fc489000-7f59fc4af000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f59fc4af000-7f59fc605000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f59fc605000-7f59fc658000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f59fc658000-7f59fc65c000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f59fc65c000-7f59fc65e000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7f59fc65e000-7f59fc66b000 rw-p 00000000 00:00 0 7f59fc678000-7f59fc67a000 rw-p 00000000 00:00 0 7f59fc67a000-7f59fc67b000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f59fc67b000-7f59fc6a1000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f59fc6a1000-7f59fc6ab000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f59fc6ab000-7f59fc6ad000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7f59fc6ad000-7f59fc6af000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffcbcd73000-7ffcbcd94000 rw-p 00000000 00:00 0 [stack] 7ffcbcda5000-7ffcbcda9000 r--p 00000000 00:00 0 [vvar] 7ffcbcda9000-7ffcbcdab000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1524269 detected long write(fd=2, count=137, ret=137): 752791 us PESPIN: write content: 20260113113301656 DABIS NOTICE A-bis co stack trace of write(): 0x7facf4be1340 PESPIN: PID 1524269 detected long write(fd=2, count=127, ret=127): 1462444 us PESPIN: write content: 20260113113533060 DTRX INFO[0 stack trace of write(): 0x7facf4be1340 @[ 0x7facf4be1340 ]: 2 @latency[13]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2 |@@@@@@ | [8, 16) 1 |@@@ | [16, 32) 1 |@@@ | @latency[26]: [1] 3 |@@@@@ | [2, 4) 11 |@@@@@@@@@@@@@@@@@@@ | [4, 8) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 6 |@@@@@@@@@@ | [16, 32) 4 |@@@@@@@ | @latency[25]: [1] 2 |@@@ | [2, 4) 12 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 5 |@@@@@@@@ | [16, 32) 4 |@@@@@@ | @latency[24]: [1] 3 |@@@@@ | [2, 4) 7 |@@@@@@@@@@@ | [4, 8) 31 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 6 |@@@@@@@@@@ | [16, 32) 6 |@@@@@@@@@@ | @latency[20]: [2, 4) 105 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@ | [8, 16) 7 |@@@ | @latency[18]: [1] 1 | | [2, 4) 104 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4 |@@ | [8, 16) 7 |@@@ | @latency[16]: [2, 4) 165 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 17 |@@@@@ | [8, 16) 20 |@@@@@@ | [16, 32) 1 | | @latency[11]: [0] 28 |@@@@@@@@@ | [1] 0 | | [2, 4) 148 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@ | [8, 16) 10 |@@@ | [16, 32) 15 |@@@@@ | [32, 64) 1 | | @latency[23]: [2, 4) 8 |@ | [4, 8) 26 |@@@ | [8, 16) 88 |@@@@@@@@@@@@@ | [16, 32) 341 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 94 |@@@@@@@@@@@@@@ | [64, 128) 31 |@@@@ | @latency[19]: [1] 2 | | [2, 4) 330 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 188 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 84 |@@@@@@@@@@@@@ | [16, 32) 5 | | @latency[21]: [2, 4) 473 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 199 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 235 |@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 3 | | @latency[17]: [1] 3 | | [2, 4) 1018 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 358 |@@@@@@@@@@@@@@@@@@ | [8, 16) 282 |@@@@@@@@@@@@@@ | [16, 32) 3 | | @latency[12]: [0] 577 |@@@@@@@@@@@@@@@@@@@@@@@ | [1] 153 |@@@@@@ | [2, 4) 1273 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 45 |@ | [8, 16) 10 | | [16, 32) 2 | | [32, 64) 1 | | @latency[5]: [1] 8 | | [2, 4) 3482 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 819 |@@@@@@@@@@@@ | [8, 16) 572 |@@@@@@@@ | [16, 32) 49 | | [32, 64) 2 | | @latency[2]: [0] 3876 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 487 |@@@@@@ | [2, 4) 601 |@@@@@@@@ | [4, 8) 933 |@@@@@@@@@@@@ | [8, 16) 264 |@@@ | [16, 32) 106 |@ | [32, 64) 8 | | [64, 128) 5 | | [128, 256) 4 | | [256, 512) 0 | | [512, 1K) 0 | | [1K, 2K) 2 | | [2K, 4K) 0 | | [4K, 8K) 2 | | [8K, 16K) 2 | | [16K, 32K) 2 | | [32K, 64K) 1 | | [64K, 128K) 3 | | [128K, 256K) 0 | | [256K, 512K) 0 | | [512K, 1M) 1 | | [1M, 2M) 1 | | @latency[14]: [1] 168 | | [2, 4) 13023 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 2127 |@@@@@@@@ | [8, 16) 1907 |@@@@@@@ | [16, 32) 81 | | [32, 64) 4 | | @latency[15]: [1] 669 | | [2, 4) 136599 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 21500 |@@@@@@@@ | [8, 16) 35898 |@@@@@@@@@@@@@ | [16, 32) 1495 | | [32, 64) 37 | | [64, 128) 2 | | [128, 256) 0 | | [256, 512) 1 | | @latency[6]: [0] 221 | | [1] 1311 | | [2, 4) 377279 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 62869 |@@@@@@@@ | [8, 16) 84217 |@@@@@@@@@@@ | [16, 32) 14987 |@@ | [32, 64) 2831 | | [64, 128) 291 | | [128, 256) 2 | | [256, 512) 2 | | [Tue Jan 13 11:35:34 UTC 2026] respawn: 4: stopped pid 215 with status 0 [Tue Jan 13 11:35:34 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 11:35:35 UTC 2026] respawn: 5: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 259 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 263 root cwd DIR 9,3 4096 13764113 /data sys_write 263 root rtd DIR 0,80 4096 14161179 / sys_write 263 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 263 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 263 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 263 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 263 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 263 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 263 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 263 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 56402b494000-56402b498000 r--p 00000000 09:03 28221037 /usr/bin/dash 56402b498000-56402b4ab000 r-xp 00004000 09:03 28221037 /usr/bin/dash 56402b4ab000-56402b4b1000 r--p 00017000 09:03 28221037 /usr/bin/dash 56402b4b1000-56402b4b3000 r--p 0001c000 09:03 28221037 /usr/bin/dash 56402b4b3000-56402b4b4000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 56402b4b4000-56402b4b6000 rw-p 00000000 00:00 0 56405c90a000-56405c92b000 rw-p 00000000 00:00 0 [heap] 7fc50adef000-7fc50adf2000 rw-p 00000000 00:00 0 7fc50adf2000-7fc50ae18000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc50ae18000-7fc50af6e000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc50af6e000-7fc50afc1000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc50afc1000-7fc50afc5000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc50afc5000-7fc50afc7000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fc50afc7000-7fc50afd4000 rw-p 00000000 00:00 0 7fc50afe1000-7fc50afe3000 rw-p 00000000 00:00 0 7fc50afe3000-7fc50afe4000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc50afe4000-7fc50b00a000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc50b00a000-7fc50b014000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc50b014000-7fc50b016000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fc50b016000-7fc50b018000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffc9f05d000-7ffc9f07e000 rw-p 00000000 00:00 0 [stack] 7ffc9f1cb000-7ffc9f1cf000 r--p 00000000 00:00 0 [vvar] 7ffc9f1cf000-7ffc9f1d1000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1616608 detected long write(fd=2, count=126, ret=126): 2301746 us PESPIN: write content: 20260113113554709 DTRX INFO[0 stack trace of write(): 0x7f226a852340 @[ 0x7f226a852340 ]: 1 @latency[26]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | @latency[25]: [2, 4) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 1 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[24]: [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[19]: [2, 4) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | @latency[13]: [2, 4) 16 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@@ | @latency[23]: [4, 8) 2 |@@@@@@@ | [8, 16) 3 |@@@@@@@@@@@ | [16, 32) 14 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 3 |@@@@@@@@@@@ | @latency[20]: [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 12 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 3 |@@@@@@@@@@@@@ | @latency[18]: [2, 4) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 13 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@@@@@@@@ | @latency[17]: [2, 4) 34 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 11 |@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@@ | @latency[16]: [2, 4) 39 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 18 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 6 |@@@@@@@@ | @latency[11]: [0] 52 |@@@@@@@@@@@@@@@@@@ | [1] 1 | | [2, 4) 149 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9 |@@@ | @latency[5]: [1] 1 | | [2, 4) 152 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 64 |@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 51 |@@@@@@@@@@@@@@@@@ | [16, 32) 1 | | @latency[12]: [0] 68 |@@@@@@@@@@@@@@@@@@ | [1] 2 | | [2, 4) 147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 196 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 14 |@@@ | [16, 32) 3 | | @latency[2]: [0] 607 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 439 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 98 |@@@@@@@@ | [4, 8) 133 |@@@@@@@@@@@ | [8, 16) 31 |@@ | [16, 32) 3 | | [32, 64) 2 | | [64, 128) 1 | | [128, 256) 0 | | [256, 512) 1 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 0 | | [16K, 32K) 0 | | [32K, 64K) 0 | | [64K, 128K) 0 | | [128K, 256K) 0 | | [256K, 512K) 0 | | [512K, 1M) 0 | | [1M, 2M) 0 | | [2M, 4M) 1 | | @latency[15]: [1] 96 |@ | [2, 4) 4465 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 547 |@@@@@@ | [8, 16) 1447 |@@@@@@@@@@@@@@@@ | [16, 32) 13 | | [32, 64) 1 | | @latency[14]: [1] 111 | | [2, 4) 6979 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 693 |@@@@@ | [8, 16) 368 |@@ | [16, 32) 12 | | [32, 64) 1 | | @latency[6]: [1] 119 | | [2, 4) 32628 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 4684 |@@@@@@@ | [8, 16) 5241 |@@@@@@@@ | [16, 32) 785 |@ | [32, 64) 203 | | [Tue Jan 13 11:35:57 UTC 2026] respawn: 5: stopped pid 263 with status 0 [Tue Jan 13 11:35:57 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 11:35:58 UTC 2026] respawn: 6: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 307 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 311 root cwd DIR 9,3 4096 13764113 /data sys_write 311 root rtd DIR 0,80 4096 14161179 / sys_write 311 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 311 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 311 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 311 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 311 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 311 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 311 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 311 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 5564bf446000-5564bf44a000 r--p 00000000 09:03 28221037 /usr/bin/dash 5564bf44a000-5564bf45d000 r-xp 00004000 09:03 28221037 /usr/bin/dash 5564bf45d000-5564bf463000 r--p 00017000 09:03 28221037 /usr/bin/dash 5564bf463000-5564bf465000 r--p 0001c000 09:03 28221037 /usr/bin/dash 5564bf465000-5564bf466000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 5564bf466000-5564bf468000 rw-p 00000000 00:00 0 5564f3eec000-5564f3f0d000 rw-p 00000000 00:00 0 [heap] 7fd9254f8000-7fd9254fb000 rw-p 00000000 00:00 0 7fd9254fb000-7fd925521000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd925521000-7fd925677000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd925677000-7fd9256ca000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd9256ca000-7fd9256ce000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd9256ce000-7fd9256d0000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd9256d0000-7fd9256dd000 rw-p 00000000 00:00 0 7fd9256ea000-7fd9256ec000 rw-p 00000000 00:00 0 7fd9256ec000-7fd9256ed000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd9256ed000-7fd925713000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd925713000-7fd92571d000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd92571d000-7fd92571f000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd92571f000-7fd925721000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffd02c7d000-7ffd02c9e000 rw-p 00000000 00:00 0 [stack] 7ffd02d6b000-7ffd02d6f000 r--p 00000000 00:00 0 [vvar] 7ffd02d6f000-7ffd02d71000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1639242 detected long write(fd=2, count=169, ret=169): 547377 us PESPIN: write content: 20260113113607715 DL1P NOTICE GSMTAP: U stack trace of write(): 0x7fe079fc8340 PESPIN: PID 1639242 detected long write(fd=2, count=114, ret=114): 465376 us PESPIN: write content: 20260113113619727 DL1P NOTICE (bts=0,tr stack trace of write(): 0x7fe079fc8340 PESPIN: PID 1639242 detected long write(fd=2, count=126, ret=126): 505536 us PESPIN: write content: 20260113113628461 DTRX INFO[0 stack trace of write(): 0x7fe079fc8340 PESPIN: PID 1639242 detected long write(fd=2, count=120, ret=120): 1282001 us PESPIN: write content: 20260113113630397 DRSL INFO[0 stack trace of write(): 0x7fe079fc8340 @[ 0x7fe079fc8340 ]: 4 @latency[26]: [1] 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[25]: [1] 2 |@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 3 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 4 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[24]: [1] 2 |@@@@@@@@@@@@@@@@@@@@ | [2, 4) 2 |@@@@@@@@@@@@@@@@@@@@ | [4, 8) 5 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| @latency[13]: [2, 4) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1 |@@@ | [8, 16) 2 |@@@@@@ | [16, 32) 1 |@@@ | @latency[19]: [2, 4) 19 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 3 |@@@@@@@@ | [8, 16) 4 |@@@@@@@@@@ | [16, 32) 1 |@@ | @latency[20]: [1] 3 |@@@@@@ | [2, 4) 23 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 3 |@@@@@@ | @latency[18]: [1] 2 |@@@ | [2, 4) 29 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10 |@@@@@@@@@@@@@@@@@ | [8, 16) 2 |@@@ | [16, 32) 1 |@ | @latency[23]: [0] 2 |@@@@@@ | [1] 0 | | [2, 4) 4 |@@@@@@@@@@@@@ | [4, 8) 8 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 15 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [32, 64) 11 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [64, 128) 3 |@@@@@@@@@@ | @latency[21]: [2, 4) 30 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 7 |@@@@@@@@@@@@ | [8, 16) 27 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 1 |@ | @latency[16]: [1] 3 |@@ | [2, 4) 61 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 24 |@@@@@@@@@@@@@@@@@@@@ | [8, 16) 12 |@@@@@@@@@@ | [16, 32) 2 |@ | @latency[17]: [2, 4) 62 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 5 |@@@@ | [8, 16) 33 |@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4 |@@@ | @latency[11]: [2, 4) 147 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 44 |@@@@@@@@@@@@@@@ | [8, 16) 16 |@@@@@ | [16, 32) 4 |@ | @latency[5]: [1] 5 |@@ | [2, 4) 119 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 29 |@@@@@@@@@@@@ | [8, 16) 46 |@@@@@@@@@@@@@@@@@@@@ | [16, 32) 33 |@@@@@@@@@@@@@@ | @latency[12]: [0] 81 |@@@@@@@@@@ | [1] 113 |@@@@@@@@@@@@@@ | [2, 4) 405 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 188 |@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 69 |@@@@@@@@ | [16, 32) 16 |@@ | [32, 64) 4 | | @latency[2]: [0] 860 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 685 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [2, 4) 250 |@@@@@@@@@@@@@@@ | [4, 8) 313 |@@@@@@@@@@@@@@@@@@ | [8, 16) 62 |@@@ | [16, 32) 44 |@@ | [32, 64) 5 | | [64, 128) 1 | | [128, 256) 0 | | [256, 512) 2 | | [512, 1K) 0 | | [1K, 2K) 0 | | [2K, 4K) 0 | | [4K, 8K) 0 | | [8K, 16K) 1 | | [16K, 32K) 0 | | [32K, 64K) 0 | | [64K, 128K) 0 | | [128K, 256K) 2 | | [256K, 512K) 2 | | [512K, 1M) 1 | | [1M, 2M) 1 | | @latency[14]: [1] 21 | | [2, 4) 9052 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1227 |@@@@@@@ | [8, 16) 1391 |@@@@@@@ | [16, 32) 80 | | [32, 64) 2 | | @latency[15]: [1] 27 | | [2, 4) 6631 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 1399 |@@@@@@@@@@ | [8, 16) 6089 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 515 |@@@@ | [32, 64) 12 | | @latency[6]: [0] 27 | | [1] 587 | | [2, 4) 36976 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 7442 |@@@@@@@@@@ | [8, 16) 15420 |@@@@@@@@@@@@@@@@@@@@@ | [16, 32) 4088 |@@@@@ | [32, 64) 227 | | [64, 128) 411 | | [Tue Jan 13 11:36:32 UTC 2026] respawn: 6: stopped pid 311 with status 0 [Tue Jan 13 11:36:32 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 11:36:33 UTC 2026] respawn: 7: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 355 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end. lsof output: COMMAND PID USER FD TYPE FILE-FLAG DEVICE SIZE/OFF NODE NAME sys_write 359 root cwd DIR 9,3 4096 13764113 /data sys_write 359 root rtd DIR 0,80 4096 14161179 / sys_write 359 root txt REG 0,80 125640 28221037 /usr/bin/dash sys_write 359 root mem REG 9,3 28221037 /usr/bin/dash (path dev=0,80) sys_write 359 root mem REG 9,3 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 (path dev=0,80) sys_write 359 root mem REG 9,3 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 (path dev=0,80) sys_write 359 root 0r CHR LG 1,3 0t0 17 /dev/null sys_write 359 root 1w FIFO W 0,13 0t0 1858027630 pipe sys_write 359 root 2w FIFO W 0,13 0t0 1858027631 pipe sys_write 359 root 10r REG LG,CX 9,3 104 13764123 /data/bpftrace/sys_write_delay.sh maps output: 5560ab6dc000-5560ab6e0000 r--p 00000000 09:03 28221037 /usr/bin/dash 5560ab6e0000-5560ab6f3000 r-xp 00004000 09:03 28221037 /usr/bin/dash 5560ab6f3000-5560ab6f9000 r--p 00017000 09:03 28221037 /usr/bin/dash 5560ab6f9000-5560ab6fb000 r--p 0001c000 09:03 28221037 /usr/bin/dash 5560ab6fb000-5560ab6fc000 rw-p 0001e000 09:03 28221037 /usr/bin/dash 5560ab6fc000-5560ab6fe000 rw-p 00000000 00:00 0 5560e62b4000-5560e62d5000 rw-p 00000000 00:00 0 [heap] 7fd3fe200000-7fd3fe203000 rw-p 00000000 00:00 0 7fd3fe203000-7fd3fe229000 r--p 00000000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd3fe229000-7fd3fe37f000 r-xp 00026000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd3fe37f000-7fd3fe3d2000 r--p 0017c000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd3fe3d2000-7fd3fe3d6000 r--p 001cf000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd3fe3d6000-7fd3fe3d8000 rw-p 001d3000 09:03 28221698 /usr/lib/x86_64-linux-gnu/libc.so.6 7fd3fe3d8000-7fd3fe3e5000 rw-p 00000000 00:00 0 7fd3fe3f2000-7fd3fe3f4000 rw-p 00000000 00:00 0 7fd3fe3f4000-7fd3fe3f5000 r--p 00000000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd3fe3f5000-7fd3fe41b000 r-xp 00001000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd3fe41b000-7fd3fe425000 r--p 00027000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd3fe425000-7fd3fe427000 r--p 00031000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7fd3fe427000-7fd3fe429000 rw-p 00033000 09:03 28221680 /usr/lib/x86_64-linux-gnu/ld-linux-x86-64.so.2 7ffc7a371000-7ffc7a392000 rw-p 00000000 00:00 0 [stack] 7ffc7a3b2000-7ffc7a3b6000 r--p 00000000 00:00 0 [vvar] 7ffc7a3b6000-7ffc7a3b8000 r-xp 00000000 00:00 0 [vdso] PESPIN: PID 1653085 detected long write(fd=2, count=183, ret=183): 1133235 us PESPIN: write content: 20260113114010326 DL1P NOTICE 000579/00 stack trace of write(): 0x7f2e4c4fd340 @[ 0x7f2e4c4fd340 ]: 1 @latency[13]: [2, 4) 50 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 8 |@@@@@@@@ | [8, 16) 2 |@@ | [16, 32) 1 |@ | @latency[26]: [0] 4 |@@@@ | [1] 4 |@@@@ | [2, 4) 47 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 41 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 0 | | [16, 32) 1 |@ | @latency[25]: [0] 4 |@@@@ | [1] 4 |@@@@ | [2, 4) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 43 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 1 |@ | [16, 32) 2 |@@ | @latency[24]: [0] 3 |@@ | [1] 4 |@@@ | [2, 4) 27 |@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 60 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [8, 16) 2 |@ | [16, 32) 1 | | @latency[19]: [1] 2 | | [2, 4) 383 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 12 |@ | [8, 16) 12 |@ | [16, 32) 1 | | @latency[20]: [1] 3 | | [2, 4) 432 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 12 |@ | [8, 16) 3 | | [16, 32) 1 | | @latency[18]: [1] 2 | | [2, 4) 435 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 10 |@ | [8, 16) 4 | | @latency[16]: [1] 1 | | [2, 4) 449 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 32 |@@@ | [8, 16) 55 |@@@@@@ | [16, 32) 4 | | @latency[11]: [0] 140 |@@@@@@@@@@@@@@@ | [1] 105 |@@@@@@@@@@@ | [2, 4) 480 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 51 |@@@@@ | [8, 16) 6 | | [16, 32) 1 | | @latency[23]: [0] 4 | | [1] 2 | | [2, 4) 33 |@@@@@ | [4, 8) 245 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [8, 16) 321 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 321 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [32, 64) 35 |@@@@@ | [64, 128) 3 | | @latency[21]: [1] 2 | | [2, 4) 894 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 62 |@@@ | [8, 16) 98 |@@@@@ | @latency[17]: [1] 15 | | [2, 4) 1261 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 66 |@@ | [8, 16) 100 |@@@@ | [16, 32) 1 | | @latency[5]: [1] 32 | | [2, 4) 2128 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 164 |@@@@ | [8, 16) 243 |@@@@@ | [16, 32) 21 | | @latency[12]: [0] 2240 |@@@@@@@@@@@@@@@@@@@@@@ | [1] 935 |@@@@@@@@@ | [2, 4) 5220 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 251 |@@ | [8, 16) 41 | | [16, 32) 3 | | @latency[14]: [1] 60 | | [2, 4) 6685 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ | [4, 8) 2702 |@@@@@@@@@@@@@@@ | [8, 16) 9006 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [16, 32) 295 |@ | [32, 64) 3 | | @latency[2]: [0] 19259 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [1] 3141 |@@@@@@@@ | [2, 4) 1687 |@@@@ | [4, 8) 1648 |@@@@ | [8, 16) 263 | | [16, 32) 95 | | [32, 64) 16 | | [64, 128) 13 | | [128, 256) 8 | | [256, 512) 3 | | [512, 1K) 1 | | [1K, 2K) 3 | | [2K, 4K) 3 | | [4K, 8K) 5 | | [8K, 16K) 4 | | [16K, 32K) 8 | | [32K, 64K) 11 | | [64K, 128K) 3 | | [128K, 256K) 3 | | [256K, 512K) 0 | | [512K, 1M) 0 | | [1M, 2M) 1 | | @latency[15]: [1] 2002 | | [2, 4) 159736 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 9062 |@@ | [8, 16) 17219 |@@@@@ | [16, 32) 535 | | [32, 64) 6 | | @latency[6]: [0] 7766 | | [1] 3408 | | [2, 4) 441288 |@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@| [4, 8) 32403 |@@@ | [8, 16) 66027 |@@@@@@@ | [16, 32) 5951 | | [32, 64) 733 | | [64, 128) 256 | | [128, 256) 2 | | [Tue Jan 13 11:40:52 UTC 2026] respawn: 7: stopped pid 359 with status 0 [Tue Jan 13 11:40:52 UTC 2026] respawn: sleeping 1 seconds... [Tue Jan 13 11:40:53 UTC 2026] respawn: 8: starting: /data/bpftrace/sys_write_delay.sh + pidof osmo-bts-trx + bpftrace /data/bpftrace/sys_write_delay.bt -p 355 --unsafe osmo-bts-trx Attaching 3 probes... Tracing sys_write() latency... Hit Ctrl-C to end.