Category: language

不同实现递归遍历文件夹的性能差异
背景

公司的存储项目主要代码都是java实现, 使用引用计数判断一个数据块是否要被回收.
当数据块的引用计数变为0时, 会触发回收这个数据块, 把它移动到trash 文件夹.
回收数据块前需要删除重删库中数据块的指纹, 这个过程中, 有可能有新的数据引用到这些数据块.
为了解决这个问题,又减少对性能影响. 规定对如果数据块对应的数据指纹最近被查询, 那么这个数据块不能被回收.
这导致了存储长期运行, 会有一些数据块已经没用但是没有被回收. 为此需要定期扫描全部的数据块, 尝试对所有数据块进行一次回收,从而回收那些无用的数据块.

因此存储开发了一个遍历文件夹过程找出数据块的功能.使用java 的Files.walk 接口实现的.

在客户环境实际使用这个功能时, 发现远比直接使用linux find 命令慢. 使用存储的遍历功能执行了5个小时没有结束, 而使用find命令一个小时可以执行完.

测试环境

调研了一下, 类似linux find的工具, 有一个bfs工具
在测试环境对同一个文件夹进行遍历, 过滤出数据块.
```
存储功能花费时间: 1161秒
find: 114秒
bfs:  63秒
```
发现, java的Files.walk 遍历找数据块的性能只有linux find 的十分之一. 然后bfs比find的性能快了接近一倍.

bfs 作者写了篇文章讲述bfs的实现原理. 主要是使用了linux readdir 接口.

实现不同遍历文件夹的接口, 测试性能

为此我写了一个程序, 使用java 实现调用不同接口遍历文件夹, 测试它们的性能差异. github地址: https://github.com/IUHHUI/benmark-traversal-dir
```
0       JAVA_LIST_FILES              使用java File listFiles接口 实现
1       JAVA_FILES_WALk              使用java Files.walk接口 实现
2       JAVA_FILES_PARALLEL          使用java Files.walk接口+stream并行 实现
3       AWS_CRT                      使用aws crt 库的DirectoryTraversal.traverse 实现
4       JNR_READ_DIR                 使用java jnr调用linux readdir接口 实现
5       JNR_READ_DIR_FORK_JOIN       使用java jnr调用linux readdir接口+java ForkJoin框架 实现
6       JNR_TRAVERSAL_SO_SINGLE      使用java jnr调用c语言写的遍历文件夹so 实现
7       JNR_TRAVERSAL_SO_PARALLEL    使用java jnr调用c语言写的多线程遍历文件夹so 实现
```
测试脚本:
```
for i in $(seq 0 7) ; do
        echo 3 > /proc/sys/vm/drop_caches
        sync
        sleep 2
        rm -f  "/meta/data${i}";
        java -jar benmark-traversal-dir-1.0-SNAPSHOT-jar-with-dependencies.jar "${i}" /data/ "/meta/data${i}";
done
```
测试结果如下:
```
JAVA_LIST_FILES Time elapsed: 1217766ms. result : SUCCESS
JAVA_FILES_WALk Time elapsed: 1233453ms. result : SUCCESS
JAVA_FILES_PARALLEL Time elapsed: 1165995ms. result : SUCCESS
AWS_CRT Time elapsed: 1403918ms. result : SUCCESS
JNR_READ_DIR Time elapsed: 100373ms. result : SUCCESS
JNR_READ_DIR_FORK_JOIN Time elapsed: 36833ms. result : SUCCESS
JNR_TRAVERSAL_SO_SINGLE Time elapsed: 113996ms. result : SUCCESS
JNR_TRAVERSAL_SO_PARALLEL Time elapsed: 38974ms. result : SUCCESS
```
测试发现 JNR_READ_DIR_FORK_JOIN 的性能是使用java 原生接口的40倍.

火焰图分析

使用阿里的arthas 生成火焰图, 分析 java 原生接口到底慢在哪里.

使用java原生接口java/io/File.ListFiles时, 需要使用java/io/File.isFile判断是否文件, 从火焰图看到基本都在 java/io/File.isFile 上,而这个函数底层基本都是在调用vfs_statfs.
使用java原生接口Files.walk时, 从火焰图看到基本都在 java/nio/file/FileTreeWalker.visit 上, 而这个函数底层基本都是在调用vfs_statfs.
而使用linux readdir, 可以避免查询每一个文件的属性.
2024年11月22日

通过arthas 打印spring项目的配置

spring程序运行起来后, 有时候想看看配置是否正确或者spring项目的一些默认配置项是什么.可以通过阿里云的arthas 将内存中的spring 配置类打印出来.

查找实例的类加载器

[arthas@439]$ sc -d org.springframework.boot.autoconfigure.web.ServerProperties
 class-info        org.springframework.boot.autoconfigure.web.ServerProperties
 code-source       /usr/share/octopus/lib/spring-boot-autoconfigure-3.2.1.jar
 name              org.springframework.boot.autoconfigure.web.ServerProperties
 isInterface       false
 isAnnotation      false
 isEnum            false
 isAnonymousClass  false
 isArray           false
 isLocalClass      false
 isMemberClass     false
 isPrimitive       false
 isSynthetic       false
 simple-name       ServerProperties
 modifier          public
 annotation        org.springframework.boot.context.properties.ConfigurationProperties
 interfaces
 super-class       +-java.lang.Object
 class-loader      +-jdk.internal.loader.ClassLoaders$AppClassLoader@5ffd2b27
                     +-jdk.internal.loader.ClassLoaders$PlatformClassLoader@34cd072c
 classLoaderHash   5ffd2b27

打印类情况

[arthas@439]$ vmtool -c  5ffd2b27 --action getInstances  --className org.springframework.boot.autoconfigure.web.ServerProperties  -x 2
@ServerProperties[][
    @ServerProperties[
        port=@Integer[19091],
        address=null,
        error=@ErrorProperties[org.springframework.boot.autoconfigure.web.ErrorProperties@2b101c68],
        forwardHeadersStrategy=null,
        serverHeader=null,
        maxHttpRequestHeaderSize=@DataSize[8192B],
        shutdown=@Shutdown[IMMEDIATE],
        ssl=@Ssl[org.springframework.boot.web.server.Ssl@4d349bbc],
        compression=@Compression[org.springframework.boot.web.server.Compression@195400d1],
        http2=@Http2[org.springframework.boot.web.server.Http2@1654070d],
        servlet=@Servlet[org.springframework.boot.autoconfigure.web.ServerProperties$Servlet@3d8cbaf3],
        reactive=@Reactive[org.springframework.boot.autoconfigure.web.ServerProperties$Reactive@548c3f85],
        tomcat=@Tomcat[org.springframework.boot.autoconfigure.web.ServerProperties$Tomcat@6d67ef4d],
        jetty=@Jetty[org.springframework.boot.autoconfigure.web.ServerProperties$Jetty@5b3df183],
        netty=@Netty[org.springframework.boot.autoconfigure.web.ServerProperties$Netty@3be9335],
        undertow=@Undertow[org.springframework.boot.autoconfigure.web.ServerProperties$Undertow@36fbf4d0],
    ],
]

2024年9月18日

linux安装多个版本的golang

直接下载压缩包

下载压缩包,然后改变软连

[wjh@node1 ~]$ go version
go version go1.22.5 linux/amd64
[wjh@node1 ~]$ which go
/usr/bin/go
[wjh@node1 ~]$ ls -al /usr/bin/|grep go$
lrwxrwxrwx   1 root root          24 Jan 12  2022 go -> /usr/local/golang/bin/go
[wjh@node1 ~]$
[wjh@node1 ~]$ ls -al /usr/local/golang
total 12
drwxr-xr-x   5 root root   65 Aug  5 17:09 .
drwxr-xr-x. 27 root root 4096 Jul 14 03:07 ..
lrwxrwxrwx   1 root root   30 Aug  5 17:09 bin -> /usr/local/golang/go1.22.5/bin
drwxr-xr-x  10 wjh  wjh   257 Jan  7  2022 go1.17.6
drwxr-xr-x  10 root root 4096 Aug 31  2023 go1.21.0
drwxr-xr-x  10 root root 4096 Jun 28 04:11 go1.22.5
[wjh@node1 ~]$

这样要切换golang 版本我要自己更新软连.

使用 go install 安装

[wjh@node1 ~]$ go install golang.org/dl/go1.23.0@latest

[wjh@node1 ~]$ go1.23.0 version
go1.23.0: not downloaded. Run 'go1.23.0 download' to install to /home/wjh/sdk/go1.23.0

[wjh@node1 ~]$ go1.23.0 download
Downloaded   0.0% (   16384 / 73590011 bytes) ...
Downloaded  13.7% (10059776 / 73590011 bytes) ...
Downloaded  36.2% (26607616 / 73590011 bytes) ...
Downloaded  57.1% (42024928 / 73590011 bytes) ...
Downloaded  75.0% (55197536 / 73590011 bytes) ...
Downloaded  90.2% (66387760 / 73590011 bytes) ...
Downloaded 100.0% (73590011 / 73590011 bytes)
Unpacking /home/wjh/sdk/go1.23.0/go1.23.0.linux-amd64.tar.gz ...
Success. You may now run 'go1.23.0'

[wjh@node1 ~]$ go1.23.0 version
go version go2.23.0 linux/amd64

2024年8月23日

查找spring可配置项

spring 配置文件有哪些可配置项, 可以从官网查询

https://docs.spring.io/spring-boot/docs/current/reference/html/application-properties.html

2024年3月7日

go_1.21泛型示例

package demo

import (
    "math/rand"
    "time"
)

// 定义泛型接口
type RandomElementer[T any] interface {
    // 返回一个随机的元素，如果集合为空，返回(zero, false)
    RandomElement() (T, bool)
}

func MustRandom[T any](collection RandomElementer[T]) T {
    val, ok := collection.RandomElement()
    if !ok {
        panic("collection is empty.")
    }
    return val
}

// MyList 泛型集合.
type MyList[T any] []T

// MyList 实现接口RandomElement
func (l MyList[T]) RandomElement() (T, bool) {
    n := len(l)
    if n == 1 {
        return l[0], true
    }

    r := rand.New(rand.NewSource(time.Now().UnixNano()))
    return l[r.Intn(n)], true
}

package demo

import (
    "reflect"
    "testing"
)

func TestMustRandom(t *testing.T) {
    type args struct {
        collection RandomElementer[int]
    }
    tests := []struct {
        name string
        args args
        want int
    }{
        // TODO: Add test cases.
        {
            "case1",
            args{MyList[int]{1, 1, 1}},
            1,
        },
        {
            "case2",
            args{MyList[int]{6, 6, 6}},
            6,
        },
    }
    for _, tt := range tests {
        t.Run(tt.name, func(t *testing.T) {
            if got := MustRandom(tt.args.collection); !reflect.DeepEqual(got, tt.want) {
                t.Errorf("MustRandom() = %v, want %v", got, tt.want)
            }
        })
    }
}

2023年9月22日

Category: language

不同实现递归遍历文件夹的性能差异

背景

测试环境

实现不同遍历文件夹的接口, 测试性能

火焰图分析

通过arthas 打印spring项目的配置

linux安装多个版本的golang

直接下载压缩包

使用 go install 安装

查找spring可配置项

go_1.21泛型示例