2024年10月使用cgroups管理Linux磁盘io的方法

发布时间:

  ⑴我们都知道Linux系统中的cgroups可用于管理cpu资源,今天小编要给大家介绍的是如何使用cgroups管理进程磁盘io,如果你对此感兴趣的话,不妨来了解下吧。

  ⑵这个功能通过 blkio 子系统实现。

  ⑶blkio 子系统里东西很多。不过大部分都是只读的状态报告,可写的参数就只有下面这几个:

  ⑷blkio.throttle.read_bps_device

  ⑸blkio.throttle.read_iops_device

  ⑹blkio.throttle.write_bps_device

  ⑺blkio.throttle.write_iops_device

  ⑻blkio.weight

  ⑼blkio.weight_device

  ⑽这些都是用来控制进程的磁盘 io 的。很明显地分成两类,其中带“throttle”的,顾名思义就是节流阀,将流量限制在某个值下。而“weight”就是分配 io 的权重。

  ⑾“throttle”的那四个参数看名字就知道是做什么用的。拿 blkio.throttle.read_bps_device 来限制每秒能读取的字节数。先跑点 io 出来

  ⑿dd if=/dev/sda of=/dev/null &

  ⒀用 iotop 看看目前的 io

  ⒁TID PRIO USER DISK READ DISK WRITE SWAPIN IO》 MAND

  ⒂ be/ root . M/s . B/s . % . % dd if=/dev/sda of=/dev/null

  ⒃然后修改一下资源限制,把进程加入控制组

  ⒄echo ‘: ’ 》/sys/fs/cgroup/blkio/foo/blkio.throttle.read_bps_device

  ⒅echo 》/sys/fs/cgroup/blkio/foo/tasks

  ⒆这里的 : 就是对应块设备的主设备号和副设备号。可以通过 ls -l 设备文件名查看。如

  ⒇# ls -l /dev/sda

  ⒈brw-rw----。 root disk , Oct : /dev/sda

  ⒉这里的 , 就是对应的设备号。所以,cgroups 可以对不同的设备做不同的限制。然后来看看效果

  ⒊TID PRIO USER DISK READ DISK WRITE SWAPIN IO》 MAND

  ⒋ be/ root . K/s . B/s . % . % dd if=/dev/sda of=/dev/null

  ⒌可见,进程的每秒读取立马就降到了 MB 左右。要解除限制,写入如 “: ” 到文件中即可

  ⒍不过需要注意的是,这种方式对小于采样间隔里产生的大量 io 是没用的。比如,就算在 s 内产生一个每秒写入 M 的峰值,也不会因此被限制掉。

  ⒎再看看 blkio.weight 。blkio 的 throttle 和 weight 方式和 cpu 子系统的 quota 和 shares 有点像,都是一种是绝对限制,另一种是相对限制,并且在不繁忙的时候可以充分利用资源,权重值的范围在 – 之间。

  ⒏测试权重方式要麻烦一点。因为不是绝对限制,所以会受到文件系统缓存的影响。如在虚拟机中测试,要关闭虚机如我用的 VirtualBox 在宿主机上的缓存。如要测试读 io 的效果,先生成两个几个 G 的大文件 /tmp/file_,/tmp/file_ ,可以用 dd 搞。然后设置两个权重

  ⒐# echo 》/sys/fs/cgroup/blkio/foo/blkio.weight

  ⒑# echo 》/sys/fs/cgroup/blkio/bar/blkio.weight

  ⒒测试前清空文件系统缓存,以免干扰测试结果

  ⒓echo 》/proc/sys/vm/drop_caches

  ⒔在这两个控制组中用 dd 产生 io 测试效果。

  ⒕# cgexec -g “blkio:foo” dd if=/tmp/file_ of=/dev/null &

  ⒖# cgexec -g “blkio:bar” dd if=/tmp/file_ of=/dev/null &

  ⒗还是用 iotop 看看效果

  ⒘TID PRIO USER DISK READ DISK WRITE SWAPIN IO》 MAND

  ⒙ be/ root . M/s . B/s . % . % dd if=/tmp/file_ of=/dev/null

  ⒚ be/ root . M/s . B/s . % . % dd if=/tmp/file_ of=/dev/null

  ⒛两个进程每秒读的字节数虽然会不断变动,但是大致趋势还是维持在 : 左右,和设定的 weight 比例一致。blkio.weight_device 是分设备的。写入时,前面再加上设备号即可。

  ①blkio 子系统里还有很多统计项

  ②blkio.time

  ③???各???设???备???的??? io 访???问???时???间,单位毫秒

  ④blkio.sectors

  ⑤换入???者???或???出???各???设???备???的???扇???区???数

  ⑥blkio.io_serviced

  ⑦各设???备???中???执???行???的各类型??? io 操???作???数,分read、???write、???sync、async 和 total

  ⑧???blkio.io_service_bytes

  ⑨各类型??? io ???换入???者???或???出???各???设???备??????的???字???节???数

  ⑩???blkio.io_service_time

  Ⅰ各设???备???中???执???行???的各类型??? io 时间,单位微秒

  Ⅱ???blkio.io_wait_time

  Ⅲ各设???备???中各类型??? io 在队列中的 等待时间

  Ⅳ???blkio.io_merged

  Ⅴ各设???备???中各类型??? io 请求合并的次数

  Ⅵ???blkio.io_queued

  Ⅶ各设???备???中各类型??? io 请求当前在队列中的数量

  Ⅷ??通过这些统计项更好地统计、监控进程的 io 情况

  Ⅸecho 》blkio.reset_stats

  Ⅹ可以将所有统计项清零。

  ㈠上面就是Linux中使用cgroups管理进程磁盘io的方法介绍了,在管理进程磁盘io的时候会用到blkio 子系统,通过上面的方法你可以限制和监控进程磁盘io,你学会了吗?