分类： Linux

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。它主要用于基于Intel x86系列CPU的计算机上。这个系统是由全世界各地的成千上万的程序员设计和实现的。其目的是建立不受任何商品化软件的版权制约的、全世界都能自由使用的Unix兼容产品。

解决Btrfs文件系统ext2_saved文件磁盘占用异常

最近在 OpenMediaVault 4.1.22-1(Arrakis) 进行磁盘文件占用分析的时候，发现磁盘空间异常占用问题，如下：

root@openmediavault:/media/6357625f-c966-49ba-9c90-9e8f8ff50433# du -ah --max-depth=1
0	./lost+found
1.5T	./MyCloud
8.0K	./aquota.user
8.0K	./aquota.group
1.3T	./ext2_saved
4.0K	./WDMyCloudSync.sh
2.7T	.

root@openmediavault:/media/6357625f-c966-49ba-9c90-9e8f8ff50433# du -ah --max-depth=1

0 ./lost+found

1.5T ./MyCloud

8.0K ./aquota.user

8.0K ./aquota.group

1.3T ./ext2_saved

4.0K ./WDMyCloudSync.sh

2.7T .

这个 1.3T ./ext2_saved 文件是不存在的，并且没办法通过常规命令删除。

这个文件产生的原因是，执行过从 EXT3/4 转换转化分区到 Btrfs :

$ btrfs-convert /media/6357625f-c966-49ba-9c90-9e8f8ff50433

1	$ btrfs-convert /media/6357625f-c966-49ba-9c90-9e8f8ff50433

完成转换需要删除备份的 ext2_saved 子卷,否则空间会不能释放。请注意，如果没了它(备份子卷)，你将没办法还原回 EXT3/4 文件系统。

$ sudo apt-get install btrfs-tools

# 执行，然后无视报错
$ btrfs subvolume delete /media/6357625f-c966-49ba-9c90-9e8f8ff50433/ext2_saved

$ sudo apt-get install btrfs-tools

# 执行，然后无视报错

$ btrfs subvolume delete /media/6357625f-c966-49ba-9c90-9e8f8ff50433/ext2_saved

可能会报错：

ERROR: cannot access subvolume /media/6357625f-c966-49ba-9c90-9e8f8ff50433/ext2_saved: No such file or directory

1	ERROR: cannot access subvolume /media/6357625f-c966-49ba-9c90-9e8f8ff50433/ext2_saved: No such file or directory

无视这个报错即可。

完成后再次查询文件占用空间：

root@openmediavault:/media/6357625f-c966-49ba-9c90-9e8f8ff50433# du -ah --max-depth=1
0	./lost+found
1.5T	./MyCloud
8.0K	./aquota.user
8.0K	./aquota.group
4.0K	./WDMyCloudSync.sh
1.5T	.

root@openmediavault:/media/6357625f-c966-49ba-9c90-9e8f8ff50433# du -ah --max-depth=1

0 ./lost+found

1.5T ./MyCloud

8.0K ./aquota.user

8.0K ./aquota.group

4.0K ./WDMyCloudSync.sh

1.5T .

可以看到空间已经被释放了。

参考链接

软件磁盘阵列(RAID)

RAID软件磁盘阵列

RAID 即廉价磁盘冗余阵列，其高可用性和可靠性适用于大规模环境中，相比正常使用，数据更需要被保护。RAID 是将多个磁盘整合的大磁盘，不仅具有存储功能，同时还有数据保护功能.

软件磁盘整列通过mdadm命令创建.

RAID等级

RAID-0: 等量模式，stripe,性能较佳，磁盘利用率100%
RAID-1: 镜像模式，mirror，安全性较佳，磁盘利用率50%
RAID-0+1：先组成RAID-0，再有RAID-0组成RAID-1 性能安全兼顾，磁盘利用率50%
RAID-1+0：先组成RAID-1，再有RAID-1组成RAID-0 性能安全兼顾，磁盘利用率50%
RAID-5: 等量模式与分布式奇偶校验，性能与安全份均衡，磁盘可用量等于n-1
RAID-6: 等量模式与双分布式奇偶校验，性能与安全均衡，磁盘可用量等于n-2

继续阅读软件磁盘阵列(RAID)

解决undefined reference to pthread_atfork/pthread_detach/pthread_create/pthread_join

在编译陈硕github上面的代码时，遇到了链接错误：

../Thread.o: In function `(anonymous namespace)::ThreadNameInitializer::ThreadNameInitializer()':

Thread.cpp:(.text+0x5f): undefined reference to `pthread_atfork'
../Thread.o: In function `muduo::Thread::~Thread()':
Thread.cpp:(.text+0x3f9): undefined reference to `pthread_detach'
../Thread.o: In function `muduo::Thread::start()':
Thread.cpp:(.text+0x50e): undefined reference to `pthread_create'
../Thread.o: In function `muduo::Thread::join()':
Thread.cpp:(.text+0x5ce): undefined reference to `pthread_join'
collect2: error: ld returned 1 exit status

../Thread.o: In function `(anonymous namespace)::ThreadNameInitializer::ThreadNameInitializer()':

Thread.cpp:(.text+0x5f): undefined reference to `pthread_atfork'

../Thread.o: In function `muduo::Thread::~Thread()':

Thread.cpp:(.text+0x3f9): undefined reference to `pthread_detach'

../Thread.o: In function `muduo::Thread::start()':

Thread.cpp:(.text+0x50e): undefined reference to `pthread_create'

../Thread.o: In function `muduo::Thread::join()':

Thread.cpp:(.text+0x5ce): undefined reference to `pthread_join'

collect2: error: ld returned 1 exit status

在编译时已经加了-lpthread，还是有这个问题。

在这里找到了答案：http://stackoverflow.com/questions/2373109/what-library-to-be-to-be-used-to-avoid-undefined-reference-to-pthread-atfork

pthread_atfork是POSIX标准，在编译时要加上-pthread
-lpthread是老版本的gcc编译器用的，在新版本中应该用-pthread取代-lpthread

参考链接

解决undefined reference to pthread_atfork/pthread_detach/pthread_create/pthread_join

利用rsync断点续传scp中断的文件传输

服务器经常需要备份，但是长时间的下载，难免会出现下载中断的情况。

一直使用scp下载备份好的文件，以前数据量少的时候，直接重新下载就可以了。随着网站上数据越来越多，下载的时间越来越长，完全重新开始变得不现实了。有时候下载到90%以上的时候，失败了，完全重传是没有必要的。

我们只需要下载缺失的部分就好了，幸运的是rsync支持这种需求。

具体的做法是将如下的选项组合传递给rsync，-checksum（文件分块计算校验和，只传输校验和不一致的部分），-in-place（将文件原地替换，因为rsync通常会写一个临时文件，然后移动）和-no-whole-file（告诉rsync不要复制整个文件，而是使用deltas（部分传输））。

例如：

$ rsync -Pa --checksum --inplace --no-whole-file --progress remote.server:file local.file

1	$ rsync -Pa --checksum --inplace --no-whole-file --progress remote.server:file local.file

下面是一个真实的例子：

$ rsync -Pa --checksum --inplace --no-whole-file --progress -e 'ssh -p 22' user@www.mobibrw.com:~/backup/wordpress.20181203.tar.gz wordpress.20181203.tar.gz

receiving incremental file list
sent 19 bytes  received 76 bytes  0.22 bytes/sec
total size is 8379088896  speedup is 88200935.75

$ rsync -Pa --checksum --inplace --no-whole-file --progress -e 'ssh -p 22' user@www.mobibrw.com:~/backup/wordpress.20181203.tar.gz wordpress.20181203.tar.gz

receiving incremental file list

sent 19 bytes received 76 bytes 0.22 bytes/sec

total size is 8379088896 speedup is 88200935.75

整个过程非常的快，比完全重传快多了。

scp命令拷贝文件非常好用，但在拷贝大文件时存在一个问题就是连接经常会断开，此时再使用scp进行拷贝会重新拷贝文件，为了解决这个问题。我们可以使用rsync命令来进行断点续传。命令如下：

$ rsync -P --rsh=ssh xxx.zip 192.168.0.1:~/

1	$ rsync -P --rsh=ssh xxx.zip 192.168.0.1:~/

为了使用方便可以设置alias:

$ alias rscp="rsync -P --rsh=ssh"

1	$ alias rscp="rsync -P --rsh=ssh"

参考链接

Introducing Cache Pseudo-Locking to reduce memory access latency

继续阅读Introducing Cache Pseudo-Locking to reduce memory access latency

解决VirtualBox无法共享粘贴板的问题(Debian)

一直使用VirtualBox安装的Debian环境编译WD MyCloud的代码。但是最近VirtualBox升级后，升级增强功能，然后共享粘贴板就不能使用了。

如果执行

$ VBoxClient --clipboard

1	$ VBoxClient --clipboard

可看到错误信息：

VBoxClient: Failed to connect to the VirtualBox kernel service, rc=VERR_FILE_NOT_FOUND

1	VBoxClient: Failed to connect to the VirtualBox kernel service, rc=VERR_FILE_NOT_FOUND

继续阅读

Linux SSH保持连接（解决Broken pipe）

在使用SSH客户端进行连接管理的时候如果长时间不输入命令，服务器会自动断开连接，尤其是有的人使用SSH作为代理连接这样的情况更是突出，因此我在网上搜集了可以让 SSH 保持连接的方法与大家分享

在服务器端，可以让服务器发送“心跳”信号测试提醒客户端进行保持连接

通过修改 sshd 的配置文件，能够让 SSH Server 发送“心跳”信号来维持持续连接，下面是设置的内容

打开服务器 /etc/ssh/sshd_config，我在最后增加一行

ClientAliveInterval 60

ClientAliveCountMax 1

ClientAliveInterval 60

ClientAliveCountMax 1

这样，SSH Server 每 60 秒就会自动发送一个信号给 Client，而等待 Client 回应，（注意：是服务器发心跳信号，不是客户端，这个有别于一些 FTP Client 发送的 KeepAlives 信号哦～～～），如果客户端没有回应，会记录下来直到记录数超过 ClientAliveCountMax 的值时，才会断开连接。

如果你没有服务器端管理权限，在客户端进行设置也可以实现

只要在/etc/ssh/ssh_config文件里加两个参数就行了

TCPKeepAlive yes

ServerAliveInterval 300

TCPKeepAlive yes

ServerAliveInterval 300

前一个参数是说要保持连接，后一个参数表示每过5分钟发一个数据包到服务器表示“我还活着”

如果你没有root权限，修改或者创建~/.ssh/ssh_config也是可以的

在这种方法中，如果你只想针对某一个ssh连接进行持续，你可以将上述配置文件复制一下进行修改然后在连接的时候使用 -F参数进行配置文件的指定。当然因为只需要修改两个参数，你也可以直接在连接命令中进行设定即：

$ ssh -o TCPKeepAlive=yes -o ServerAliveInterval=300 xx@xx.com -p xxxx

1	$ ssh -o TCPKeepAlive=yes -o ServerAliveInterval=300 xx@xx.com -p xxxx

参考链接

usbip--ubuntu 16.04(USB局域网共享)

usbip的目的是为了开发一个在局域网内共享的USB设备，也就是说你可以直接访问局域网内其他计算机的USB设备。

下面我们看一下如何在ubuntu 16.04跟树莓派(raspberry pi)以及树莓派之间实现USB设备在局域网的共享。

树莓派端配置为服务端，我们把USB设备接入到树莓派上，服务端的树莓派上执行如下操作：

# 升级内核以及附属驱动模块
$ sudo rpi-update

$ sudo apt-get install usbip

# 加载驱动模块
$ sudo modprobe usbip-core

$ sudo modprobe vhci-hcd

$ sudo modprobe usbip_host

# 打开监听服务接收来自其他机器的请求
$ sudo usbipd -D

# 列出本机的USB设备列表
$ sudo usbip list -l

# 通知底层驱动，绑定设备，远端可看到我们绑定过的设备,我们的设备ID为1-1.3
$ sudo usbip --debug bind -b 1-1.3

# 升级内核以及附属驱动模块

$ sudo rpi-update

$ sudo apt-get install usbip

# 加载驱动模块

$ sudo modprobe usbip-core

$ sudo modprobe vhci-hcd

$ sudo modprobe usbip_host

# 打开监听服务接收来自其他机器的请求

$ sudo usbipd -D

# 列出本机的USB设备列表

$ sudo usbip list -l

# 通知底层驱动，绑定设备，远端可看到我们绑定过的设备,我们的设备ID为1-1.3

$ sudo usbip --debug bind -b 1-1.3

客户端的树莓派或者ubuntu 16.04，执行如下操作查看以及操作服务端的设备。

树莓派

$ sudo apt-get install usbip

# 'sudo usbip version' usbip (usbip-utils 2.0) raspberry pi
# 服务器IP地址 192.168.1.201 ，列出服务端的设备列表
$ sudo usbip list -r 192.168.1.201 --debug

# 服务器IP地址 192.168.1.201 ，设备ID 1-1.3
$ sudo usbip attach -r 192.168.1.201 -b 1-1.3

$ sudo apt-get install usbip

# 'sudo usbip version' usbip (usbip-utils 2.0) raspberry pi

# 服务器IP地址 192.168.1.201 ，列出服务端的设备列表

$ sudo usbip list -r 192.168.1.201 --debug

# 服务器IP地址 192.168.1.201 ，设备ID 1-1.3

$ sudo usbip attach -r 192.168.1.201 -b 1-1.3

ubuntu 16.04

$ sudo apt-get install linux-tools-`uname -r` 

# 'sudo /usr/lib/linux-tools/`uname -r`/usbip version' usbip (usbip-utils 2.0) raspberry pi
# 服务器IP地址 192.168.1.201 ，列出服务端的设备列表
$ sudo /usr/lib/linux-tools/`uname -r`/usbip list -r 192.168.1.201 --debug

# 服务器IP地址 192.168.1.201 ，设备ID 1-1.3
$ sudo /usr/lib/linux-tools/`uname -r`/usbip attach -r 192.168.1.201 -b 1-1.3

$ sudo apt-get install linux-tools-`uname -r`

# 'sudo /usr/lib/linux-tools/`uname -r`/usbip version' usbip (usbip-utils 2.0) raspberry pi

# 服务器IP地址 192.168.1.201 ，列出服务端的设备列表

$ sudo /usr/lib/linux-tools/`uname -r`/usbip list -r 192.168.1.201 --debug

# 服务器IP地址 192.168.1.201 ，设备ID 1-1.3

$ sudo /usr/lib/linux-tools/`uname -r`/usbip attach -r 192.168.1.201 -b 1-1.3

出错信息

如果出错信息如下：

pi@raspberrypi:~ $ sudo usbip port
usbip: error: failed to open /usr/share/hwdata//usb.ids
libusbip: error: udev_device_new_from_subsystem_sysname failed
usbip: error: open vhci_driver
usbip: error: list imported devices

pi@raspberrypi:~ $ sudo usbip port

usbip: error: failed to open /usr/share/hwdata//usb.ids

libusbip: error: udev_device_new_from_subsystem_sysname failed

usbip: error: open vhci_driver

usbip: error: list imported devices

出错的原因为内核驱动没有正确加载，解决方法为：

# 加载驱动模块 
$ sudo modprobe usbip-core 

$ sudo modprobe vhci-hcd

# 加载驱动模块

$ sudo modprobe usbip-core

$ sudo modprobe vhci-hcd

如果出错信息如下（比如ubuntu 16.04）：

$ sudo usbip --list 192.168.1.201 --debug
usbip dbg: usbip_network.c: 221 (tcp_connect ) trying 192.168.1.201 port 3240

usbip dbg: usbip_network.c: 241 (tcp_connect ) connected to 192.168.1.201:3240
- 192.168.1.201
usbip err: usbip_network.c: 119 (usbip_recv_op_common) recv op_common, -1
usbip err: vhci_attach.c: 202 (query_exported_devices) recv op_common
usbip err: vhci_attach.c: 417 (show_exported_devices) query

$ sudo usbip --list 192.168.1.201 --debug

usbip dbg: usbip_network.c: 221 (tcp_connect ) trying 192.168.1.201 port 3240

usbip dbg: usbip_network.c: 241 (tcp_connect ) connected to 192.168.1.201:3240

- 192.168.1.201

usbip err: usbip_network.c: 119 (usbip_recv_op_common) recv op_common, -1

usbip err: vhci_attach.c: 202 (query_exported_devices) recv op_common

usbip err: vhci_attach.c: 417 (show_exported_devices) query

此时查看软件版本，可以看到如下：

$ sudo usbip -v
usbip 0.1.7 ($Id: vhci_attach.c 42 2007-09-07 12:07:51Z hirofuchi $)

1 2	$ sudo usbip -v usbip 0.1.7 ($Id: vhci_attach.c 42 2007-09-07 12:07:51Z hirofuchi $)

这个原因是由于软件安装的是很早的一个版本，无法跟现在最新的版本进行通信。

这个驱动很早就以及整合进入了Linux内核，控制软件也是内核提供。使用如下命令安装跟当前内核匹配的版本：

$ sudo apt-get install linux-tools-`uname -r` 

$ sudo /usr/lib/linux-tools/`uname -r`/usbip list -r 192.168.1.201 --debug

$ sudo apt-get install linux-tools-`uname -r`

$ sudo /usr/lib/linux-tools/`uname -r`/usbip list -r 192.168.1.201 --debug

如果出错信息如下：

$ sudo usbip --debug bind -b 1-1.3
usbip: debug: usbip.c:141:[run_command] running command: `bind'
usbip: debug: sysfs_utils.c:18:[write_sysfs_attribute] error opening attribute /sys/bus/usb/drivers/usbip-host/match_busid
usbip: debug: utils.c:50:[modify_match_busid] failed to write match_busid: No such file or directory
usbip: error: unable to bind device on 1-1.3

$ sudo usbip --debug bind -b 1-1.3

usbip: debug: usbip.c:141:[run_command] running command: `bind'

usbip: debug: sysfs_utils.c:18:[write_sysfs_attribute] error opening attribute /sys/bus/usb/drivers/usbip-host/match_busid

usbip: debug: utils.c:50:[modify_match_busid] failed to write match_busid: No such file or directory

usbip: error: unable to bind device on 1-1.3

原因为usbip_host.ko这个内核驱动没有加载,使用如下命令加载驱动：

$ sudo modprobe usbip_host

1	$ sudo modprobe usbip_host

参考链接

ubuntu 16.04编译使用BinNavi

$ git clone https://github.com/google/binnavi.git

$ sudo apt-get install openjdk-8-jdk

$ sudo apt-get install maven

$ mvn dependency:copy-dependencies

$ ant build-binnavi-fat-jar

$ java -jar target/binnavi-all.jar

$ git clone https://github.com/google/binnavi.git

$ sudo apt-get install openjdk-8-jdk

$ sudo apt-get install maven

$ mvn dependency:copy-dependencies

$ ant build-binnavi-fat-jar

$ java -jar target/binnavi-all.jar

如果代码下载存在困难，可以本站下载一份拷贝。点击此处下载 binnavi

参考链接

逆向分析神器BinNavi开源了

ubuntu 16.04系统minicom退出方法

1）需使用Ctrl+a 进入设置状态
2）按z进入设置菜单
（1）S键：发送文件到目标系统中；
（2）W键：自动卷屏。当显示的内容超过一行之後，自动将後面的内容换行。这个功能在查看内核的啓动信息时很有用。
（3）C键：清除屏幕的显示内容；
（4）B键：浏览minicom的历史显示；
（5）X键：退出mInicom，会提示确认退出。

参考链接

minicom退出方法

2024 年 11 月
一	二	三	四	五	六	日
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30