Linux重定向命令介绍
2010-07-13 05:07:16 阿炯

基本概念理解
所谓I/O重定向简单来说就是一个过程,这个过程捕捉一个文件,或者命令,程序,脚本,甚至脚本中的代码块(code block)的输出,然后把捕捉到的输出,作为输入发送给另外一个文件,命令,程序,或者脚本。如果谈到I/O重定向,就涉及到文件标识符(File Descriptor)的概念, 在Linux系统中,系统为每一个打开的文件指定一个文件标识符以便系统对文件进行跟踪,这里有些和C语言编程里的文件句柄相似,文件标识符是一个数字,不同数字代表不同的含义,默认情况下,系统占用了3个,分别是0标准输入(stdin),1标准输出(stdout), 2标准错误(stderr), 另外3-9是保留的标识符,可以把这些标识符指定成标准输入,输出或者错误作为临时连接。通常这样可以解决很多复杂的重定向请求。

标准输入通常指键盘的输入
标准输出通常指显示器的输出
标准错误通常也是定向到显示器


输出/输入重定向
>   <>   >>   <   <<   :>   &>   2&>   2<>>&   >&2   

文件描述符(File Descriptor),用一个数字(通常为0-9)来表示一个文件。常用的文件描述符如下:
文件描述符          名称         常用缩写     默认值
     0               标准输入      stdin            键盘
     1               标准输出      stdout         屏幕
     2            标准错误输出   stderr          屏幕

/dev/null代表空文件设备
1表示系统标准输出,系统默认值是1, > /dev/null等同于1 > /dev/null

对于 >dev/null 2>&1
1>/dev/null:首先表示标准输出重定向到空设备文件,也就是不输出任何信息到终端,说白了就是不显示任何信息
2>&1:标准错误输出重定向 到标准输出,因为之前标准输出已经重定向到了空设备文件,所以标准错误输出也重定向到空设备文件

comand > file 2>file 与 comand >file 2>&1
command > file 2>file 的意思是将命令所产生的标准输出信息,和错误的输出信息送到file 中.command  > file 2>file 这样的写法,stdout和stderr都直接送到file中, file会被打开两次,这样stdout和stderr会互相覆盖,这样写相当使用了FD1和FD2两个同时去抢占file 的管道

而command >file 2>&1 这条命令就将stdout直接送向file, stderr 继承了FD1管道后,再被送往file,此时file只被打开了一次,也只使用了一个管道FD1,它包括了stdout和stderr的内容

从IO效率上,前一条命令的效率要比后面一条的命令效率要低,所以在编写shell脚本的时候,较多的时候我们会command > file 2>&1 这样的写法

基本IO


command > file 把 stdout 重定向到 file 文件中;

command >> file 把 stdout 重定向到 file 文件中(追加);

command 1> fiel 把 stdout 重定向到 file 文件中;

command > file 2>&1 把 stdout 和 stderr 一起重定向到 file 文件中;

command 2> file 把 stderr 重定向到 file 文件中;

command 2>> file 把 stderr 重定向到 file 文件中(追加);

command >> file 2>&1 把 stderr 和 stderr 一起重定向到 file 文件中(追加);

command < file >file2 command 命令以 file 文件作为 stdin,以 file2 文件作为 stdout;

cat <>file 以读写的方式打开 file;

command < file command 命令以 file 文件作为 stdin;

command << delimiter Here document,从 stdin 中读入,直至遇到 delimiter 分界符。

高级IO

>&n 使用系统调用 dup (2) 复制文件描述符 n 并把结果用作标准输出;

<&n 标准输入复制自文件描述符 n;

<&- 关闭标准输入(键盘);

>&- 关闭标准输出;

n<&- 表示将 n 号输入关闭;

n>&- 表示将 n 号输出关闭;

上述所有形式都可以前导一个数字,此时建立的文件描述符由这个数字指定而不是缺省的 0 或 1。如:

... 2>file 运行一个命令并把错误输出(文件描述符 2)定向到 file。

... 2>&1 运行一个命令并把它的标准输出和输出合并。(严格的说是通过复制文件描述符 1 来建立文件描述符 2 ,但效果通常是合并了两个流。)

我们对 2>&1详细说明一下 :2>&1 也就是 FD2=FD1 ,这里并不是说FD2 的值 等于FD1的值,因为 > 是改变送出的数据信道,也就是说把 FD2 的 "数据输出通道" 改为 FD1 的“数据输出通道”。如果仅仅这样,这个改变好像没有什么作用,因为 FD2 的默认输出和 FD1的默认输出本来都是 monitor,一样的!但是当 FD1 是其他文件,甚至是其他 FD 时,这个就具有特殊的用途了。这一点要注意。

exec 2>errfilename # 打开文件 errfilename作为 stderr。

exec 0<&- # 关闭 FD0。

小结

I/O重定向通常与 FD有关,shell的FD通常为10个,即 0~9;

常用FD有3个,为0(stdin,标准输入)、1(stdout,标准输出)、2(stderr,标准错误输出),默认与keyboard、monitor、monitor有关;

用 < 来改变读进的数据信道(stdin),使之从指定的档案读进;

用 > 来改变送出的数据信道(stdout, stderr),使之输出到指定的档案;

0 是 < 的默认值,因此 < 与 0<是一样的;同理,> 与 1> 是一样的;

在IO重定向 中,stdout 与 stderr 的管道会先准备好,才会从 stdin 读进资料;

管道'|'(pipe line):上一个命令的 stdout 接到下一个命令的 stdin;

tee 命令是在不影响原本 I/O 的情况下,将 stdout 复制一份到档案去;

bash(ksh)执行命令的过程:分析命令-变量求值-命令替代(``和$( ))-重定向-通配符展开-确定路径-执行命令;

 ( ) 将 command group 置于 sub-shell 去执行,也称 nested sub-shell,它有一点非常重要的特性是:继承父shell的Standard input, output, and error plus any other open file descriptors。

exec 命令:常用来替代当前 shell 并重新启动一个 shell,换句话说,并没有启动子 shell。使用这一命令时任何现有环境都将会被清除。exec 在对文件描述符进行操作的时候,也只有在这时,exec 不会覆盖你当前的 shell 环境。

有关关闭文件标识符的操作请参考下面
"&-"
表示关闭文件标识符
n<&- 关闭输入文件标识符n
0<&-或<&- 关闭标准输入stdin
n>&- 关闭输出文件标识符n
1>&-或>&-关闭标准输出stdout


再对Shell环境下的IO重定向稍作深入介绍,本节转自骏马金龙的博客空间,感谢原作者。

文件描述符(file description,fd)

文件描述符是IO重定向中的重要概念。文件描述符使用数字表示,它指明了数据的流向特征。

软件设计认为,程序应该有一个数据来源、数据出口和报告错误的地方。在Linux系统中,它们分别使用描述符0、1、2来表示,这3个描述符默认的目标文件(设备)分别是/dev/stdin、/dev/stdout、/dev/stderr,它们分别是各个终端字符设备的软链接。

# ll /dev/std*
lrwxrwxrwx 1 root root 15 Apr  2 07:57 /dev/stderr -> /proc/self/fd/2
lrwxrwxrwx 1 root root 15 Apr  2 07:57 /dev/stdin -> /proc/self/fd/0
lrwxrwxrwx 1 root root 15 Apr  2 07:57 /dev/stdout -> /proc/self/fd/1

# ll /proc/self/fd/
total 0
lrwx------ 1 root root 64 Apr  6 03:53 0 -> /dev/pts/2
lrwx------ 1 root root 64 Apr  6 03:53 1 -> /dev/pts/2
lrwx------ 1 root root 64 Apr  6 03:53 2 -> /dev/pts/2
lr-x------ 1 root root 64 Apr  6 03:53 3 -> /proc/14038/fd

Linux中的每一个进程打开时都会自动获取3个文件描述符0、1和2,分别表示标准输入、标准输出、和标准错误,如果要打开其他文件,则文件描述符必须从3开始标识。对于我们人为要打开的描述符,建议使用9以内的描述符,超过9的描述符可能已经被系统内部分配给其他进程。

文件描述符说白了就是系统为了跟踪这个打开的文件而分配给它的一个数字,这个数字和文件绑定在一起,数据流入描述符的时候也表示流入文件。而Unix/Linux中万物皆文件,这些文件都可以分配描述符,包括套接字。

程序在打开文件描述符的时候,有三种可能的行为:从描述符中读、向描述符中写、可读也可写。从lsof的FD列可以看出程序打开这个文件是为了从中读数据,还是向其中写数据,亦或是既读又写。例如,tail命令监控文件时,就是打开文件从中读数据的(3r的r是read,w是write,u是read and write)。

[root@freeoa ~]# lsof -n | grep "/a.sh" | column -t                 
tail  13563  root  3r  REG  8,2  182  69632966  /root/a.sh

文件描述符的复制(duplicate)

文件描述符的复制表示复制文件描述符到另一个文件描述符中以作其副本。使用"&"进行复制。

[n]<&word:将文件描述符n复制于word 代表的文件或描述符。可以理解为文件描述符n重用word代表的文件或描述符,即word原来对应哪个文件,现在n作为它的副本也对应这个文件。n不指定则默认为0(标准输入就是0),表示标准输入也将输入到word所代表的文件或描述符中。

[n]>&word:将文件描述符n复制于word 代表的文件或描述符。可以理解为文件描述符n重用word代表的文件或描述符,即word原来对应哪个文件,现在n作为它的副本也对应这个文件。n不指定则默认为1(标准输出就是1),表示标准输出也将输出到word所代表的文件或描述符中。

例如,3>&1表示fd=3复制于fd=1,而fd=1目前的重定向目标文件是/dev/stdout(fd=1指向与输出设备是默认的),因此fd=3也重定向到/dev/stdout,以后进程将数据写入fd=3的时候,将直接输出到屏幕。这里的3>&1等价于3>&/dev/stdout。如果用"复制"来理解,就是fd=3是当前fd=1的一个副本,即指向/dev/stdout设备。如果后面改变了fd=1的输出目标(如file1),由于fd=3的目标仍然是/dev/stdout,所以可以拿fd=3来还原fd=1使其目标变回/dev/stdout。

(fd=1) --> /dev/stdout
  |
 3>&1
 \|/
(fd=3) --> /dev/stdout

关于文件描述符的duplicate

在操作系统(或C)中,对于实体文件的文件描述符来说,文件描述符是用来描述它所指向的实体文件的。例如fd=5指向文件a.txt。复制(duplicate)实际上是执行dup()函数,表示创建另一个文件描述符(例如fd=6),指向同一个底层对象,例如指向同一个实体文件。这时fd=5和fd=6都将指向a.txt。

在shell中,我们将文件描述符和实体文件的关联关系(或者称为指向的关系)称为重定向,其实用更底层的指向关系更容易理解。例如,"3>&1"表示复制fd=1,使得fd=3和fd=1都指向同一个对象,也就是stdout。

再例如,cat <&1表示fd=0复制于fd=1上,而此时fd=1的重定向文件是/dev/stdout,所以fd=0也指向这个/dev/stdout文件,而cat从fd=0中读取标准输入,于是/dev/stdout既是标准输入设备,也是标准输出设备,也就是说进程从/dev/stdout(屏幕)接受输入,输入后再直接输出到/dev/stdout。以下是结果:
[root@freeoa ~]# cat <&1
q   # 进入交互式,输入数据
q   # 直接输出

最后需要说明的是一种特殊情况,如果是>&word,且word不是一个数值,比如 echo haha >&/tmp/a.log ,那么>&word和&>word是等价的,都表示>word 2>&1。参考man bash的"Redirecting Standard Output and Standard Error"段落。

重定向顺序很重要:">file 2>&1"和"2>&1 >file"

想必很多人都知道>file 2>&1的作用,它等价于&>file,表示标准输出和标准错误都重定向到file中。那它和2>&1 >file有什么区别呢?

首先解释>file 2>&1。这里分两个过程:先打开file,再将fd=1重定向到file文件上,这样file文件就成了标准输出的输出目标;之后再将fd=2复制于fd=1,而fd=1此时已经重定向到file文件上,因此fd=2也重定向到file上。所以,最终的结果是标准输出重定向到file上,标准错误也重定向到file上。

再解释2>&1 >file。这里也分两个过程:先将fd=2复制于fd=1,而此时fd=1重定向的文件是默认的/dev/stdout,所以fd=2也重定向到/dev/stdout;之后再将fd=1重定向到file文件上。也就是说,这里的标准错误和标准输出仍然是分开输出的,只不过是使用/dev/stdout替代了/dev/stderr,使用file替代了/dev/stdout。所以,最终的结果是标准错误输出到/dev/stdout,即屏幕上,而标准输出将输出到file文件中。

可以使用下面的命令来测试2>&1 >file。第一个ls命令是正确的,结果输出到/tmp/a.log中,第二个ls命令是错误的,结果将直接输出到屏幕上。

[root@freeoa ~]# ls /boot 2>&1 >/tmp/a.log
[root@freeoa ~]# ls sjdfk 2>&1 >/tmp/a.log
ls: cannot access sjdfk: No such file or directory

改变当前shell环境的重定向目标

如果在命令中直接改变重定向的位置,那么命令执行结束的时候描述符会自动还原。正如上面的ls /boot 2>&1 >/tmp/a.log命令,在ls执行结束后,fd=2还原回默认的/dev/stderr,fd=1还原回默认的/dev/stdout。

但可以通过exec程序直接在当前的shell环境下改变重定向目标,只有在当前shell退出的时候才会释放描述符的绑定。

例如:下面的命令将标准错误fd=2指向fd=3对应的文件上。
exec 2>&3

因此可能在一段程序执行结束后,需要将描述符还原到原来的位置,并关闭不再需要的描述符。毕竟描述符也是资源,是有限的(ulimit -n)。

关闭文件描述符

[n]>&-
[n]<&-

关闭文件描述符的方式是将 [n]>&word 和 [n]<&word 中的word使用符号"-",这表示释放fd=n描述符,且关闭其指向的文件。

打开文件

[n]<> filename :打开filename,并指定其文件描述符为n,该描述符是可读、可写的描述符。若不指定n则默认为0,若filename文件不存在,则先创建filename文件。例如:

[root@freeoa ~]# exec 3 <> /tmp/a.log
[root@freeoa ~]# lsof -n | grep "/a.log" | column -t
bash  13637  root  3u  REG  8,2  292018  69632965  /tmp/a.log

如果再exec 1>&3将fd=1复制于fd=3,那么/tmp/a.log就成了标准输出的目标。

文件描述符的移动

文件描述符的移动表示将文件描述符1移动到描述符2上,同时关闭文件描述符1。

[n]>&digit-:将文件描述符digit代表的输出文件移动到n上,并关闭digit值的描述符。

[n]<&digit-:将文件描述符digit代表的输入文件移动到n上,并关闭digit值的描述符。

例如:
[root@freeoa ~]# exec 3<> /tmp/a.log
[root@freeoa ~]# lsof -n | grep "/a.log" | column -t
bash  13637  root  3u  REG  8,2  292018  69632965  /tmp/a.log

[root@freeoa ~]# exec 1>&3-  # 将3移动到1上,关闭3
[root@freeoa ~]# lsof -n | grep "/a.log" | column -t   # 在另一个bash窗口查看
bash  13637  root  1u  REG  8,2  292018  69632965  /tmp/a.log

可见,fd=3移动到fd=1后,原本与fd=3关联的/tmp/a.log已经关联到fd=1上。

经典示例

示例一:
以下是《Advanced Bash-Scripting Guide》中的示例:

echo 1234567890 > File    # (1).写字符串到"File".
exec 3<> File    # (2).打开"File"并且给它分配fd 3.
read -n 4 <&3    # (3).只读4 个字符.
echo -n . >&3    # (4).写一个小数点.
exec 3>&-    # (5).关闭fd 3.
cat File    # (6).1234.67890

(1)向文件File中写入几个字符。

(2)打开文件File以备read/write,并分配fd=3给该文件。

(3)将fd=0复制于fd=3上,而fd=3的重定向目标为File,所以fd=0的目标也是File,即从File中读取数据。这里读取4个字符,由于read命令中没有指定变量,因此分配给默认变量REPLY。注意,这个命令执行结束后,fd=0的重定向目标会变回/dev/stdin。

(4)将fd=1复制于fd=3上,而fd=3的重定向目标文件为File,所以fd=1的目标也是File,即数据写入到File中。这里写入一个小数点。注意,这个命令结束后,fd=1的重定向目标回变回/dev/stdout。

(5)关闭fd=3,这也会关闭其指向的文件File。

(6)File文件中已经写入了一个小数点。如果此时执行echo $REPLY,将输出"1234"。

示例二:关于描述符恢复、关闭
exec 6>&1    # (1)
exec > /tmp/file.txt    # (2)
echo "---------------"    # (3)
exec 1>&6 6>&-    # (4)
echo "==============="    # (5)

(1)首先将fd=6复制于fd=1,此时fd=1的重定向目标为/dev/stdout,因此fd=6的重定向目标为/dev/stdout。
(2)将fd=1重定向到/tmp/file.txt文件。此后所有标准输出都将写入到/tmp/file.txt中。
(3)写入数据。该数据将写入到/tmp/file.txt中。
(4)将fd=1重新复制回fd=6,此时fd=6的重定向目标为/dev/stdout,因此fd=1将恢复到/dev/stdout上。最后将fd=6关闭。
(5)写入数据,这段数据将输出在屏幕上。

可能你会疑惑,为什么要先将fd=1复制于fd=6,再用fd=6来恢复fd=1,恢复的时候直接将fd=1重定向回/dev/stdout不就可以了吗?

实际上,这里借用fd=6这个中转描述符是为了方便操作。可以不用它,但是在恢复fd=1的重定向目标的时候,应该重定向到`/dev/{伪终端字符设备}`上,而不是/dev/stdout,因为/dev/stdout是软链接,其目标指向/proc/self/fd/1,但该文件还是软链接,它指向/dev/{伪终端字符设备}。同理/dev/stdin和/dev/stderr都一样。

因此,如果当前所在的终端如果是pts/2,那么可以使用下面的命令来实现上面同样的功能:
exec > /tmp/file.txt
echo "---------------"
exec >/dev/pts/2
echo "==============="

exec >/dev/tty  # 这样更方便

如果不借用fd=6这个中转描述符,要先去获取并记住当前shell所在的终端,很不方便。但可以使用/dev/tty这个文件来表示当前所在终端,这会方便的多。

但如果要恢复的不是终端相关的文件,那么可能就只能通过文件描述符的备份、还原来恢复了。

最后给张描述符复制、恢复的过程实例图:


使用变量作为文件描述符

有时候一些特殊的需求下,可能想要使用变量来保存所分配的文件描述符,从而让多个手动打开的文件夹描述符不至于前后混乱。

要用变量保存文件描述符,可以采用如下方式:
fd=3
eval "exec ${fd}<> /tmp/a.log"
lsof -n | grep a.log

在bash 4.1之后,bash自身提供了变量文件描述符的功能,只要在需要分配文件描述符的时候将原来的fd指定为 fdvar 即可创建这个变量,在分配文件描述符后会自动将其保存到变量fdvar中。使用这种模式时,文件描述符是从10开始分配的,所以fdvar是大于等于10的值。

exec {fd1}<> /tmp/a.log
echo $fd1 # 输出:10

exec {fd2}<> /tmp/a.log
echo $fd2 # 输出:11




该文章最后由 阿炯 于 2023-10-24 09:39:28 更新,目前是第 2 版。