在Linux系统管理和自动化脚本编写中,逐行读取文件是一项基础且至关重要的技能，无论是处理日志文件、解析配置文件，还是进行批量数据清洗，掌握高效且稳健的读取方法都是系统运维人员的必备能力。最推荐且符合POSIX标准的做法是使用“while read”循环结构，并配合IFS变量和-r选项来确保数据的完整性，同时避免使用管道符以防止变量作用域丢失。
基础实现：避免常见的管道陷阱
在Shell脚本中,初学者最容易犯的错误是使用 cat 命令通过管道传递给 while 循环，虽然这种方法在语法上可行，但在处理变量作用域时存在严重缺陷。
当使用管道符 时，Bash会为管道右侧的命令创建一个子Shell来执行，这意味着在 while 循环内部赋值的变量，在循环结束后将无法在外部访问，如果文件非常大，管道的缓冲机制可能会影响处理效率。
错误的示范代码：
cat file.txt | while read line; do
count=$((count+1))
done
echo $count # 输出为空，因为count是在子Shell中计算的
正确的标准写法是使用输入重定向。 通过 < 符号将文件内容直接重定向到 while 循环中，整个循环将在当前Shell进程中执行，变量状态得以保留。
核心方案：稳健的“while read”循环结构
为了构建一个专业且无懈可击的读取脚本,必须使用 while IFS= read -r line 这一标准范式，这不仅仅是为了读取，更是为了确保数据的原始格式不被Shell解析器破坏。
使用 IFS= 防止行首尾空白被修剪
默认情况下，Shell的 read 命令会使用环境变量 IFS（Internal Field Separator，内部字段分隔符）来分割输入，默认的分隔符包括空格、制表符和换行符，如果不重置 IFS，read 命令会自动截掉行首和行尾的空格或制表符，通过设置 IFS=，我们明确告诉 read 命令不要进行任何字段分割，从而保留原始的空白字符。
使用 -r 选项防止反斜杠转义
read 命令默认会将反斜杠 \ 视为转义字符，这意味着文件中的反斜杠会被移除，或者其后的字符会被特殊处理，在处理配置文件或路径时，这往往是致命的，添加 -r 选项（Raw mode）可以强制 read 将反斜杠作为普通字符处理，保证数据读取的“所见即所得”。
最佳实践代码示例：
#!/bin/bash
input_file="data.txt"
# 检查文件是否存在且可读
if [[ ! -f "$input_file" ]]; then
echo "错误：文件 $input_file 不存在"
exit 1
fi
# 使用IFS=和-r选项进行稳健读取
while IFS= read -r line; do
# 在此处处理每一行
echo "Processing: $line"
done < "$input_file"
进阶技巧：处理文件描述符与特殊字符
在复杂的脚本场景中,可能需要同时读取多个文件，或者在读取文件的同时接收用户输入，直接使用标准输入（0）可能会导致冲突，Linux提供了文件描述符机制来解决这个问题。
使用文件描述符读取
我们可以使用 exec 命令打开自定义的文件描述符（如3、4等），从而避免占用标准输入，这种方法在编写函数库或需要交互的脚本时尤为重要。
exec 3< "data.txt" # 打开文件并绑定到文件描述符3
while IFS= read -r line <&3; do
echo "$line"
done
exec 3<& # 关闭文件描述符3
处理包含空行的文件
标准的 read 命令在遇到空行时会直接跳过，因为空行被视为没有赋值成功，如果业务逻辑要求保留空行（例如处理格式严格的文本），我们需要结合 || [ -n "$line" ] 来判断。
while IFS= read -r line || [ -n "$line" ]; do
printf '%s\n' "$line"
done < "$input_file"
这里的逻辑是：只要 read 成功（返回0），或者 read 失败但 $line 中仍有内容（即读取到了最后的非空行后的空行），循环就继续。
性能考量与替代方案
虽然 while read 循环逻辑清晰且易于编写调试，但它是基于Shell逐行解释执行的，性能开销较大，对于动辄数GB的大文件，Shell循环的效率远低于专用工具。
使用 awk 进行高性能处理
如果不需要复杂的Shell逻辑（如调用其他系统命令），仅进行文本提取、计算或格式化输出，awk 是最佳选择。awk 是编译型语言，处理文本速度极快，且天然按行处理。
# 使用awk逐行处理，效率远高于while循环
awk '{ print "Processing: " $0 }' data.txt
独立见解：混合模式
在实际的运维开发中，我建议采用“混合模式”，对于简单的过滤和统计，直接使用 awk 或 sed；对于需要结合Shell逻辑（如根据文件内容动态执行数据库操作、API调用）的场景，则使用 while read 循环。不要为了追求“纯Shell”而牺牲性能，也不要为了“性能”而在Shell中强行模拟复杂的文本解析。
常见问题处理
在Windows和Linux混合开发环境中,文件可能包含CRLF（\r\n）换行符，这会导致在Linux中读取时，行尾出现 ^M 字符，在读取前，可以使用 dos2unix 工具转换，或者在 read 后使用 tr 命令去除。
while IFS= read -r line; do
# 去除行尾可能的\r字符
line=$(echo "$line" | tr -d '\r')
echo "$line"
done < "$input_file"
相关问答
Q1：为什么在Shell脚本中读取文件时，变量在循环外无法获取值？
A1： 这通常是因为使用了管道符（cat file | while read line），管道会创建一个子Shell来执行右侧的命令，循环中的变量赋值只在子Shell中有效，解决方法是使用输入重定向（while read line; do ... done < file），这样循环就在当前Shell中执行，变量可以正常传递。
Q2：如何处理文件名中包含空格的文件读取？
A2： 关键在于变量引用时必须加双引号，在 while 循环中，使用 done < "$filename"，在循环体内处理 $line 时也要始终使用 "$line"，使用 IFS= 可以防止行内的空格被错误地分割成多个字段。
能帮助您在Linux环境下更加专业地处理文件读取任务，如果您在具体脚本编写中遇到问题，欢迎在下方留言讨论，我们一起探索更高效的解决方案。
