在Linux Shell脚本开发中，高效且准确地读取文件是自动化任务与系统管理的核心技能。最推荐的通用方法是使用while read循环配合输入重定向，因为它能以内存友好的方式逐行处理文本并保留原始格式；针对特定场景，命令替换（如cat）、流编辑器（awk、sed）以及文件描述符操作也提供了差异化的专业解决方案，掌握这些方法并理解其底层I/O机制，是编写高性能Shell脚本的关键。
使用while read循环逐行处理的标准范式
在Shell脚本中,处理文本文件最稳健、最常用的方式是利用while循环结合read命令，这种方法的核心优势在于逐行读取，不会因为文件过大而耗尽内存，且逻辑清晰，便于在循环内部对每一行数据进行复杂的业务处理。
标准的代码结构如下：
while IFS= read -r line; do
# 在此处处理每一行变量 $line
echo "Processing: $line"
done < "filename.txt"
这里有两个至关重要的参数体现了专业性：IFS= 和 -r。
IFS=：默认情况下，Shell会根据IFS（内部字段分隔符）将行首和行尾的空格、制表符去掉，通过在read命令前设置IFS=为空，我们明确告诉Shell不要修剪行首行尾的空白字符，从而完整保留原始数据的格式。-r：该参数防止read命令将反斜杠（\）解释为转义字符，这在处理路径或包含特殊符号的配置文件时尤为重要，能够确保数据读取的准确性与安全性。
一次性读取文件：命令替换的适用场景
当文件体积较小（例如几KB的配置文件），且需要对其整体内容进行字符串匹配或替换时，使用命令替换将文件内容一次性加载到变量中是最高效的。
最佳实践是使用Shell内置的读取方式，而非调用外部cat命令，以减少进程创建的开销：
# 推荐写法，效率更高 file_content=$(< "filename.txt") # 或者兼容性写法 file_content=$(cat "filename.txt")
这种方法的局限性在于内存占用，如果文件达到几百MB甚至GB级别，这种方式会导致Shell进程内存溢出或系统性能骤降，它仅适用于小文件的全量操作。
利用流编辑器awk与sed进行高性能处理
对于纯粹的文本提取、过滤或格式化输出，直接调用awk或sed往往比在Shell循环中逐行处理快得多，这是因为awk和sed是编译型C语言工具，且针对流式处理进行了深度优化。
- awk的强大之处：
awk默认将文件按行读取，并自动分割字段，非常适合处理结构化文本（如CSV、日志）。# 打印文件第一列大于100的行 awk '$1 > 100 {print $0}' filename.txt - sed的文本替换能力：当目标仅仅是读取文件并进行特定内容的替换或删除时，
sed是不二之选。# 读取文件并替换特定字符串后输出 sed 's/old_text/new_text/g' filename.txt
从SEO和性能优化的角度来看,避免在Shell循环中调用sed或awk（即避免“循环中套命令”的反模式），而是尽量将逻辑全部封装在awk脚本内部，是提升脚本执行速度的专业技巧。
高级技巧：使用文件描述符
在复杂的脚本中,可能需要同时读取多个文件，或者在读取文件的同时进行标准输入的交互，使用文件描述符是专业且权威的解决方案。
Linux Shell默认打开三个文件描述符：0（stdin）、1（stdout）、2（stderr），我们可以使用exec命令打开自定义的文件描述符（如3、4等）：
# 打开文件描述符3用于读取
exec 3< "filename.txt"
while read -u 3 line; do
echo "$line"
done
# 关闭文件描述符
exec 3<&-
这种方法在需要随机访问或多路复用文件流的场景下非常有用，体现了对Linux I/O模型的深刻理解。
性能对比与最佳实践归纳
在处理Linux Shell读取文件的任务时，选择哪种方法直接决定了脚本的效率：
- 大文件处理：严禁使用
cat $(<file)或变量累加的方式。必须使用while read循环或awk，纯文本处理首选awk，涉及复杂Shell逻辑控制则选while read。 - 数据完整性：始终在
read命令中使用-r参数，并视情况设置IFS，以防止意外的字符转义和字段分割。 - 执行效率：Shell脚本本质是解释型语言，执行速度远低于C/Python，如果单次处理逻辑极其复杂且数据量巨大，建议使用Python重写核心逻辑；若必须用Shell，尽量减少子Shell的创建（如避免在循环中使用管道或反引号）。
相关问答
Q1：在Shell脚本中，如何读取文件的最后一行而不读取整个文件？
A： 最推荐且高效的方法是使用tail命令结合read。tail -n 1可以直接输出文件的最后一行，无需遍历整个文件，如果需要在脚本中赋值给变量，可以使用 last_line=$(tail -n 1 filename.txt)，这种方法利用了tail从文件末尾开始读取的底层特性，对于大文件来说，性能优势极其明显。
Q2：为什么我在使用while read循环读取文件时，发现最后一行如果缺少换行符会被忽略？
A： 这是一个经典的Shell行为。read命令默认以换行符作为读取结束的标志，如果文本文件的最后一行字符后没有换行符（EOF紧跟在最后一个字符后），read后返回成功，但在下一次循环尝试读取时遇到EOF，导致循环退出，最后一行数据虽然被读取了但可能未被处理或处理不完整。解决方案是在循环结束后再次检查变量，或者使用 while read line || [ -n "$line" ]; do ... done 的结构，确保即使没有换行符，最后一行数据也能被捕获并处理。
希望这篇关于Linux Shell读取文件的专业指南能帮助您优化脚本开发工作，如果您在日常运维中有更复杂的文件处理场景，欢迎在评论区分享您的需求或解决方案，我们可以共同探讨更高效的实现路径。
