1. Shell脚本与网络工具实战指南在Linux系统管理中Shell脚本与网络工具的组合能实现强大的自动化功能。本文将深入探讨如何利用Shell脚本结合网络工具如wget/curl、文本处理工具如grep/sed完成实际运维任务并提供可直接复用的代码示例。1.1 网络下载工具核心用法1.1.1 wget高级用法wget是Linux下最常用的下载工具支持断点续传和后台下载# 后台下载大文件 wget -b -c https://example.com/large_file.iso # 镜像整个网站(适合备份) wget --mirror --convert-links --adjust-extension --page-requisites \ --no-parent http://example.org/ # 限制下载速度(单位KB/s) wget --limit-rate200k http://example.com/file实际经验使用-c参数时wget会检查服务器文件是否修改过如果修改过则会重新下载。可通过--timestamping参数只下载更新的文件。1.1.2 curl的HTTP操作curl更适合与Web API交互支持多种协议# 发送POST请求 curl -X POST -d {key:value} -H Content-Type: application/json \ https://api.example.com/endpoint # 保存Cookie并复用 curl -c cookies.txt https://example.com/login curl -b cookies.txt https://example.com/dashboard # 调试HTTPS请求 curl -v --trace-ascii debug.txt https://example.com1.2 文本处理三剑客实战1.2.1 grep高效搜索# 递归搜索代码中的函数定义 grep -rn --include*.py def main( /project/path # 显示匹配行前后内容 grep -A 3 -B 2 error logfile.txt # 使用PCRE正则 grep -P \d{3}-\d{4} contacts.txt1.2.2 sed流式编辑# 批量替换文本 sed -i.bak s/old_domain/new_domain/g *.conf # 删除空白行 sed /^\s*$/d file.txt # 提取XML内容 sed -n /title/,/\/title/p data.xml1.2.3 awk数据处理# 统计nginx日志各IP访问量 awk {count[$1]} END {for(ip in count) print ip,count[ip]} access.log # 计算CSV文件第二列平均值 awk -F, {sum$2; cnt} END {print sum/cnt} data.csv # 格式化输出 awk {printf %-20s %10d\n, $1, $2} report.txt1.3 Shell脚本编程进阶1.3.1 安全脚本编写规范#!/bin/bash set -euo pipefail # 严格模式错误退出、未定义变量检测、管道错误检测 # 参数校验 if [[ $# -lt 2 ]]; then echo Usage: ${0##*/} input output 2 exit 1 fi # 路径标准化 input_file$(realpath $1) output_dir$(mkdir -p $2 realpath $2) # 日志函数 log() { local level$1 shift echo [$(date %Y-%m-%d %H:%M:%S)] [$level] $ 2 }1.3.2 并发处理模式# 使用xargs并行处理 find . -name *.log | xargs -P 4 -I {} sh -c echo Processing {}; gzip -c {} {}.gz # 使用GNU parallel更强大的并行 parallel -j 4 analyze.sh {} {.}.result ::: *.data1.4 实用脚本案例1.4.1 网站健康检查脚本#!/bin/bash URLS( https://example.com https://api.example.com/health https://static.example.com ) TIMEOUT10 STATUS_FILE/tmp/website_status_$(date %Y%m%d).csv echo url,status,time $STATUS_FILE for url in ${URLS[]}; do start$(date %s.%N) if curl -sf --max-time $TIMEOUT $url /dev/null; then statusUP else statusDOWN fi end$(date %s.%N) elapsed$(printf %.2f $(echo $end - $start | bc)) echo $url,$status,$elapsed $STATUS_FILE echo $url is $status (${elapsed}s) done1.4.2 日志分析报警脚本#!/bin/bash LOG_FILE/var/log/nginx/error.log PATTERNS( 500 Internal Server Error Connection timed out No route to host ) SLACK_WEBHOOKhttps://hooks.slack.com/services/... analyze_logs() { local alert_messages() for pattern in ${PATTERNS[]}; do count$(grep -c $pattern $LOG_FILE) if (( count 0 )); then alert_messages($count occurrences of $pattern) fi done if (( ${#alert_messages[]} 0 )); then local message*[ALERT]* Server $(hostname) detected issues:\n message$(printf %s\n ${alert_messages[]}) curl -X POST -H Content-type: application/json \ --data {\text\:\$message\} $SLACK_WEBHOOK fi } # 每天凌晨执行 main() { analyze_logs # 日志轮转 mv $LOG_FILE ${LOG_FILE}.$(date %Y%m%d) systemctl reload nginx } main $2. 性能优化技巧2.1 减少子进程调用# 低效写法 for file in *; do basename $file done # 高效写法 for file in *; do echo ${file##*/} done2.2 使用here document替代echo# 生成配置文件更安全的方式 cat /etc/app.conf EOF server { listen 80; server_name ${HOSTNAME}; root /var/www; } EOF2.3 数组代替字符串处理# 字符串分割的糟糕实践 IFS, read -ra hosts $HOST_LIST for host in ${hosts[]}; do ping -c 1 $host done # 更安全的数组定义 hosts( web01.example.com web02.example.com db01.example.com )3. 错误处理与调试3.1 结构化错误处理trap cleanup ${LINENO} ${BASH_COMMAND} $? ERR cleanup() { local line$1 local cmd$2 local code$3 echo [ERROR] at line $line: $cmd failed with code $code 2 # 资源清理操作 rm -f $TEMP_FILE exit $code } # 临时文件安全创建 TEMP_FILE$(mktemp /tmp/backup.XXXXXX) || { echo Failed to create temp file 2 exit 1 }3.2 高级调试技术#!/bin/bash -xv # 启用详细调试 # 自定义调试输出 debug() { [[ $DEBUG ]] echo [DEBUG] $ 2 } # 使用Bash 4.4的变量追踪 function log_vars() { local var for var in $; do declare -p $var done }4. 跨平台兼容方案4.1 处理不同Shell差异#!/bin/sh # 检测Shell类型 case $SHELL in */bash) echo Using Bash shopt -s nullglob ;; */zsh) echo Using Zsh setopt NULL_GLOB ;; *) echo Unsupported shell: $SHELL 2 exit 1 ;; esac4.2 兼容不同Unix工具# 检测sed是否支持-i选项 if sed --version 2/dev/null | grep -q GNU; then SED_INPLACEsed -i else SED_INPLACEsed -i fi $SED_INPLACE s/foo/bar/g file.txt这些技术在实际运维工作中能显著提升效率。我曾在一个分布式系统部署项目中使用类似的脚本组合将原本需要8小时的手动部署过程缩短到15分钟完成。关键是要理解每个工具的设计哲学通过管道将它们组合起来就像搭积木一样构建解决方案。
1. Shell脚本与网络工具实战指南在Linux系统管理中Shell脚本与网络工具的组合能实现强大的自动化功能。本文将深入探讨如何利用Shell脚本结合网络工具如wget/curl、文本处理工具如grep/sed完成实际运维任务并提供可直接复用的代码示例。1.1 网络下载工具核心用法1.1.1 wget高级用法wget是Linux下最常用的下载工具支持断点续传和后台下载# 后台下载大文件 wget -b -c https://example.com/large_file.iso # 镜像整个网站(适合备份) wget --mirror --convert-links --adjust-extension --page-requisites \ --no-parent http://example.org/ # 限制下载速度(单位KB/s) wget --limit-rate200k http://example.com/file实际经验使用-c参数时wget会检查服务器文件是否修改过如果修改过则会重新下载。可通过--timestamping参数只下载更新的文件。1.1.2 curl的HTTP操作curl更适合与Web API交互支持多种协议# 发送POST请求 curl -X POST -d {key:value} -H Content-Type: application/json \ https://api.example.com/endpoint # 保存Cookie并复用 curl -c cookies.txt https://example.com/login curl -b cookies.txt https://example.com/dashboard # 调试HTTPS请求 curl -v --trace-ascii debug.txt https://example.com1.2 文本处理三剑客实战1.2.1 grep高效搜索# 递归搜索代码中的函数定义 grep -rn --include*.py def main( /project/path # 显示匹配行前后内容 grep -A 3 -B 2 error logfile.txt # 使用PCRE正则 grep -P \d{3}-\d{4} contacts.txt1.2.2 sed流式编辑# 批量替换文本 sed -i.bak s/old_domain/new_domain/g *.conf # 删除空白行 sed /^\s*$/d file.txt # 提取XML内容 sed -n /title/,/\/title/p data.xml1.2.3 awk数据处理# 统计nginx日志各IP访问量 awk {count[$1]} END {for(ip in count) print ip,count[ip]} access.log # 计算CSV文件第二列平均值 awk -F, {sum$2; cnt} END {print sum/cnt} data.csv # 格式化输出 awk {printf %-20s %10d\n, $1, $2} report.txt1.3 Shell脚本编程进阶1.3.1 安全脚本编写规范#!/bin/bash set -euo pipefail # 严格模式错误退出、未定义变量检测、管道错误检测 # 参数校验 if [[ $# -lt 2 ]]; then echo Usage: ${0##*/} input output 2 exit 1 fi # 路径标准化 input_file$(realpath $1) output_dir$(mkdir -p $2 realpath $2) # 日志函数 log() { local level$1 shift echo [$(date %Y-%m-%d %H:%M:%S)] [$level] $ 2 }1.3.2 并发处理模式# 使用xargs并行处理 find . -name *.log | xargs -P 4 -I {} sh -c echo Processing {}; gzip -c {} {}.gz # 使用GNU parallel更强大的并行 parallel -j 4 analyze.sh {} {.}.result ::: *.data1.4 实用脚本案例1.4.1 网站健康检查脚本#!/bin/bash URLS( https://example.com https://api.example.com/health https://static.example.com ) TIMEOUT10 STATUS_FILE/tmp/website_status_$(date %Y%m%d).csv echo url,status,time $STATUS_FILE for url in ${URLS[]}; do start$(date %s.%N) if curl -sf --max-time $TIMEOUT $url /dev/null; then statusUP else statusDOWN fi end$(date %s.%N) elapsed$(printf %.2f $(echo $end - $start | bc)) echo $url,$status,$elapsed $STATUS_FILE echo $url is $status (${elapsed}s) done1.4.2 日志分析报警脚本#!/bin/bash LOG_FILE/var/log/nginx/error.log PATTERNS( 500 Internal Server Error Connection timed out No route to host ) SLACK_WEBHOOKhttps://hooks.slack.com/services/... analyze_logs() { local alert_messages() for pattern in ${PATTERNS[]}; do count$(grep -c $pattern $LOG_FILE) if (( count 0 )); then alert_messages($count occurrences of $pattern) fi done if (( ${#alert_messages[]} 0 )); then local message*[ALERT]* Server $(hostname) detected issues:\n message$(printf %s\n ${alert_messages[]}) curl -X POST -H Content-type: application/json \ --data {\text\:\$message\} $SLACK_WEBHOOK fi } # 每天凌晨执行 main() { analyze_logs # 日志轮转 mv $LOG_FILE ${LOG_FILE}.$(date %Y%m%d) systemctl reload nginx } main $2. 性能优化技巧2.1 减少子进程调用# 低效写法 for file in *; do basename $file done # 高效写法 for file in *; do echo ${file##*/} done2.2 使用here document替代echo# 生成配置文件更安全的方式 cat /etc/app.conf EOF server { listen 80; server_name ${HOSTNAME}; root /var/www; } EOF2.3 数组代替字符串处理# 字符串分割的糟糕实践 IFS, read -ra hosts $HOST_LIST for host in ${hosts[]}; do ping -c 1 $host done # 更安全的数组定义 hosts( web01.example.com web02.example.com db01.example.com )3. 错误处理与调试3.1 结构化错误处理trap cleanup ${LINENO} ${BASH_COMMAND} $? ERR cleanup() { local line$1 local cmd$2 local code$3 echo [ERROR] at line $line: $cmd failed with code $code 2 # 资源清理操作 rm -f $TEMP_FILE exit $code } # 临时文件安全创建 TEMP_FILE$(mktemp /tmp/backup.XXXXXX) || { echo Failed to create temp file 2 exit 1 }3.2 高级调试技术#!/bin/bash -xv # 启用详细调试 # 自定义调试输出 debug() { [[ $DEBUG ]] echo [DEBUG] $ 2 } # 使用Bash 4.4的变量追踪 function log_vars() { local var for var in $; do declare -p $var done }4. 跨平台兼容方案4.1 处理不同Shell差异#!/bin/sh # 检测Shell类型 case $SHELL in */bash) echo Using Bash shopt -s nullglob ;; */zsh) echo Using Zsh setopt NULL_GLOB ;; *) echo Unsupported shell: $SHELL 2 exit 1 ;; esac4.2 兼容不同Unix工具# 检测sed是否支持-i选项 if sed --version 2/dev/null | grep -q GNU; then SED_INPLACEsed -i else SED_INPLACEsed -i fi $SED_INPLACE s/foo/bar/g file.txt这些技术在实际运维工作中能显著提升效率。我曾在一个分布式系统部署项目中使用类似的脚本组合将原本需要8小时的手动部署过程缩短到15分钟完成。关键是要理解每个工具的设计哲学通过管道将它们组合起来就像搭积木一样构建解决方案。
