Centos中shell下载url列表中的文件

#!/bin/bash

cd /data/docs/

# URL基础部分，用于提取目录信息

baseUrl="http://docs.oss-cn-hangzhou-internal.aliyuncs.com"

# 定义一个函数来下载单个文件并保持目录结构

download_file() {

    url="$1"

    relative_path="${url#$baseUrl/}"

    dir_path=$(dirname "$relative_path")

    mkdir -p "$dir_path" && wget -P "$dir_path" "$url"

}

# 增加函数处理URL，去除末尾的回车或换行符

sanitize_url() {

    echo "$1" | tr -d '\r\n'

}

# 修改循环内读取URL的方式

while IFS= read -r raw_url; do

    url=$(sanitize_url "$raw_url")

    download_file "$url"

done < "url1.txt"

# 确保url1.txt中的每一行都是一个有效的URL，并且没有额外的空行或注释。