linux iconv命令

iconv [选项] -f 源编码 -t 目标编码 [输入文件]
iconv -l

# 查看所有支持的编码
iconv -l

# 查看支持的编码（过滤常用）
iconv -l | grep -E "(UTF|GB|BIG5|ISO|CP|ASCII)"

# 统计支持的编码数量
iconv -l | wc -l

# 查看特定编码的别名
iconv -l | grep -i gb2312
# 输出可能包含: GB2312 GB2312-80

# 创建测试文件（GBK编码）
echo "你好，世界！" | iconv -f UTF-8 -t GBK > test_gbk.txt

# 查看文件编码
file -i test_gbk.txt
# 输出: test_gbk.txt: text/plain; charset=iso-8859-1 (实际上是GBK)

# 从GBK转换到UTF-8（输出到屏幕）
iconv -f GBK -t UTF-8 test_gbk.txt

# 从GBK转换到UTF-8（保存到文件）
iconv -f GBK -t UTF-8 test_gbk.txt -o test_utf8.txt

# 验证转换结果
file -i test_utf8.txt
# 输出: test_utf8.txt: text/plain; charset=utf-8

# 从管道读取并转换
echo "Hello, 世界！" | iconv -f UTF-8 -t GBK

# 多个管道操作
cat gbk_file.txt | iconv -f GBK -t UTF-8 | grep "关键词"

# 与其他命令结合
iconv -f GBK -t UTF-8 input.txt | sed 's/旧/新/g' | iconv -f UTF-8 -t GBK > output.txt

# 转换为大写并转换编码
iconv -f GBK -t UTF-8 input.txt | tr 'a-z' 'A-Z' | iconv -f UTF-8 -t GBK

# Windows中文文件通常是GBK编码
# 转换GBK到UTF-8
iconv -f GBK -t UTF-8 windows_file.txt -o linux_file.txt

# 转换Windows换行符和编码
# 先转换编码，再处理换行符
iconv -f GBK -t UTF-8 win_file.txt | dos2unix > linux_file.txt

# 批量转换Windows文件
for file in *.txt; do
    iconv -f GBK -t UTF-8 "$file" -o "${file%.txt}_utf8.txt"
done

# 下载网页并转换编码
curl -s http://example.com | iconv -f GB2312 -t UTF-8

# 处理HTML文件中的编码声明
# 先转换编码，再更新meta标签
iconv -f GBK -t UTF-8 webpage.html | \
    sed 's/charset=gb2312/charset=utf-8/i' > webpage_utf8.html

# 批量转换HTML文件
find . -name "*.html" -exec sh -c '
    for file; do
        iconv -f GBK -t UTF-8 "$file" > "${file%.html}_utf8.html"
    done
' sh {} +

# 转换SQL导出文件
iconv -f GBK -t UTF-8 db_dump_gbk.sql -o db_dump_utf8.sql

# 处理CSV文件
iconv -f GB2312 -t UTF-8 data.csv -o data_utf8.csv

# 转换JSON数据
iconv -f GBK -t UTF-8 data.json | jq '.'  # jq需要UTF-8输入

# 创建包含无效字符的文件
echo -e "正常文本\x80无效字符" > test_bad.txt

# 默认情况下会报错
iconv -f UTF-8 -t GBK test_bad.txt
# 输出: iconv: 输入序列中第6个字符处有不完整的字符或移位序列

# 使用-c忽略无效字符
iconv -f UTF-8 -t GBK -c test_bad.txt
# 输出: 正常文本 (无效字符被忽略)

# 使用替代字符替换无效字符
echo -e "测试\x80字符" | iconv -f UTF-8 -t UTF-8//IGNORE
echo -e "测试\x80字符" | iconv -f UTF-8 -t UTF-8//TRANSLIT

# 1. 检测文件编码
file -i filename.txt
enca filename.txt  # 需要安装enca

# 2. 查看原始字节
hexdump -C filename.txt | head -20

# 3. 尝试不同编码
for encoding in UTF-8 GBK GB2312 BIG5; do
    echo "尝试编码: $encoding"
    iconv -f $encoding -t UTF-8 filename.txt 2>/dev/null && echo "成功: $encoding"
done

# 4. 使用od查看字节
od -tx1 filename.txt | head -20

# 5. 创建测试用例
echo "测试文本" | iconv -f UTF-8 -t GBK > test_gbk.txt
iconv -f GBK -t UTF-8 test_gbk.txt

# iconv支持的特殊后缀：
# //IGNORE   - 忽略无法转换的字符
# //TRANSLIT - 尝试音译无法转换的字符
# //ASCII    - 转换为ASCII近似字符

# 示例：
# 忽略无效字符
iconv -f UTF-8 -t GBK//IGNORE file.txt

# 音译转换（如将ä转换为a）
echo "café naïve" | iconv -f UTF-8 -t ASCII//TRANSLIT
# 输出: cafe naive

# 结合使用
iconv -f UTF-8 -t ASCII//TRANSLIT//IGNORE file.txt

# 处理包含特殊符号的文本
echo "温度：25℃ 价格：€100" | iconv -f UTF-8 -t ASCII//TRANSLIT
# 输出: 温度：25? 价格：?100

#!/bin/bash
# batch_iconv.sh - 批量转换文件编码

SOURCE_ENCODING="${1:-GBK}"
TARGET_ENCODING="${2:-UTF-8}"
FILE_PATTERN="${3:-*.txt}"

echo "批量转换编码: $SOURCE_ENCODING → $TARGET_ENCODING"
echo "文件模式: $FILE_PATTERN"
echo "======================================"

# 创建备份目录
BACKUP_DIR="backup_$(date +%Y%m%d_%H%M%S)"
mkdir -p "$BACKUP_DIR"

# 计数器
converted=0
failed=0

# 处理文件
find . -maxdepth 1 -name "$FILE_PATTERN" -type f | while read file; do
    echo "处理: $file"

    # 备份原文件
    cp "$file" "$BACKUP_DIR/"

    # 尝试转换
    if iconv -f "$SOURCE_ENCODING" -t "$TARGET_ENCODING" "$file" > "${file}.tmp" 2>/dev/null; then
        # 检查转换是否真正改变了内容
        if ! cmp -s "$file" "${file}.tmp"; then
            mv "${file}.tmp" "$file"
            echo "  ✓ 转换成功"
            ((converted++))
        else
            rm "${file}.tmp"
            echo "  ⓘ 文件已经是目标编码"
        fi
    else
        rm -f "${file}.tmp"
        echo "  ✗ 转换失败"
        ((failed++))
    fi
done

echo ""
echo "转换完成！"
echo "成功: $converted 个文件"
echo "失败: $failed 个文件"
echo "备份保存在: $BACKUP_DIR/"

#!/bin/bash
# detect_and_convert.sh - 智能检测并转换编码

TARGET_ENCODING="UTF-8"
COMMON_ENCODINGS="UTF-8 GBK GB2312 BIG5 ISO-8859-1 CP1252"

for file in "$@"; do
    if [ ! -f "$file" ]; then
        echo "错误: 文件不存在 - $file"
        continue
    fi

    echo "处理: $file"

    # 使用file命令检测编码
    detected=$(file -b --mime-encoding "$file")
    echo "  检测到编码: $detected"

    # 如果已经是目标编码，跳过
    if [[ "$detected" == *"$TARGET_ENCODING"* ]] || [[ "$detected" == *"ascii"* ]]; then
        echo "  ✓ 已经是 $TARGET_ENCODING 编码，跳过"
        continue
    fi

    # 尝试常见编码
    converted=false
    for encoding in $COMMON_ENCODINGS; do
        if [ "$encoding" = "$TARGET_ENCODING" ]; then
            continue
        fi

        if iconv -f "$encoding" -t "$TARGET_ENCODING" "$file" > "${file}.tmp" 2>/dev/null; then
            if [ -s "${file}.tmp" ]; then
                mv "${file}.tmp" "$file"
                echo "  ✓ 从 $encoding 转换为 $TARGET_ENCODING"
                converted=true
                break
            fi
        fi
        rm -f "${file}.tmp"
    done

    if [ "$converted" = false ]; then
        echo "  ✗ 无法自动检测编码，请手动指定"
    fi
done

# 使用enca检测编码，然后用iconv转换
encoding=$(enca -L zh_CN file.txt | awk '{print $2}')
iconv -f "$encoding" -t UTF-8 file.txt

# 结合file命令
encoding=$(file -b --mime-encoding file.txt | cut -d= -f2)
iconv -f "$encoding" -t UTF-8 file.txt

# 使用vim转换（交互式）
vim file.txt
# 在vim中:set fileencoding=utf-8 然后 :w

# 使用Python转换
python3 -c "import sys; print(open(sys.argv[1], encoding='gbk').read())" file.txt

# 查看文件是否包含BOM
head -c 3 file.txt | od -x
# 如果显示 ef bb bf 则是UTF-8 BOM

# 移除UTF-8 BOM
sed -i '1s/^\xef\xbb\xbf//' file_with_bom.txt

# 添加UTF-8 BOM
printf '\xef\xbb\xbf' | cat - file.txt > file_with_bom.txt

# 转换时处理BOM
# 有些系统需要特殊处理
iconv -f UTF-8 -t GBK file.txt | sed '1s/^\xef\xbb\xbf//'

# 使用专门的BOM工具
# bom工具需要安装
bom -s file.txt  # 剥离BOM
bom -a file.txt  # 添加BOM

# 1. 批量处理时使用find + xargs
find . -name "*.txt" -print0 | xargs -0 -I {} iconv -f GBK -t UTF-8 {} -o {}.utf8

# 2. 使用parallel并行处理
# 需要安装GNU parallel
find . -name "*.txt" | parallel iconv -f GBK -t UTF-8 {} -o {}.utf8

# 3. 先检测是否需要转换（避免重复转换）
for file in *.txt; do
    if ! file -i "$file" | grep -q utf-8; then
        iconv -f GBK -t UTF-8 "$file" -o "${file}.utf8"
    fi
done

# 4. 使用内存映射（对于超大文件）
# iconv本身是流式处理，但可以配合其他工具
dd if=largefile.txt bs=1M | iconv -f GBK -t UTF-8 | dd of=converted.txt bs=1M

# 5. 避免不必要的中间文件
# 使用管道而不是临时文件
iconv -f GBK -t UTF-8 input.txt | grep "关键词" > output.txt