https://thouser.pages.dev/tags/windows/ Recent content in Windows on Thouser的技术博客 Hugo zh-cn Tue, 04 Aug 2026 10:30:00 +0800 https://thouser.pages.dev/post/utf-8%E4%B8%8Egbk%E7%BC%96%E7%A0%81%E8%AF%A6%E8%A7%A3/ Tue, 04 Aug 2026 10:30:00 +0800 https://thouser.pages.dev/post/utf-8%E4%B8%8Egbk%E7%BC%96%E7%A0%81%E8%AF%A6%E8%A7%A3/ <h1 id="utf-8-与-gbk-编码详解从乱码到-windows-代码页">UTF-8 与 GBK 编码详解：从乱码到 Windows 代码页</h1> <blockquote> <p>起因：一次 <code>hermes update</code> 脚本报错，<code>.cmd</code> 文件里全是 <code>'慨澶嶉噸鏀?' 不是内部或外部命令</code> 这样的乱码。排查后发现是 <strong>UTF-8 编码的文件被 cmd.exe 按 GBK 解析</strong> 导致的。这篇文章把这次踩坑学到的编码知识完整总结下来。</p> </blockquote> <hr> <h2 id="一先分清两个概念字符集-vs-编码">一、先分清两个概念：字符集 vs 编码</h2> <p>很多人把这两个概念混在一起说，其实这是两层：</p> <table> <thead> <tr> <th>概念</th> <th>回答什么问题</th> <th>例子</th> </tr> </thead> <tbody> <tr> <td><strong>字符集 (Charset)</strong></td> <td>&ldquo;中&quot;这个字排第几号？</td> <td>Unicode 里&quot;中&quot;是<strong>U+4E2D</strong>；GBK 里它是 <strong>0xD6D0</strong></td> </tr> <tr> <td><strong>编码 (Encoding)</strong></td> <td>这个编号怎么存成字节？</td> <td>U+4E2D 存成 3 字节<code>E4 B8 AD</code>（UTF-8）或 2 字节 <code>D6 D0</code>（GBK）</td> </tr> </tbody> </table> <p><strong>&ldquo;中&quot;还是那个&quot;中&rdquo;，只是两套系统给它编了不同的号、用不同的方式存储。</strong></p> <p>文件里存的永远是<strong>字节</strong>，读文件时必须知道&quot;按哪套规则解释这些字节&rdquo;——这就是编码的由来。</p> <p>我的理解是：字符集就像字典，收录字符并给出一个唯一标志，编码就是把这个标志转换为字节表示</p> <hr> <h2 id="二gbk中文世界的老编码">二、GBK：中文世界的老编码</h2> <ul> <li>中国国家标准，从 GB2312 扩展而来，是 <strong>1990 年代 ~ 2010 年代中文电脑的默认编码</strong></li> <li>汉字 <strong>2 字节</strong>，ASCII 字符 1 字节</li> <li>只覆盖<strong>中文 + ASCII</strong>（及少量日文假名、朝鲜文等），不认识其他文字</li> <li>优点：中文省 1/3 空间；是中文 Windows 的<strong>原生</strong>编码（代码页 CP936）</li> </ul> <hr> <h2 id="三utf-8全世界的通用语">三、UTF-8：全世界的通用语</h2> <ul> <li>是 <strong>Unicode 字符集</strong>的一种编码实现，目标是把<strong>全人类所有文字</strong>统一编号</li> <li><strong>变长编码</strong>：ASCII 1 字节、欧洲文字 2 字节、<strong>中文 3 字节</strong>、生僻字 4 字节</li> <li>关键设计：<strong>完全兼容 ASCII</strong>——任何一个 ASCII 文本文件，字节不变就是合法的 UTF-8 文件</li> </ul> <blockquote> <p>这就是&quot;UTF-8 最兼容&quot;的真正含义：它不是&quot;和所有编码兼容&quot;，而是<strong>它本身就是国际标准，任何现代系统都按它解释</strong>。</p>