评测报告

语联网通过采用多文档众包盲评方法,
对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等多个机翻引擎在各领域的机翻译文质量进行了评测
下载报告

英译中招投标领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL 等 7 个机翻引擎在招投标 3 个子领域(港口、公路、铁路)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,传神/阿里引擎和搜狗在所测引擎中表现出的翻译能力最佳,其次为小牛、DEEPL 等引擎;在不同领域的稳定性上,传神/阿里引擎的平均偏差 1.93%显著低于所测 7 个引擎的平均偏差均值 10.72%,稳定性为最优;其中小牛引擎的稳定性位居第二,平均偏差为 3.22%,与第一名差距不大。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,传神/阿里引擎和搜狗引擎在三个子行业中的汇总可读性内容占比均为 76.95%并列第一;排名第二的为小牛引擎,其汇总可读性内容占比为 75.59%,与第一名的 76.95%同属于第一梯队;排名第三第四的为 DEEPL 引擎和谷歌引擎,其汇总可读性内容占比分别为 70.60%和 68.42%,与排名前两位略有差距且低于所测 7 个引擎在三个行业中的汇总可读性内容占比均值 70.98%。

传神/阿里引擎在不同子领域中译文可读性内容占比的平均偏差为 1.93%,稳定性最高;其次为小牛引擎的 3.22%,前二者均显著低于此次所测 7 个引擎在不同子领域中译文可读性内容占比的平均偏差均值 10.72%;平均偏差排名第三和第四的分别为 DEEPL 引擎的 9.16%和谷歌引擎的 12.23%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 港口 DEEPL 传神/阿里 小牛
PJT2 公路 小牛 传神/阿里 谷歌
PJT3 铁路 搜狗 百度 谷歌

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 港口 PJT2 公路 PJT3 铁路 汇总
传神/阿里 79.94% 74.48% 76.70% 76.95%
搜狗 70.62% 57.79% 93.25% 76.95%
小牛 72.85% 80.66% 74.00% 75.59%
DEEPL 79.97% 56.37% 74.00% 70.60%
谷歌 47.32% 67.76% 81.90% 68.42%
百度 31.98% 58.60% 91.24% 65.74%
有道 52.68% 42.56% 81.76% 62.63%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是小牛引擎的 86.95%,第二名和第三名是传神/阿里引擎和搜狗引擎,其可读性内容占比分别为 78.81%和 72.69%;在正常单句条件下,排名第一的是搜狗引擎的 90.45%,第二名是谷歌引擎的 73.71%,第三名是有道引擎的 72.24%,后两者与第一名相比有较大差距;在简单单句条件下,排名前三的引擎分别为百度、DEEPL、小牛引擎,其可读性内容占比分别为 96.12%、91.57%、90.35%。

具体排名详见表 1.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 小牛 传神/阿里 搜狗
正常单句 搜狗 谷歌 有道
简单单句 百度 DEEPL 小牛

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 78.81% 70.04% 87.25%
百度 67.36% 66.72% 96.12%
DEEPL 62.50% 70.88% 91.57%
谷歌 69.45% 73.71% 81.82%
搜狗 72.69% 90.45% 81.37%
小牛 86.95% 71.03% 90.35%
有道 57.05% 72.24% 84.04%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改);
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 1 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中法律领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在法律 3 个子领域(财务、工程、诉讼文件)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,传神/阿里引擎在所测引擎中表现出的翻译能力最佳,其次为百度、搜狗等引擎;在不同领域的稳定性上,传神/阿里引擎的平均偏差 3.95%显著低于所测 8 个引擎的平均偏差均值 10.40%,其中有道引擎和小牛引擎的稳定性排名位居二三,与第一名略有差距。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是传神/阿里引擎,在三个子行业中的汇总可读性内容占比为 83.69%,排名第二的为百度引擎,其汇总可读性内容占比为 81.68%,与第一名传神/阿里引擎同属于第一梯队;排名第三第四的为搜狗引擎和小牛引擎,其汇总可读性内容占比分别为 75.57%和 73.75%,与排名前两位略有差距。

传神/阿里引擎在不同子领域中译文可读性的平均偏差为 3.95%,稳定性最高。其次为有道引擎和小牛引擎,平均偏差分别为 7.72%和 8.08%,此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为10.40%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 财务 任度 有道 传神/阿里
PJT2 工程 百度 小牛 传神/阿里
PJT3 诉讼文件 谷歌 搜狗 传神/阿里

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 财务 PJT2 工程 PJT3 诉讼文件 汇总
传神/阿里 77.53% 83.39% 89.36% 83.69%
百度 66.61% 94.97% 81.13% 81.68%
搜狗 54.39% 78.59% 90.87% 75.57%
小牛 60.99% 83.65% 74.67% 73.75%
有道 83.17% 60.95% 73.47% 71.95%
谷歌 50.67% 64.78% 92.09% 69.98%
DEEPL 76.69% 71.42% 55.19% 67.40%
任度 93.26% 53.42% 57.76% 66.87%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

传神/阿里引擎译文在复杂单句和简单单句条件下译文可读性内容占比分别为 82.03%、97.11%,均排名第一;在复杂单句条件下,可读性内容占比排名第二的是百度引擎的 72.73%,第三是有道引擎的 62.84%;在简单单句条件下,排名第二的是搜狗引擎的 96.37%,第三是 DEEPL 引擎的 94.52%;在正常单句条件下,排名前三的引擎分别为百度、小牛、搜狗引擎,其可读性内容占比分别为 88.38%、87.60%、85.09%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 传神/阿里 百度 有道
正常单句 百度 小牛 搜狗
简单单句 传神/阿里 搜狗 DEEPL

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 82.03% 78.72% 97.11%
百度 72.73% 88.38% 91.63%
DEEPL 61.06% 61.50% 94.52%
谷歌 62.55% 73.43% 82.06%
任度 56.42% 70.28% 86.81%
搜狗 60.14% 85.09% 96.37%
小牛 59.79% 87.60% 82.83%
有道 62.84% 77.40% 84.57%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 1 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

中译英法律领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在法律 3 个子领域(股权、会计、内部管理制度)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,谷歌引擎在所测引擎中表现出的翻译能力最佳,其次为有道、任度引擎等;在不同领域的稳定性上,传神/阿里引擎的平均偏差为 4.21%,稳定性为最优,但其在三个子行业汇总可读性内容占比排名较为靠后,谷歌引擎和任度引擎的汇总可读性内容占比排名和稳定性排名均位列前三,在译文质量和稳定性两个方面表现均较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是谷歌引擎,在三个子行业中的汇总可读性内容占比为73.73%;排名第二的为有道引擎,其汇总可读性内容占比为 73.52%,略低于第一名谷歌引擎;排名第三第四的为任度引擎和百度引擎,其汇总可读性内容占比分别为 71.20%和 70.31%,与第二名有道引擎相差不大,且二者均略高于所测 8 个引擎的汇总可读性内容占比均值 69.52%。

传神/阿里引擎在不同子领域中译文可读性内容占比的平均偏差为 4.21%,稳定性最高。其次为任度引擎的 4.30%,稳定性略低于传神/阿里引擎,谷歌引擎的平均偏差为 4.42%,位居第三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 4.99%,其中稳定性最低的为有道引擎,其平均偏差为5.93%,但与稳定性最高的传神/阿里的 4.21%相比,二者尚未拉开较大差距。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 股权 百度 有道 DEEPL
PJT2 会计 百度 搜狗 任度
PJT3 内部管理制度 有道 谷歌 传神/阿里

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 股权 PJT2 会计 PJT3 内部管理制度 汇总
谷歌 67.56% 73.20% 80.32% 73.73%
有道 69.01% 69.22% 82.46% 73.52%
任度 65.61% 77.50% 70.02% 71.20%
百度 70.30% 77.84% 62.38% 70.31%
小牛 64.33% 77.18% 67.15% 69.73%
搜狗 61.00% 77.57% 68.45% 69.22%
传神/阿里 62.65% 61.63% 71.61% 65.25%
DEEPL 68.31% 65.64% 55.52% 63.16%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是谷歌引擎的 69.57%,第二名和第三名是小牛引擎和有道引擎,其可读性内容占比分别为 68.88%和 66.23%;在正常单句条件下,排名第一的是有道引擎的80.82%,第二名是任度引擎的 78.56%,第三名是谷歌引擎的 74.16%;在简单单句条件下,排名前三的引擎分别为传神/阿里、小牛、谷歌引擎,其可读性内容占比分别为 93.25%、90.09%、89.66%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 谷歌 小牛 有道
正常单句 有道 任度 谷歌
简单单句 传神/阿里 小牛 谷歌

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 51.42% 73.75% 93.25%
百度 65.93% 70.45% 87.19%
DEEPL 62.87% 59.27% 76.58%
谷歌 69.57% 74.16% 89.66%
任度 62.13% 78.56% 81.67%
搜狗 63.48% 72.48% 81.62%
小牛 68.88% 64.23% 90.09%
有道 66.23% 80.82% 82.90%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 4 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中防务领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在防务 3 个子领域(战斗支援、装备对比、作战角色演变)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,有道引擎在所测引擎中表现出的翻译能力最佳,其次为搜狗、谷歌引擎等;在不同领域的稳定性上,有道引擎的平均偏差 2.99%显著低于所测 7 个引擎的平均偏差均值6.67%,其中传神/阿里引擎和小牛引擎的稳定性排名位居二三,与第一名略有差距。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是有道引擎,在三个子行业中的汇总可读性内容占比为82.81%;排名第二的为搜狗引擎,其汇总可读性内容占比为 82.60%,略低于第一名有道引擎,但与之同属于第一梯队;排名第三第四的为谷歌引擎和小牛引擎,其汇总可读性内容占比分别为 74.64%和 72.04%,与排名前两位略有差距。

有道引擎在不同子领域中译文可读性内容占比的平均偏差为 2.99%,稳定性最高。其次为传神/阿里引擎和小牛引擎,平均偏差分别为 3.99%和 4.01%,位居二三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 6.67%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 战斗支援 有道 搜狗 谷歌
PJT2 装备对比 搜狗 DEEPL 有道
PJT3 作战角色演变 百度 有道 谷歌

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 战斗支援 PJT2 装备对比 PJT3 作战角色演变 汇总
有道 87.20% 78.44% 82.51% 82.81%
搜狗 81.69% 93.99% 71.73% 82.60%
谷歌 75.86% 67.07% 81.18% 74.64%
小牛 74.14% 66.05% 75.98% 72.04%
传神/阿里 71.87% 66.16% 77.99% 71.92%
DEEPL 75.18% 78.49% 56.28% 70.26%
百度 46.29% 60.03% 84.19% 62.91%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是搜狗引擎的 97.23%,第二名和第三名是有道引擎和 DEEPL 引擎,其可读性内容占比分别为 78.92%和 66.63%,与第一名搜狗引擎有较大差距;在正常单句条件下,排名第一的是有道引擎的87.93%,第二名是谷歌引擎的85.55%,第三名是传神/阿里的82.18%,三者之间差距不大;在简单单句条件下,排名前三的引擎分别为谷歌、DEEPL、搜狗引擎,其可读性内容占比分别为 93.11%、89.87%、88.38%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 搜狗 有道 DEEPL
正常单句 有道 谷歌 传神/阿里
简单单句 谷歌 DEEPL 搜狗

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 58.63% 82.18% 79.04%
百度 49.52% 70.00% 75.25%
DEEPL 66.63% 62.43% 89.87%
谷歌 54.39% 85.55% 93.11%
搜狗 97.23% 63.16% 88.38%
小牛 56.13% 81.51% 85.14%
有道 78.92% 87.93% 81.39%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 1 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

中译英防务领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在防务 3 个子领域(军船电子海图显示与信息系统、雷达技术、雷达维修)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,传神/阿里引擎在所测引擎中表现出的翻译能力最佳,其次为百度、DEEPL 引擎等;在不同领域的稳定性上,搜狗引擎的平均偏差为 2.23%,稳定性排名第一,显著低于所测所有 7 个引擎的平均偏差均值 6.38%,其中小牛引擎和传神/阿里引擎的稳定性位居二三名,其平均偏差分别为 3.49%和 5.40%。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是传神/阿里引擎,在三个子行业中的汇总可读性内容占比达到 85.23%;排名第二的为百度引擎,其汇总可读性内容占比为 82.60%,低于第一名传神/阿里引擎但差距不大;排名第三第四的为 DEEPL 引擎和搜狗引擎,其汇总可读性内容占比分别为 82.43%和 80.69%,与第二名百度引擎相差不大且接近于所测 7 个引擎的汇总可读性内容占比均值 80.82%。

搜狗引擎在不同子领域中译文可读性内容占比的平均偏差为 2.23%,稳定性最高。其次为小牛引擎的3.49%,稳定性略低于搜狗引擎,传神/阿里引擎的平均偏差为 5.40%,位居第三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 6.38%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 军船电子海图显示与信息系统 百度 DEEPL 传神/阿里
PJT2 雷达技术 传神/阿里 DEEPL 有道
PJT3 雷达维修 小牛 有道 谷歌

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 军船电子海图显示与信息系统 PJT2 雷达技术 PJT3 雷达维修 汇总
传神/阿里 87.05% 92.38% 77.56% 85.23%
百度 95.45% 70.87% 82.97% 82.60%
DEEPL 92.66% 86.94% 70.56% 82.43%
搜狗 78.84% 78.76% 83.82% 80.69%
小牛 74.69% 79.46% 84.92% 80.13%
有道 69.48% 81.77% 84.12% 79.08%
谷歌 83.23% 59.36% 83.87% 75.56%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是传神/阿里引擎的 83.60%,第二名和第三名是百度引擎和搜狗引擎,其可读性内容占比分别为 82.06%和 78.20%;在正常单句条件下,排名第一的是 DEEPL引擎的 98.45%,第二名是小牛引擎的 89.87%,第三名是传神/阿里引擎的 88.58%;在简单单句条件下,排名前三的引擎分别为谷歌、DEEPL、小牛引擎,其可读性内容占比分别为 95.29%、94.14%、91.45%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 传神/阿里 百度 搜狗
正常单句 DEEPL 小牛 传神/阿里
简单单句 谷歌 DEEPL 小牛

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 83.60% 88.58% 85.98%
百度 82.06% 85.14% 85.73%
DEEPL 69.11% 98.45% 94.14%
谷歌 62.71% 88.10% 95.29%
搜狗 78.20% 86.23% 82.66%
小牛 72.18% 89.87% 91.45%
有道 74.33% 84.70% 87.94%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 4 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中核电领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在核电 3 个子领域(乏燃料、核反应堆、核燃料后处理)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,搜狗引擎在所测引擎中表现出的翻译能力最佳,其次为谷歌、传神/阿里引擎等;在不同领域的稳定性上,搜狗引擎的平均偏差为 2.71%,稳定性最佳;所测所有 7 个引擎的平均偏差均值为 8.60%,其中传神/阿里引擎和小牛引擎的稳定性位居二三名,其平均偏差分别为 5.44%和 7.50%。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是搜狗引擎,在三个子行业中的汇总可读性内容占比达到74.44%;排名第二的为谷歌引擎,其汇总可读性内容占比为 68.05%;排名第三第四的为传神/阿里引擎和小牛引擎,其汇总可读性内容占比分别为 66.90%和 66.41%,与第二名谷歌引擎的可读性内容占比相差不大。

搜狗引擎在不同子领域中译文可读性内容占比的平均偏差为 2.71%,稳定性最高。其次为传神/阿里引擎的 5.44%,小牛引擎的平均偏差为 7.50%,位居第三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 8.60%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 乏燃料 DEEPL 传神/阿里 搜狗
PJT2 核反应堆 有道 搜狗 小牛
PJT3 核燃料后处理 谷歌 百度 搜狗

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 乏燃料 PJT2 核反应堆 PJT3 核燃料后处理 汇总
搜狗 71.58% 78.35% 72.94% 74.44%
谷歌 55.15% 66.03% 80.17% 68.05%
传神/阿里 75.61% 62.65% 64.10% 66.90%
小牛 54.42% 73.78% 68.80% 66.41%
DEEPL 84.22% 60.59% 54.45% 65.14%
有道 48.94% 79.82% 60.00% 63.73%
百度 42.15% 52.38% 75.94% 58.03%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是搜狗引擎的 67.71%,第二名和第三名是小牛引擎和传神/阿里引擎,其可读性内容占比分别为 64.76%和 64.26%;在正常单句条件下,排名第一的是有道引擎的 82.68%,第二名是搜狗引擎的 76.83%,第三名是谷歌引擎的 75.78%;在简单单句条件下,排名前三的引擎分别为搜狗、DEEPL、有道引擎,其可读性内容占比分别为 89.00%、83.59%、81.60%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 搜狗 小牛 传神/阿里
正常单句 有道 搜狗 谷歌
简单单句 搜狗 DEEPL 有道

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 64.26% 66.73% 74.45%
百度 45.12% 69.03% 70.57%
DEEPL 52.91% 72.29% 83.59%
谷歌 58.76% 75.78% 70.65%
搜狗 67.71% 76.83% 89.00%
小牛 64.76% 68.26% 67.80%
有道 40.41% 82.68% 81.60%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 3 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

中译英核电领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在核电 3 个子领域(反应堆、核辐射、燃料棒)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,百度引擎在所测引擎中表现出的翻译能力最佳,其次为小牛、DEEPL 引擎等;在不同领域的稳定性上,小牛引擎的平均偏差为 4.76%,稳定性排名第一,其次为搜狗引擎的 5.79%和传神/阿里引擎的 6.47%。此次所测 7 个引擎的平均偏差均值为 7.76%。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是百度引擎,在三个子行业中的汇总可读性内容占比达到81.14%;排名第二的为小牛引擎,其汇总可读性内容占比为 79.97%,低于第一名百度引擎但差距不大;排名第三第四的为 DEEPL 引擎和传神/阿里引擎,其汇总可读性内容占比分别为 78.66%和 78.57%,第五名为谷歌引擎的 77.08%,前五名的汇总可读性内容占比均高于此次所测 7 个引擎的汇总可读性内容占比均值 76.73%。

小牛引擎在不同子领域中译文可读性内容占比的平均偏差为 4.76%,稳定性最高。其次为搜狗引擎的5.79%,稳定性略低于小牛引擎,传神/阿里引擎的平均偏差为 6.47%,位居第三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 7.76%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 反应堆 传神/阿里 搜狗 有道
PJT2 核辐射 百度 谷歌 DEEPL
PJT3 燃料棒 DEEPL 小牛 传神/阿里

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 反应堆 PJT2 核辐射 PJT3 燃料棒 汇总
百度 81.57% 98.13% 61.47% 81.14%
小牛 76.32% 77.38% 87.57% 79.97%
DEEPL 69.03% 79.70% 89.88% 78.66%
传神/阿里 87.78% 69.43% 77.02% 78.57%
谷歌 75.81% 87.16% 67.35% 77.08%
搜狗 83.04% 65.83% 74.23% 74.78%
有道 82.29% 51.32% 64.74% 66.93%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是 DEEPL 引擎的 75.19%,第二名和第三名是传神/阿里引擎和百度引擎,其可读性内容占比分别为 73.26%和 70.38%;在正常单句条件下,排名第一的是小牛引擎的 88.86%,第二名是百度引擎的 86.83%,第三名是传神/阿里引擎的 81.27%;在简单单句条件下,排名前三的引擎分别为百度、DEEPL、小牛引擎,其可读性内容占比分别为 91.67%、91.30%、90.70%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 DEEPL 传神/阿里 百度
正常单句 小牛 百度 传神/阿里
简单单句 百度 DEEPL 小牛

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 73.26% 81.27% 86.46%
百度 70.38% 86.83% 91.67%
DEEPL 75.19% 78.69% 91.30%
谷歌 69.36% 80.97% 86.72%
搜狗 69.05% 78.03% 82.30%
小牛 67.61% 88.86% 90.70%
有道 57.14% 69.73% 82.34%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 4 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中 IT 领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在 IT 中 3 个子领域(标准、界面词、通信)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,谷歌引擎在所测引擎中表现出的翻译能力最佳,其次为 DEEPL、搜狗等;在不同领域的稳定性上,谷歌引擎与百度引擎的平均偏差均显著低于所测 7 个引擎的平均偏差均值 6.53%,稳定性为最优。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是谷歌引擎,在三个子行业中的汇总可读性内容占比为89.56%,位于第一梯队。可读性内容占比排名第二的为 DEEPL 引擎,其汇总可读性内容占比为 83.99%,略高于排名第三搜狗引擎的 82.43%。排名第四和第五的为百度引擎和有道引擎,其可读性内容占比分别为 81.65%和 80.01%,两者占比相差不大,均略高于所测 7 个引擎的可读性占比均值 79.63%。

谷歌引擎在不同子领域中译文可读性的平均偏差为 3.26%,稳定性最高。其次为百度引擎和 DEEPL引擎,平均偏差分别为 3.76%和 5.51%,此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为6.53%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 标准 搜狗 谷歌 百度
PJT2 界面词 谷歌 搜狗 DEEPL
PJT3 通信 有道 谷歌 DEEPL

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 标准 PJT2 界面词 PJT3 通信 汇总
谷歌 84.67% 93.13% 90.88% 89.56%
DEEPL 75.75% 89.55% 86.72% 83.99%
搜狗 88.24% 91.25% 66.25% 82.43%
百度 76.08% 83.70% 85.40% 81.65%
有道 73.89% 74.18% 93.18% 80.01%
小牛 65.67% 83.04% 78.43% 75.71%
传神/阿里 75.97% 54.49% 63.68% 64.05%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

谷歌引擎在复杂单句和简单单句条件下译文可读性内容占比分别为 93.17%、96.57%,均排名第一;在复杂单句条件下,可读性内容占比排名第二的是有道引擎的 81.42%,第三是 DEEPL 引擎的 81.25%;在简单单句条件下,排名第二的是百度引擎的 91.72%,第三是 DEEPL 引擎的 83.96%;在正常单句条件下,排名前三的引擎分别为搜狗、DEEPL、谷歌引擎,其可读性内容占比分别为 89.19%、86.89%、83.51%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 谷歌 有道 DEEPL
正常单句 搜狗 DEEPL 谷歌
简单单句 谷歌 百度 DEEPL

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 47.01% 79.05% 81.27%
百度 78.19% 82.73% 91.72%
DEEPL 81.25% 86.89% 83.96%
谷歌 93.17% 83.51% 96.57%
搜狗 76.57% 89.19% 80.52%
小牛 69.59% 80.85% 80.45%
有道 81.42% 81.19% 75.77%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 1 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

中译英 IT 领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在 IT 中 3 个子领域(标准、界面词、通信)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,传神/阿里引擎在所测引擎中表现出的翻译能力最佳,其次为小牛、搜狗引擎等;在不同领域的稳定性上,谷歌引擎的平均偏差为 2.63%,稳定性为最优,但其在三个子领域中的汇总可读性内容占比为 63.18%,排名较为靠后,传神/阿里引擎的稳定性排名为第六,较为靠后,但其汇总可读性内容占比排名为第一,且在复杂单句译文处理上表现为最优,小牛引擎的汇总可读性内容占比排名和稳定性排名均为前三,译文质量和稳定性表现均较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是传神/阿里引擎,在三个子行业中的汇总可读性内容占比为 77.00%;排名第二的为小牛引擎,其汇总可读性内容占比为 75.89%,低于第一名传神/阿里引擎但差距不大;排名第三第四的为搜狗引擎和百度引擎,其汇总可读性内容占比分别为 71.12%和 69.89%,与第二名小牛引擎略有差距,且二者与所测 7 个引擎的汇总可读性内容占比均值 68.56%较为接近。

谷歌引擎在不同子领域中译文可读性内容占比的平均偏差为 2.63%,稳定性最高。其次为百度引擎的3.07%,稳定性略低于谷歌引擎,小牛引擎的平均偏差为 3.91%,位居第三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 4.57%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 标准 传神/阿里 小牛 搜狗
PJT2 界面词 搜狗 小牛、有道 百度
PJT3 通信 传神/阿里 小牛 搜狗

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 标准 PJT2 界面词 PJT3 通信 汇总
传神/阿里 76.84% 66.41% 84.41% 77.00%
小牛 76.56% 69.28% 79.58% 75.89%
搜狗 76.52% 69.51% 65.61% 71.12%
百度 74.11% 69.21% 65.20% 69.89%
有道 71.88% 69.28% 59.87% 67.13%
谷歌 61.04% 67.78% 62.66% 63.18%
DEEPL 46.18% 62.58% 62.57% 55.67%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是传神/阿里引擎的 73.77%,第二名和第三名是小牛引擎和有道引擎,其可读性内容占比分别为 73.13%和 70.83%;在正常单句条件下,排名第一的是百度引擎的 83.96%,第二名是传神/阿里引擎的 82.21%,第三名是小牛引擎的 78.02%;在简单单句条件下,排名前三的引擎分别为小牛和百度、搜狗、传神/阿里引擎,其可读性内容占比分别为 96.92%、96.92%、88.14%、86.94%,其中小牛引擎和百度引擎的可读性内容占比相同,二者并列第一。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 传神/阿里 小牛 有道
正常单句 百度 传神/阿里 小牛
简单单句 小牛、百度 搜狗 传神/阿里

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 73.77% 82.21% 86.94%
百度 56.17% 83.96% 96.92%
DEEPL 45.42% 68.63% 78.63%
谷歌 52.55% 76.31% 78.23%
搜狗 68.29% 68.89% 88.14%
小牛 73.13% 78.02% 96.92%
有道 70.83% 63.11% 83.12%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 4 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中汽车制造领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在汽车制造 3 个子领域(电气规范、技术文档、维修手册)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,搜狗引擎在所测引擎中表现出的翻译能力最佳,其次为有道、小牛引擎等;在不同领域的稳定性上,小牛引擎的平均偏差 1.74%显著低于所测所有 8 个引擎的平均偏差均值 9.09%,其中 DEEPL 引擎和搜狗引擎的稳定性位居二三名,其平均偏差分别为 1.81%和 4.07%。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是搜狗引擎,在三个子行业中的汇总可读性内容占比达到85.53%;排名第二的为有道引擎,其汇总可读性内容占比为 76.77%,低于第一名搜狗引擎且差距较大;排名第三第四的为小牛引擎和 DEEPL 引擎,其汇总可读性内容占比分别为 76.66%和 72.83%,与第二名有道引擎相差不大。

小牛引擎在不同子领域中译文可读性内容占比的平均偏差为 1.74%,稳定性最高。其次为 DEEPL 引擎的 1.81%,稳定性略低于小牛引擎,搜狗引擎的平均偏差为 4.07%,位居第三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 9.09%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 电气规范 搜狗 谷歌 小牛
PJT2 技术文档 有道 搜狗 小牛
PJT3 维修手册 搜狗 任度 百度

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 电气规范 PJT2 技术文档 PJT3 维修手册 汇总
搜狗 82.83% 82.33% 91.74% 85.53%
有道 57.50% 92.52% 81.72% 76.77%
小牛 74.81% 76.02% 79.33% 76.66%
DEEPL 70.18% 74.98% 73.53% 72.83%
任度 59.69% 68.27% 89.96% 72.22%
百度 71.13% 46.27% 86.27% 67.83%
谷歌 81.88% 42.47% 61.81% 62.50%
传神/阿里 68.81% 42.77% 74.19% 61.99%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是搜狗引擎的 76.13%,第二名和第三名是小牛引擎和有道引擎,其可读性内容占比分别为 71.05%和 65.81%;在正常单句条件下,排名第一的是搜狗引擎的96.37%,第二名是有道引擎的 88.60%,第三名是 DEEPL 引擎的 84.46%;在简单单句条件下,排名前三的引擎分别为 DEEPL、搜狗、传神/阿里引擎,其可读性内容占比分别为 91.09%、89.71%、85.58%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 搜狗 小牛 有道
正常单句 搜狗 有道 DEEPL
简单单句 DEEPL 搜狗 传神/阿里

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 54.67% 58.55% 85.58%
百度 57.22% 74.61% 83.21%
DEEPL 57.34% 84.46% 91.09%
谷歌 57.89% 64.25% 70.94%
任度 63.92% 78.76% 80.93%
搜狗 76.13% 96.37% 89.71%
小牛 71.05% 80.83% 83.34%
有道 65.81% 88.60% 84.03%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就中译英合同(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 3 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

中译英汽车制造领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在汽车制造 3 个子领域(电动汽车通信协议、发动机使用说明书、新能源汽车)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,传神/阿里引擎在所测引擎中表现出的翻译能力最佳,其次为小牛、搜狗引擎等;在不同领域的稳定性上,小牛引擎的平均偏差 2.56%,稳定性最佳,其次为谷歌引擎的 2.91%和百度引擎的 3.49%。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是传神/阿里引擎,在三个子行业中的汇总可读性内容占比达到 84.48%;排名第二的为小牛引擎,其汇总可读性内容占比为 83.96%,低于第一名传神/阿里引擎但差距不大;排名第三第四的为搜狗引擎和有道引擎,其汇总可读性内容占比分别为 82.50%和 82.05%,略低于第二名小牛引擎,相差不大。以上四个引擎的汇总可读性内容占比均高于此次所测 8 个引擎的汇总可读性内容占比均值 79.65%。

小牛引擎在不同子领域中译文可读性内容占比的平均偏差为 2.56%,稳定性最高。其次为谷歌引擎的2.91%,稳定性略低于小牛引擎,百度引擎的平均偏差为 3.49%,位居第三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 5.22%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 电动汽车通信协议 有道 传神/阿里 小牛
PJT2 发动机使用说明书 DEEPL 搜狗 有道
PJT3 新能源汽车 传神/阿里 搜狗 小牛

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 电动汽车通信协议 PJT2 发动机使用说明书 PJT3 新能源汽车 汇总
传神/阿里 88.36% 79.15% 85.98% 84.48%
小牛 87.96% 82.00% 82.40% 83.96%
搜狗 75.12% 89.00% 82.85% 82.50%
有道 96.25% 83.49% 69.14% 82.05%
谷歌 75.30% 83.24% 78.08% 78.91%
百度 83.19% 73.64% 79.80% 78.83%
DEEPL 71.60% 89.68% 63.56% 74.50%
任度 76.20% 76.82% 64.31% 71.99%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是传神/阿里引擎的 88.89%,第二名和第三名是百度引擎和有道引擎,其可读性内容占比分别为 88.01%和 82.26%;在正常单句条件下,排名第一的是小牛引擎的 90.35%,第二名是搜狗引擎的 89.81%,第三名是传神/阿里引擎的 84.34%;在简单单句条件下,排名前三的引擎分别为搜狗、谷歌、任度引擎,其可读性内容占比分别为 93.20%、90.14%、89.89%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 传神/阿里 百度 有道
正常单句 小牛 搜狗 传神/阿里
简单单句 搜狗 谷歌 任度

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 88.89% 84.34% 77.55%
百度 88.01% 68.11% 86.03%
DEEPL 67.10% 83.83% 81.24%
谷歌 77.93% 76.62% 90.14%
任度 57.51% 84.18% 89.89%
搜狗 73.60% 89.81% 93.20%
小牛 79.88% 90.35% 85.61%
有道 82.26% 81.65% 89.26%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 4 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中国际工程领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对任度、百度、传神/阿里、谷歌、搜狗、小牛、新译等 7 个机翻引擎在国际工程 5 个子领域(桥梁、港湾、机场、通用规范、科研报告)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,任度引擎在所测文件中表现出的翻译能力与新译引擎并列为所测引擎的第一梯队,其次为搜狗、百度等引擎;在不同领域的稳定性上,任度引擎明显高于包括新译引擎在内的其他所有引擎,稳定性为最优。

具体各项的数据如下:

1. 译文可读性内容占比

在在所测引擎中,新译的译文可读性内容占比 88.61%略高于任度引擎的 86.56%,均显著高于位列第三的搜狗(77.48%),同时显著高于所测所有 7 个机翻引擎的均值 74.8%;

任度引擎在不同子领域中译文可读性的平均偏差为 3.98%,显著低于所测引擎平均偏差均值 8.68%,新译的 6.15%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 桥梁 任度 搜狗 新译
PJT2 港湾 任度 新译 传神/阿里
PJT3 机场 新译 搜狗 任度
PJT4 通用规范 新译 搜狗 百度
PJT5 科研报告 新译 任度 谷歌

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 桥梁 PJT2 港湾 PJT3 机场 PJT4 通用规范 PJT5 科研报告 汇总
新译 78.43% 83.13% 96.93% 90.40% 93,47% 88.61%
任度 90.69% 83.88% 92.36% 80.97% 89.07% 86.56%
搜狗 86.15% 53.18% 93.37% 89.97% 63.68% 77.48%
百度 63.67% 65.86% 79.66% 85.02% 72.85% 74.36%
小牛 70.85% 68.76% 59.74% 78.96% 78.54% 71.76%
谷歌 59.95% 67.88% 85.93% 46.87% 85.40% 67.27%
传神/阿里 53.37% 74.43% 50.73% 61.04% 40.56% 57.25%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

任度译文在复杂单句中译文可读性内容占比达 88.02%,在正常单句中可读性内容占比达 90.28%,表现均为最优;新译译文在超复杂单句中可读性内容占比达 82.72%,在简单句中可读性内容占比 92.8%,表现均为最优;

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
超复杂单句 新译 任度 小牛
复杂单句 任度 百度 新译
正常单句 任度 新译 搜狗
简单单句 新译 任度 谷歌

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 超复杂 复杂 正常 简单
任度 76.69% 88.02% 90.28% 91.02%
新译 82.72% 63.07% 87.86% 92.80%
谷歌 50.35% 58.36% 81.80% 81.88%
搜狗 65.87% 42.84% 82.00% 80.58%
小牛 74.6% 42.93% 66.81% 75.24%
百度 67.6% 78.15% 76.39% 74.71%
传神/阿里 58.12% 49.48% 55.63% 52.71%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 8 月 24 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中石油领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在石油 3 个子领域(石油储运、石油勘探、石油天然气市场研究)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,百度引擎在所测引擎中表现出的翻译能力最佳,其次为 DEEPL 引擎和谷歌引擎等;在不同领域的稳定性上,小牛引擎的平均偏差为 4.61%,虽然其汇总可读占比排名靠后,但稳定性为最优;谷歌引擎的平均偏差为 10.03%,低于 8 个引擎的平均偏差均值 7.65%,稳定性排名第七,但其汇总可读性内容占比排名为前三,翻译能力较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是百度引擎,在三个子行业中的汇总可读性内容占比为76.26%;排名第二的为 DEEPL 引擎,其汇总可读性内容占比为 74.10%,低于第一名百度引擎但差距不大;排名第三的为谷歌引擎的 74.01%,略低于第二名 DEEPL 引擎;第四名有道引擎的汇总可读性内容占比为 71.93%,略高于 8 个引擎的汇总可读性内容占比均值 70.38%。

小牛引擎在不同子领域中译文可读性内容占比的平均偏差为 4.61%,稳定性最高。其次为 DEEPL 引擎的 5.56%,稳定性略低于小牛引擎,百度引擎的平均偏差为 5.64%,位居第三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 7.65%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 石油储运 任度 DEEPL 谷歌
PJT2 石油勘探 谷歌 百度 传神/阿里
PJT3 石油天然气市场研究 百度 DEEPL 有道

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 电动汽车通信协议 PJT2 发动机使用说明书 PJT3 新能源汽车 汇总
百度 81.49% 80.39% 68.25% 76.26%
DEEPL 82.64% 72.08% 68.17% 74.10%
谷歌 82.37% 82.34% 59.78% 74.01%
有道 77.76% 75.94% 63.48% 71.93%
传神/阿里 80.38% 77.91% 59.38% 71.86%
任度 85.49% 57.63% 58.68% 67.17%
搜狗 77.05% 66.82% 52.77% 64.98%
小牛 69.81% 63.17% 56.13% 62.75%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是有道引擎的 79.91%,第二名和第三名是 DEEPL引擎和传神/阿里引擎,其可读性内容占比分别为 68.04%和 65.74%;在正常单句条件下,排名第一的是谷歌引擎的 89.69%,第二名是百度引擎的 85.65%,第三名是传神/阿里引擎的 85.20%;在简单单句条件下,排名前三的引擎分别为任度、DEEPL、谷歌引擎,其可读性内容占比分别为 92.22%、88.58%、87.10%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 有道 DEEPL 传神/阿里
正常单句 谷歌 百度 传神/阿里
简单单句 任度 DEEPL 谷歌

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 65.74% 85.20% 60.34%
百度 65.21% 85.65% 86.22%
DEEPL 68.04% 74.89% 88.58%
谷歌 55.95% 89.69% 87.10%
任度 50.16% 77.13% 92.22%
搜狗 42.82% 84.30% 82.11%
小牛 56.27% 67.71% 69.73%
有道 79.91% 65.02% 67.19%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 3 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

中译英石油领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在石油 3 个子领域(石油储运、石油勘探、石油企业简介)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,任度引擎在所测引擎中表现出的翻译能力最佳,其次为 DEEPL、搜狗引擎等;在不同领域的稳定性上,任度引擎的平均偏差 1.54%显著低于所测所有 8 个引擎的平均偏差均值 7.50%,其中搜狗引擎和有道引擎的稳定性位居二三名,其平均偏差分别为 3.86%和 4.09%。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是任度引擎,在三个子行业中的汇总可读性内容占比达到82.74%;排名第二的为 DEEPL 引擎,其汇总可读性内容占比为 82.37%,略低于第一名任度引擎;排名第三第四的为搜狗引擎和有道引擎,其汇总可读性内容占比分别为 79.88%和 79.40%,与第二名 DEEPL 引擎相差不大,第五名为谷歌引擎的 78.96%,以上 5 个引擎的汇总可读性内容占比均高于此次所测 8 个引擎在不同子领域中的汇总可读性内容占比均值 75.65%。

任度引擎在不同子领域中译文可读性内容占比的平均偏差为 1.54%,稳定性最高,第二名为搜狗引擎的 3.86%,有道引擎的平均偏差为 4.09%,位居第三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 7.50%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 石油储运 谷歌 搜狗 任度
PJT2 石油勘探 任度 DEEPL 小牛
PJT3 石油企业简介 DEEPL 小牛 有道

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 石油储运 PJT2 石油勘探 PJT3 石油企业简介 汇总
任度 84.46% 82.94% 80.24% 82.74%
DEEPL 74.30% 81.79% 93.69% 82.37%
搜狗 85.24% 74.70% 78.41% 79.88%
有道 75.85% 77.67% 85.97% 79.40%
谷歌 88.47% 71.99% 73.94% 78.96%
小牛 53.52% 80.29% 90.28% 72.83%
传神/阿里 81.40% 48.28% 73.36% 68.48%
百度 47.21% 70.84% 66.98% 60.54%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是谷歌引擎的 79.62%,第二名和第三名是任度引擎和 DEEPL 引擎,其可读性内容占比分别为 77.99%和 76.05%;在正常单句条件下,排名第一的是任度引擎的 87.27%,第二名是搜狗引擎的 86.58%,第三名是小牛引擎的 85.95%;在简单单句条件下,排名前三的引擎分别为 DEEPL、百度、谷歌引擎,其可读性内容占比分别为 96.00%、90.17%、90.13%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 谷歌 任度 DEEPL
正常单句 任度 搜狗 小牛
简单单句 DEEPL 百度 谷歌

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 63.85% 70.11% 79.08%
百度 48.78% 67.03% 90.17%
DEEPL 76.05% 85.85% 96.00%
谷歌 79.62% 74.76% 90.13%
任度 77.99% 87.27% 87.26%
搜狗 73.79% 86.58% 79.94%
小牛 60.23% 85.95% 82.17%
有道 73.62% 82.48% 90.08%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 4 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中合同领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在合同 3 个子领域(分销协议、服务协议、股权购买协议)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,DEEPL 引擎在所测引擎中表现出的翻译能力最佳,其次为百度、搜狗引擎等;在不同领域的稳定性上,百度引擎的平均偏差为 5.38%,稳定性为最佳,其次为小牛引擎和谷歌引擎。DEEPL 引擎的稳定性排名为第六,较为靠后,但其译文整体质量表现为最优;百度引擎的译文整体质量和稳定性排名分别为第二名和第一名,综合表现较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是 DEEPL 引擎,在三个子领域中的汇总可读性内容占比为 76.33%;排名第二的为百度引擎,其汇总可读性内容占比为 75.88%,略低于第一名 DEEPL 引擎;排名第三第四的为搜狗引擎和小牛引擎,其汇总可读性内容占比分别为 70.06%和 65.09%,与此次所测 7 个引擎的汇总可读性内容占比均值 67.09%较为接近。

百度引擎在不同子领域中译文可读性内容占比的平均偏差为 5.38%,稳定性最高。其次为小牛引擎的 6.22%,稳定性略低于百度引擎,谷歌引擎的平均偏差为 6.32%,位居第三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 8.21%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 分销协议 百度 谷歌 DEEPL
PJT2 服务协议 DEEPL 有道 搜狗
PJT3 股权购买协议 百度 搜狗 DEEPL

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 分销协议 PJT2 服务协议 PJT3 股权购买协议 汇总
DEEPL 73.00% 93.38% 65.06% 76.33%
百度 79.70% 67.36% 79.21% 75.88%
搜狗 60.12% 82.53% 69.81% 70.06%
小牛 57.50% 75.01% 64.53% 65.09%
谷歌 73.96% 56.75% 62.71% 65.02%
有道 62.63% 82.60% 44.45% 62.35%
传神/阿里 66.25% 45.23% 51.25% 54.91%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是百度引擎的 76.77%,第二名和第三名是 DEEPL 引擎和搜狗引擎,其可读性内容占比分别为 68.09%和 65.67%;在正常单句条件下,排名第一的是谷歌引擎的 86.52%,第二名是 DEEPL 引擎的 80.89%,第三名是小牛引擎的 78.39%;在简单单句条件下,排名前三的引擎分别为小牛、DEEPL、搜狗引擎,其可读性内容占比分别为 91.27%、90.54%、89.91%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 百度 DEEPL 搜狗
正常单句 谷歌 DEEPL 小牛
简单单句 小牛 DEEPL 搜狗

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 43.69% 63.17% 69.55%
百度 76.77% 72.79% 80.41%
DEEPL 68.09% 80.89% 90.54%
谷歌 41.87% 86.52% 84.74%
搜狗 65.67% 67.44% 89.91%
小牛 46.34% 78.39% 91.27%
有道 48.52% 73.95% 77.26%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 25 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

中译英财经领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、任度等 7 个机翻引擎在财经 3 个子领域(年报、审计、信贷)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,百度引擎在所测引擎中表现出的翻译能力最佳,其次为任度、小牛引擎等;在不同领域的稳定性上,搜狗引擎的平均偏差为 4.25%,稳定性最佳,其次为百度引擎和谷歌引擎等。百度引擎在三个子领域中的汇总可读性内容占比排名和稳定性排名均为前两名,综合表现较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是百度引擎,在三个子领域中的汇总可读性内容占比达到 89.59%;排名第二的为任度引擎,其汇总可读性内容占比为 81.52%,与第一名百度引擎略有差距;排名第三第四的为小牛引擎和谷歌引擎,其汇总可读性内容占比分别为 79.02%和 72.31%。此次所测 7 个引擎的汇总可读性内容占比均值为 74.88%。

搜狗引擎在不同子领域中译文可读性内容占比的平均偏差为 4.25%,稳定性最高。其次为百度引擎的 4.56%,稳定性略低于搜狗引擎,谷歌引擎的平均偏差为 4.69%,位居第三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 5.78%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 年报 百度 传神/阿里 任度
PJT2 审计 任度 百度 谷歌
PJT3 信贷 百度 小牛 任度

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 年报 PJT2 审计 PJT3 信贷 汇总
百度 85.98% 84.89% 95.68% 89.59%
任度 77.33% 88.99% 78.18% 81.52%
小牛 74.78% 71.69% 87.65% 79.02%
谷歌 76.88% 76.41% 66.08% 72.31%
搜狗 63.22% 71.16% 74.43% 70.42%
传神/阿里 79.16% 62.63% 61.28% 66.40%
有道 69.82% 74.19% 54.24% 64.89%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是百度引擎的 85.06%,第二名和第三名是任度引擎和小牛引擎,其可读性内容占比分别为 79.86%和 74.49%;在正常单句条件下,排名第一的是有道引擎的 95.00%,第二名是百度引擎的 94.77%,第三名是搜狗引擎的 84.08%;在简单单句条件下,排名前三的引擎分别为百度、有道、传神/阿里引擎,其可读性内容占比分别为 95.87%、94.94%、94.76%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 百度 任度 小牛
正常单句 有道 百度 搜狗
简单单句 百度 有道 传神/阿里

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 52.50% 79.20% 94.76%
百度 85.06% 94.77% 95.87%
谷歌 61.98% 80.50% 94.45%
任度 79.86% 79.75% 93.09%
搜狗 60.64% 84.08% 75.52%
小牛 74.49% 81.74% 90.26%
有道 39.75% 95.00% 94.94%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 12 月 2 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中财经领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在财经 3 个子领域(财经报告、公司章程、股份认购)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,搜狗引擎在所测引擎中表现出的翻译能力最佳,其次为DEEPL、百度引擎等;在不同领域的稳定性上,DEEPL 引擎的平均偏差为 2.04%,稳定性最佳,其次为搜狗引擎的 3.92%,排名第二。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是搜狗引擎,在三个子领域中的汇总可读性内容占比达到 80.77%;排名第二的为 DEEPL 引擎,其汇总可读性内容占比为 70.33%,低于第一名搜狗引擎且差距较大;排名第三第四的为百度引擎和小牛引擎,其汇总可读性内容占比分别为 68.19%和 66.98%,与第二名 DEEPL 引擎相差不大,且与本次所测 8 个引擎的汇总可读性内容占比均值 66.84%较为接近。

DEEPL 引擎在不同子领域中译文可读性内容占比的平均偏差为 2.04%,稳定性最高。其次为搜狗引擎 的 3.92%,稳定性略低于 DEEPL 引擎,小牛引擎的平均偏差为 5.44%,位居第三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 7.27%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 财经报告 有道 传神/阿里 搜狗
PJT2 公司章程 搜狗 DEEPL 任度
PJT3 股份认购 搜狗 小牛 百度

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 财经报告 PJT2 公司章程 PJT3 股份认购 汇总
搜狗 78.74% 86.61% 76.85% 80.77%
DEEPL 73.48% 69.48% 68.29% 70.33%
百度 75.78% 55.00% 74.29% 68.19%
小牛 63.87% 61.70% 75.04% 66.98%
任度 57.93% 67.57% 72.97% 66.40%
有道 82.67% 44.91% 66.24% 64.15%
传神/阿里 80.60% 54.07% 45.59% 59.51%
谷歌 61.91% 50.11% 63.39% 58.40%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是搜狗引擎的 71.30%,第二名和第三名是百度引擎和小牛引擎,其可读性内容占比分别为 64.02%和 60.41%;在正常单句条件下,排名第一的是搜狗引擎的 88.30%,第二名是任度引擎的 83.41%,第三名是 DEEPL 引擎的 79.99%;在简单单句条件下,排名前三的引擎分别为搜狗、小牛、谷歌引擎,其可读性内容占比分别为 90.73%、85.31%、84.76%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 搜狗 百度 小牛
正常单句 搜狗 任度 DEEPL
简单单句 搜狗 小牛 谷歌

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 55.92% 59.65% 69.72%
百度 64.02% 66.58% 83.97%
DEEPL 59.20% 79.99% 80.24%
谷歌 43.37% 65.75% 84.76%
任度 47.43% 83.41% 81.42%
搜狗 71.30% 88.30% 90.73%
小牛 60.41% 67.22% 85.31%
有道 57.99% 64.68% 80.99%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 25 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中工程规范领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在工程规范 3 个子领域(标准规范与操作规程、健康安全环保规程、企业内部规程)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,小牛引擎在所测引擎中表现出的翻译能力最佳,其次为任度、有道引擎等;在不同领域的稳定性上,谷歌引擎的平均偏差为 2.53%,稳定性最佳,其次为搜狗引擎和任度引擎。任度引擎在三个子领域中的汇总可读性内容占比排名和稳定性排名均为前三,综合表现较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是小牛引擎,在三个子领域中的汇总可读性内容占比为 77.61%;排名第二的为任度引擎,其汇总可读性内容占比为 74.97%,低于第一名小牛引擎但差距不大;排名第三第四的为有道引擎和百度引擎,其汇总可读性内容占比分别为 74.93%和 73.12%,略低于第二名任度引擎;第五名为搜狗引擎的 72.84%,以上前五名引擎的汇总可读性内容占比均高于此次所测 8 个引擎的汇总可读性内容占比均值 70.02%。

谷歌引擎在不同子领域中译文可读性内容占比的平均偏差为 2.53%,稳定性最高。其次为搜狗引擎的 5.06%和任度引擎的 5.86%,位居第二、三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 7.64%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 标准规范与操作规程 有道 任度 小牛
PJT2 健康安全环保规程 百度 小牛 搜狗
PJT3 企业内部规程 百度 DEEPL 谷歌

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 标准规范与操作规程 PJT2 健康安全环保规程 PJT3 企业内部规程 汇总
小牛 81.62% 86.11% 68.00% 77.61%
任度 82.62% 69.40% 69.49% 74.97%
有道 90.61% 52.78% 70.02% 74.93%
百度 61.96% 86.78% 77.86% 73.12%
搜狗 75.31% 79.56% 66.05% 72.84%
谷歌 69.64% 64.97% 71.70% 69.39%
DEEPL 46.74% 66.67% 75.71% 61.63%
传神/阿里 56.74% 42.25% 62.37% 55.67%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是小牛引擎的 73.94%,第二名和第三名是有道引擎和百度引擎,其可读性内容占比分别为 66.62%和 65.09%;在正常单句条件下,排名第一的是任度引擎的 85.75%,第二名是搜狗引擎的 84.20%,第三名是百度引擎的 82.16%;在简单单句条件下,排名前三的引擎分别为有道、小牛、搜狗引擎,其可读性内容占比分别为 94.80%、91.98%、91.63%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 小牛 有道 百度
正常单句 任度 搜狗 百度
简单单句 有道 小牛 搜狗

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 45.89% 61.57% 76.77%
百度 65.09% 82.16% 79.00%
DEEPL 45.18% 74.81% 88.26%
谷歌 64.00% 71.63% 83.56%
任度 63.80% 85.75% 87.77%
搜狗 59.73% 84.20% 91.63%
小牛 73.94% 77.51% 91.98%
有道 66.62% 79.24% 94.80%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 25 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中建筑领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL 等 7 个机翻引擎在建筑 3 个子领域(标准文件、技术文件、铁路工程)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,百度引擎在所测引擎中表现出的翻译能力最佳,其次为小牛、搜狗引擎等;在不同领域的稳定性上,小牛引擎的平均偏差为 3.77%,稳定性最佳,其次为百度引擎和 DEEPL 引擎。百度引擎和小牛引擎的整体译文质量表现排名和稳定性排名均位列前二,综合表现较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是百度引擎,在三个子领域中的汇总可读性内容占比达到 84.10%;排名第二的为小牛引擎,其汇总可读性内容占比为 80.49%,低于第一名百度引擎但差距不大;排名第三第四的为搜狗引擎和有道引擎,其汇总可读性内容占比分别为 75.40%和 73.57%。以上前四名引擎的汇总可读性内容占比均高于此次所测 7 个引擎的汇总可读性内容占比均值 69.82%。

小牛引擎在不同子领域中译文可读性内容占比的平均偏差为 3.77%,稳定性最高。其次为百度引擎的 4.40%,稳定性略低于小牛引擎,DEEPL 引擎的平均偏差为 4.80%,位居第三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值为 6.83%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 标准文件 百度 小牛 搜狗
PJT2 技术文件 搜狗 有道 小牛
PJT3 铁路工程 小牛 百度 有道

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 标准文件 PJT2 技术文件 PJT3 铁路工程 汇总
百度 90.38% 78.88% 82.06% 84.10%
小牛 75.54% 80.44% 86.47% 80.49%
搜狗 63.96% 84.93% 79.09% 75.40%
有道 60.96% 82.38% 79.43% 73.57%
谷歌 47.42% 67.01% 74.53% 62.10%
DEEPL 54.03% 61.44% 68.22% 60.79%
传神/阿里 41.65% 53.97% 63.27% 52.29%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是小牛引擎的 82.62%,第二名和第三名是百度引擎和搜狗引擎,其可读性内容占比分别为 78.94%和 73.54%;在正常单句条件下,排名第一的是百度引擎的 87.69%,第二名是谷歌引擎的 82.37%,第三名是小牛引擎的 77.29%;在简单单句条件下,排名前三的引擎分别为谷歌、百度、搜狗引擎,其可读性内容占比分别为 91.63%、91.09%、88.96%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 小牛 百度 搜狗
正常单句 百度 谷歌 小牛
简单单句 谷歌 百度 搜狗

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 28.04% 74.38% 72.99%
百度 78.94% 87.69% 91.09%
DEEPL 49.75% 71.11% 69.58%
谷歌 36.36% 82.37% 91.63%
搜狗 73.54% 72.04% 88.96%
小牛 82.62% 77.29% 81.65%
有道 69.73% 75.11% 81.53%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 25 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中装备制造领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL等 7 个机翻引擎在装备制造 3 个子领域(安装和维护手册、飞机、机车)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,搜狗引擎在所测引擎中表现出的翻译能力最佳,其次为 DEEPL、 小牛引擎等;在不同领域的稳定性上,有道引擎的平均偏差为 0.99%,显著低于所测 7 个引擎的平均偏差均值 6.67%,稳定性位居第一名,第二第三名分别为谷歌引擎和小牛引擎。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是搜狗引擎,在三个子领域中的汇总可读性内容占比为 82.71%;排名第二的为 DEEPL 引擎,其汇总可读性内容占比为 81.95%,略低于第一名搜狗引擎;排名第三第四的为小牛引擎和谷歌引擎,其汇总可读性内容占比分别为 79.89%和 76.63%,以上前四名引擎的汇总可读性内容占比均高于此次所测 7 个引擎的汇总可读性内容占比均值 76.37%。

有道引擎在不同子领域中译文可读性内容占比的平均偏差为 0.99%,稳定性最高。其次为谷歌引擎的 3.93%和小牛引擎的 6.67%,位居二、三名。此次所测 7 个引擎在不同子领域中译文可读性的平均偏差均值 为 6.67%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 安装和维护手册 搜狗 小牛 百度
PJT2 飞机 DEEPL 传神/阿里 谷歌
PJT3 机车 百度 DEEPL 搜狗

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 安装和维护手册 PJT2 飞机 PJT3 机车 汇总
搜狗 88.08% 69.97% 89.49% 82.71%
DEEPL 72.80% 81.06% 93.06% 81.95%
小牛 84.64% 69.72% 84.80% 79.89%
谷歌 70.96% 77.89% 81.70% 76.63%
百度 74.59% 58.63% 95.49% 76.15%
有道 67.54% 69.97% 69.57% 68.97%
传神/阿里 62.91% 78.64% 63.96% 68.30%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是搜狗引擎的 82.13%,第二名和第三名是 DEEPL 引擎和谷歌引擎,其可读性内容占比分别为 80.79%和 76.11%;在正常单句条件下,排名第一的是搜狗引擎的 82.19%,第二名是 DEEPL 引擎的 80.54%,第三名是小牛引擎的 78.04%;在简单单句条件下,排名前三的引擎分别为小牛、DEEPL、谷歌引擎,其可读性内容占比分别为 97.16%、89.30%、86.41%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 搜狗 DEEPL 谷歌
正常单句 搜狗 DEEPL 小牛
简单单句 小牛 DEEPL 谷歌

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 62.24% 69.46% 85.52%
百度 75.83% 74.29% 81.68%
DEEPL 80.79% 80.54% 89.30%
谷歌 76.11% 73.37% 86.41%
搜狗 82.13% 82.19% 85.91%
小牛 76.05% 78.04% 97.16%
有道 60.26% 75.87% 80.84%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 25 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中石化领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在石化 3 个子领域(铂重整、裂解、脱硫除尘)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,DEEPL 引擎在所测引擎中表现出的翻译能力最佳,其次为小牛、有道引擎等;在不同领域的稳定性上,有道引擎的平均偏差为 1.26%,显著低于所测所有 8 个引擎的平均偏差均值 9.92%,稳定性为最佳,传神/阿里引擎和小牛引擎的稳定性位居二三名。小牛引擎和有道引擎的整体译文质量表现排名和稳定性排名均位居前三,综合表现较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是 DEEPL 引擎,在三个子领域中的汇总可读性内容占比达到 87.35%;排名第二的为小牛引擎,其汇总可读性内容占比为 86.81%,略低于第一名 DEEPL 引擎;排名第三第四的为有道引擎和百度引擎,其汇总可读性内容占比分别为 84.95%和 77.15%,二者与此次所测 8 个引擎的汇总可读性内容占比均值 79.19%较为接近。

有道引擎在不同子领域中译文可读性内容占比的平均偏差为 1.26%,稳定性最高。其次为传神/阿里引擎的 4.23%和小牛引擎的 5.68%,稳定性位居二三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 9.92%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 铂重整 有道 小牛 DEEPL
PJT2 裂解 百度 DEEPL 谷歌
PJT3 脱硫除尘 DEEPL 小牛 任度

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 铂重整 PJT2 裂解 PJT3 脱硫除尘 汇总
DEEPL 68.95% 94.97% 95.89% 87.35%
小牛 78.26% 88.13% 93.97% 86.81%
有道 82.88% 86.52% 84.89% 84.95%
百度 54.96% 95.29% 74.62% 77.15%
任度 53.51% 87.39% 86.00% 76.73%
谷歌 43.17% 92.80% 83.67% 75.15%
搜狗 62.44% 80.97% 80.13% 75.11%
传神/阿里 64.49% 75.87% 68.21% 70.23%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是 DEEPL 引擎的 85.19%,第二名和第三名是有道引擎和小牛引擎,其可读性内容占比分别为 84.65%和 75.76%;在正常单句条件下,排名第一的是小牛引擎的 97.81%,第二名是 DEEPL 引擎的 89.72%,第三名是有道引擎的 82.86%;在简单单句条件下,排名前三的引擎分别为小牛、有道、谷歌引擎,其可读性内容占比分别为 95.76%、95.29%、94.73%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 DEEPL 有道 小牛
正常单句 小牛 DEEPL 有道
简单单句 小牛 有道 谷歌

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 57.94% 80.74% 87.57%
百度 69.96% 82.53% 90.58%
DEEPL 85.19% 89.72% 88.14%
谷歌 67.94% 79.08% 94.73%
任度 69.88% 82.07% 88.51%
搜狗 71.97% 74.88% 92.00%
小牛 75.76% 97.81% 95.76%
有道 84.65% 82.86% 95.29%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 25 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

下载报告

英译中电力领域翻译引擎评测报告

本次评测采用多文档众包盲评方法(见附录),对百度、传神/阿里、谷歌、搜狗、小牛、有道、DEEPL、任度等 8 个机翻引擎在电力 3 个子领域(电工、风电、水电)的机翻译文质量进行了评测。所有机翻引擎译文均取自于各翻译引擎 API。

我们认为,在整体译文质量表现上,DEEPL 引擎在所测引擎中表现出的翻译能力最佳,其次为任度、有道引擎等;在不同领域的稳定性上,DEEPL 引擎的平均偏差为 6.01%,稳定性最佳,其次为任度引擎和百度引擎等。此次评测中,DEEPL 引擎和任度引擎的整体译文质量表现排名和稳定性排名均为前两名,综合表现较为出色。

具体各项的数据如下:

1. 译文可读性内容占比

在所测引擎中,可读性内容占比位列第一的是 DEEPL 引擎,在三个子领域中的汇总可读性内容占比达到 82.23%;排名第二的为任度引擎,其汇总可读性内容占比为 78.53%,低于第一名 DEEPL 引擎但差距不大;排名第三第四的为有道引擎和小牛引擎,其汇总可读性内容占比分别为 74.24%和 72.23%,与第二名任度引擎略有差距。以上四个引擎的汇总可读性内容占比均高于此次所测 8 个引擎的汇总可读性内容占比均值 71.37%。

DEEPL 引擎在不同子领域中译文可读性内容占比的平均偏差为 6.01%,稳定性最高。其次为任度引擎的 7.25%,稳定性略低于 DEEPL 引擎,百度引擎的平均偏差为 8.18%,位居第三名。此次所测 8 个引擎在不同子领域中译文可读性的平均偏差均值为 10.54%。

具体排名详见表 1.1

表 1.1 各引擎译文可读性内容排名(TOP3)

可读性内容排行 1 2 3
PJT1 电工 任度 传神/阿里 有道
PJT2 风电 搜狗 小牛 DEEPL
PJT3 水电 DEEPL 小牛 任度

表 1.2 各引擎机翻译文在工程子领域中可读性内容占比

引擎 PJT1 电工 PJT2 风电 PJT3 水电 汇总
DEEPL 71.99% 83.52% 87.52% 82.23%
任度 87.30% 67.92% 81.19% 78.53%
有道 82.37% 82.45% 63.05% 74.24%
小牛 36.50% 83.59% 85.50% 72.23%
搜狗 75.60% 85.70% 55.55% 70.35%
百度 79.07% 61.05% 60.28% 65.38%
传神/阿里 86.12% 55.15% 57.20% 64.02%
谷歌 78.35% 62.26% 56.43% 63.95%

2. 不同文字复杂度条件下各引擎的表现

在译文可读性方面:

在复杂单句条件下,可读性内容占比排名第一的是 DEEPL 引擎的 78.91%,第二名和第三名是小牛引擎和任度引擎,其可读性内容占比分别为 72.59%和 66.05%;在正常单句条件下,排名第一的是任度引擎的 90.19%,第二名是有道引擎的 87.53%,第三名是DEEPL 引擎的 82.72%;在简单单句条件下,排名前三的引擎分别为任度、百度、DEEPL 引擎,其可读性内容占比分别为 95.98%、95.30%、95.17%。

具体排名详见表 2.1

表 2.1 不同复杂度单句中的可读性内容引擎排名(TOP3)

可读性内容排行 1 2 3
复杂单句 DEEPL 小牛 任度
正常单句 任度 有道 DEEPL
简单单句 任度 百度 DEEPL

表 2.2 不同文字复杂度条件下,各引擎机翻译文的可读性内容占比

引擎 复杂 正常 简单
传神/阿里 48.10% 77.49% 90.66%
百度 51.41% 75.07% 95.30%
DEEPL 78.91% 82.72% 95.17%
谷歌 48.17% 76.73% 92.39%
任度 66.05% 90.19% 95.98%
搜狗 63.96% 73.86% 87.81%
小牛 72.59% 70.33% 77.10%
有道 61.97% 87.53% 86.51%

附录

评测方法

1. 多文档众包盲评

针对不同行业,选取代表其子领域的若干项目稿件,以这些项目作为源语料,输出运用不同翻译引擎翻译得出的目的语料,将这些目的语料投入众包平台进行盲评,进而得出不同翻译引擎表现的统计数据。举例来说,就英译中招投标(行业)进行多文档众包盲评如下:

  • 1) 选取代表英译中语向招投标领域的三个常见方向(港口、公路、铁路)的典型项目语料集(PJT1、PJT2、PJT3);
  • 2) 输出运用不同翻译引擎(百度、传神/阿里共建、谷歌、搜狗、腾讯翻译君、小牛等等翻译引擎)的逐句翻译结果;
  • 3) 将上述输出翻译句段加载到众包平台,由多位认证译员进行质量标注(无需修改、轻度修改、中度修改、重度修改;
  • 4) 针对众包统计结果,得出评测结果。

2. 质量标注标准

  • 1) 无需修改:译文语义正确,可直接使用;
  • 2) 轻度修改:所有低错,包括拼写、错别字、大小写、标点符号、数字错误;
  • 3) 中度修改:语法错误,非关键词错误,表达不符合阅读习惯;
  • 4) 重度修改:译文存在语义错误,背离原文语义,造成误解、误操作等严重后果。

特别声明

以上评测报告内容属内部测验,结果仅代表机翻译文收集之日(2021 年 11 月 25 日)的机翻引擎水平,完全基于测试中所选定评价译员对所测语料机翻译文质量的认知,内容仅供参考,不具备相关权威论证性质。同时亦不构成对搜狗、有道等翻译引擎翻译效果、实用性方面的任何评价或贬损,任何人或单位不得擅自使用。

在线客服
电话咨询

客服电话:
400-0506-071

业务处理:
15337141444(李)

服务时间:

工 作 日:9:00~20:00

双休/节假日:9:30~17:00

APP

 IOL语联网APP正式上线!

扫码下载APP,随时随地翻译

返回顶部