机器翻译质量评估
背景介绍
一. 功能简介
机器翻译译后编辑（MTPE）现已成为语言服务业界较为流行的人机结合工作方式。YiCAT平台现上线机器翻译质量评估*功能，以打分方式评估机翻译文质量，并计算机翻结果可能需要的译后编辑时间和译后编辑距离，帮助用户概览机翻结果，从而更好梳理译后编辑工作量，满足精准分配项目工时的需求。
通常，为评估译后编辑的工作量，使用者需要测定编辑时间和编辑距离。下面将简要介绍这两个概念：
编辑时间
编辑时间是指用户在平台进行编辑操作的时间。
编辑距离
编辑距离是指两个字串之间由一个转成另一个所需的最少编辑操作次数。这里所说的编辑操作通常包括将一个字符替换成另一个、插入一个字符和删除一个字符。编辑距离可以用来比较译后编辑和机器翻译初始译文的相似性。通常编辑距离越小，初始文本和经译后编辑文本的相似性越大。
二. 评分原理
在产生机翻译文后，YiCAT的人工智能评分系统会预估句段译后编辑时间和编辑距离，以评测译文质量，衡量译后编辑难度。启用本功能后，您在调用机器翻译结果时，系统会根据评分结果，为所选中句段打出超优（S）/优（A）/良（B）/中（C）四个档次的分数。
目前，本功能只支持中英互译：中文（中国）与英语（美国）。
*注：本功能现为测试版本，且为系统自动打分的结果，仅供参考。
如何操作
一. 项目管理界面
1. 项目创建/设置——从机器翻译引擎开启本功能
进入YiCAT使用界面，点击【项目管理-新建项目】，您可以在左侧导航栏中看到机器翻译引擎选项卡。在这里根据需要勾选【开启机器翻译质量评估】选项。
或者您也可在创建项目后，在【项目详情】页点击【项目设置】，在机器翻译引擎选项卡中勾选【开启机器翻译质量评估】，点击【保存】后可获得机翻质量评估结果。
2. 项目管理——从预翻译开启本功能
进入YiCAT使用界面，点击【项目管理】-【项目详情】，勾选项目中需要评估质量的文件，点击【预翻译】进入预翻译设置。在这个界面，您可以通过勾选【开启机器翻译质量评估】选项，来获得机翻译文分数。
在【预翻译】选项卡下，勾选【开启机器翻译质量评估】时，操作与上文机器翻译引擎选项卡类似。
注：
1. 本功能目前只支持中英互译，源语言需为中文（中国）/英语（美国），目标语言需为英语（美国）/中文（中国）。其它语言对暂不开放。
2. 若用户选择启用【TranSmart交互式机器翻译】，不可使用本功能。
3. 在开启术语干预和融合记忆库机翻之后，系统将应用干预后的译文作为评估材料。
4. 项目设置未开启机翻，或机翻引擎中未开启质量评估时，仍可在预翻译设置中开启此功能。
二. 编辑器界面
机器翻译质量评估启用后，分数会在编辑器界面体现。开启此功能后，在调用机器翻译时，系统会自动为机器翻译质量打分。在这里，可能出现的机翻质量分数分为S/A/B/C四档，其具体含义为：
S代表机器翻译质量为超优，译员可不做修改。
A代表机器翻译质量为优，译员可稍加修改。
B代表机器翻译质量为良，译员可详细修改。
C代表机器翻译质量为中，译员需多加注意。
打分前后，编辑器句段状态将会发生变化，前后效果对比如下：
另外，在编辑器参考区域，也会显示机器翻译质量评估相应标识。例如下图：
1. 打分结果说明
1.1 评分结果获取方式——编辑器
开启预翻译或机翻引擎后，机翻质量评估结果会在编辑器右侧的句段状态中显示。人工修改后，该句段标识将会变为白色，但分数保持不变。效果如下图：
1.2 查看评分详情
产生质量评估分数后，通过句段标识，您可以在编辑器中来获取评分详情。将鼠标悬浮于句段标识上并保持，会出现以下悬浮窗，展示目前使用的机翻引擎、预估译后编辑时间、预估译后编辑距离。后两者为平台系统对各个句段的编辑难度预测结果。
1.3 质量评估打分反馈
若您认为本功能自动评分有误，可通过悬浮窗内设反馈弹窗提交反馈。
点击窗体中“评估有误，我要反馈”按钮，会显示以下弹窗。在这里，您可为本句选择合适的机翻质量评估分数。
2. 编辑器帮助页面
2.1 帮助页面
在编辑器的帮助界面，我们新增了对于本功能打分的详细解释。具体如下图：
2.2 分数解释
YiCAT平台在评估机翻译文质量后，为译文打出的分数可分为四档，分别是S/A/B/C。
其中，S代表机器翻译质量为超优，译员可不做修改。
A代表机器翻译质量为优，译员可稍加修改。
B代表机器翻译质量为良，译员可详细修改。
C代表机器翻译质量为中，译员需多加注意。
如果句段评估分数为S档或A档，代表平台认为当前句段机器翻译质量较高，提示用户可进行较少的或轻度译后编辑（light post-editing）操作；
如果句段评估分数为B或C档，且译后编辑时间、编辑距离的估计值都较大，代表当前句段机器翻译质量较低，译员和/或审校在后期进行译后编辑时，可能需要多加注意，或做深度译后编辑（full post-editing）。