语料库ssd4k对齐

ssd4k对齐  时间:2021-01-16  阅读:()

0引言国内外很多研究机构都致力于双语语料库的建设,并利用这些语料库进行广泛的研究.
但目前汉外双语语料库规模比较小,加工规范也不统一,从而影响了双语语料库知识获取的研究.
实现各个层次的对齐是双语语料库建设的一项重要内容.
1双语语料库建设加拿大的议会会议录(CanadianHansards)是非常著名的英法双语语料库,许多最初的基于双语语料库的研究都是在该语料库基础上进行的[1,2].
香港科技大学收集和加工了香港立法委员会的会议记录,形成了汉英双语语料库[3].
目前,我们所拥有的有价值的语料大致如下:联合国语料库是联合国近几年来会议记录的筛选和整理,包含1993~2002年的所有语料.
香港新闻语料也是重要的资源,包含三个子语料库:香港议会平行语料、香港法律平行语料、香港新闻平行语料,分别有2000年和2004年两个版本,其中2004年的版本已经做到句子层级的对齐,但文本仍然混乱,当中也存在不少噪声.
所以语料建设的主要工作是句对的抽取和根据句对的评价权重进行筛选.
FBIS(ForeignBroadcastingInformationService)是国外广播信息的语料,包含多国语言的篇章级对齐文本,我们选取其中的中英文本来进行语料库的建设.
汉英新闻杂志平行文本(ChineseEnglishNewsMagazineParallelText)包含的是新闻事件以及它的英文译文,是LDC从台湾的Sinorama杂志收集的,时间跨度为1976~2004年,当中共有6366个故事对,365568句子对.
由于题材和翻译的原因,这部分的语料质量不够好.
2编码格式规范新闻领域双语语料建设与句子对齐方法的研究林哲辉,贾剑锋,郭文(厦门大学信息科学与技术学院,福建厦门361005)摘要:双语对齐的平行语料库在机器翻译和自然语言处理领域中扮演着非常重要的角色,它的研究和制作具有重要的理论意义和实用价值,双语语料的建设十分必要,其中双语对齐是最基本的环节.
文章首先简要介绍了语料库的建设情况,然后结合主流的句子对齐方法提出并实现了基于词典和语言学信息的英汉双语句子对齐.

A400互联(49元/月)洛杉矶CN2 GIA+BGP、1Gbps带宽,全场独服永久5折优惠

a400互联是一家成立于2020年商家,主营美国机房的产品,包括BGP线路、CN2 GIA线路的云服务器、独立服务器、高防服务器,接入线路优质,延迟低,稳定性高,额外也还有香港云服务器业务。当前,全场服务器5折,香港VPS7折,洛杉矶VPS5折,限时促销!A400互联官网:https://a400.net/优惠活动全场独服永久5折优惠(续费同价):0722香港VPS七折优惠:0711洛杉矶VPS五...

UCloud新人优惠中国香港/日本/美国云服务器低至4元

UCloud优刻得商家这几年应该已经被我们不少的个人站长用户认知,且确实在当下阿里云、腾讯云服务商不断的只促销服务于新用户活动,给我们很多老用户折扣的空间不多。于是,我们可以通过拓展选择其他同类服务商享受新人的福利,这里其中之一就选择UCloud商家。UCloud服务商2020年创业板上市的,实际上很早就有认识到,那时候价格高的离谱,谁让他们只服务有钱的企业用户呢。这里希望融入到我们大众消费者,你...

杭州王小玉网-美国CERA 2核8G内存19.9元/月,香港,日本E3/16G/20M CN2带宽150元/月,美国宿主机1500元,国内宿主机1200元

官方网站:点击访问王小玉网络官网活动方案:买美国云服务器就选MF.0220.CN 实力 强 强 强!!!杭州王小玉网络 旗下 魔方资源池 “我亏本你引流活动 ” mf.0220.CNCPU型号内存硬盘美国CERA机房 E5 2696v2 2核心8G30G总硬盘1个独立IP19.9元/月 续费同价mf.0220.CN 购买湖北100G防御 E5 2690v2 4核心4G...

ssd4k对齐为你推荐
虚拟主机虚拟主机是怎么一回事?国际域名国际域名是什么?域名服务商比较专业的域名服务商有哪些?好的域名和域名服务商没关系吧?重庆虚拟空间重庆那里可以租用VSP主机asp网站空间什么是ASP空间?免备案虚拟主机哪家免备案虚拟主机好,而且便宜点的?独立ip虚拟主机独立ip的虚拟主机和vps的区别和优势??虚拟主机软件常见的虚拟机软件有哪几种?美国虚拟主机购买我公司需要购买美国的虚拟主机。但是为什么有的海外主机很便宜!有的却很贵呢。 质量如何区分!有没办法去青岛虚拟主机虚拟主机在什么地方买好?又便宜?
个人注册域名 北京域名空间 注册cn域名 cybermonday themeforest 哈喽图床 监控宝 win8升级win10正式版 好看的桌面背景图片 远程登陆工具 私有云存储 panel1 免费mysql 电子邮件服务器 135邮箱 双十一秒杀 免费防火墙 秒杀汇 服务器合租 免费智能解析 更多