图谱运行内存

通图-Smart.
KG产品白皮书产品白皮书V1.
0北明智通(北京)科技有限公司www.
bmsmart.
com.
cn通图-Smart.
KG产品白皮书2目录第一章、引言.
31.
1编写目的.
31.
2术语和缩写词.
3第二章、产品概述.
32.
1产品用途.
32.
2运行环境.
42.
3安装说明.
4第三章、产品介绍.
53.
1产品架构.
53.
1.
1应用架构.
53.
1.
2技术架构.
63.
1.
3技术路线.
63.
2产品服务模块.
73.
2.
1门户服务.
73.
2.
2数据DNA服务.
83.
2.
3知识图谱服务.
93.
2.
4数据源服务.
103.
3产品API清单.
113.
3.
1数据DNA.
113.
3.
2知识图谱.
12第四章、产品特点.
14第五章、产品应用案例.
155.
1基于知识图谱的精准搜索.
155.
2基于知识图谱的智能问答.
165.
3基于知识图谱的质量追溯.
175.
4中国石化科研板块知识管理项目.
185.
5自然资源大数据与决策支持平台项目.
205.
6舰船领域知识工程项目.
20通图-Smart.
KG产品白皮书3第一章、引言1.
1编写目的说到人工智能技术,人们首先会联想到深度学习、机器学习技术;谈到人工智能应用,人们很可能会马上想起语音助理、自动驾驶等等,各行各业都在研发底层技术和寻求AI场景,却忽视了当下最时髦也很重要的AI技术:知识图谱.
当我们进行搜索时,搜索结果右侧的联想,来源于知识图谱技术的应用.
我们几乎每天都会接收到各种各样的推荐信息,从新闻、购物到吃饭、娱乐.
个性化推荐作为一种信息过滤的重要手段,可以依据我们的习惯和爱好推荐合适的服务,也来自于知识图谱技术的应用.

搜索、地图、个性化推荐、互联网、风控、银行……越来越多的应用场景,都越来越依赖知识图谱.
编写本文的目的是对产品信息进行全面整体的介绍,充分叙述本产品所能实现的功能、特点及其运行环境,帮助用户熟悉通图,方便用户使用.
1.
2术语和缩写词北明智通(北京)科技有限公司,简称为北明智通或智通;北明智通通图产品,简称为产品或软件产品.
第二章、产品概述2.
1产品用途通图产品的目标和定位是适用于各行各业的图谱构建工具型产品.
拥有高效的图谱构建能力,全过程可视化操作,帮助企业无缝衔接业务系统,击穿信息孤岛壁垒,分析业务数据隐形关系,残缺关系完整化,快速形成不同行业知识图谱,并提供不同场景的图谱智能化服务.
通图-Smart.
KG产品白皮书4图2-1通图产品定位通图产品面向的业务类型和目标群体主要类别:1.
图谱构建和应用类图谱构建和应用类的业务复杂程度较高,需要针对企业/行业构建一个完整的行业知识图谱,然后再知识图谱的基础上再搭建基于知识图谱的应用,例如:数据来源多样化、数据结构多样化、数据逻辑关系多样化,应用必须借助这些数据的综合处理才能实现应用的企业;需要构建企业统一知识管理,为未来的多种智能化应用提供支撑服务的企业;典型的智能化应用包括:一站式信息搜索、精准问答、智能客服等.
2.
2运行环境建议硬件要求:Web服务器:应用采用微服务部署,单个微服务应用配置最小运行内存为2G,其中图谱应用服务最小运行内存为8G内存,所有服务可部署再一台服务器上8核cpu、32G内存、500G硬盘,建议可按照实际使用情况更改配置.
数据库集群服务器:8核cpu、32G内存、2T硬盘,4台,存储关系型数据,同时作为缓存Redis服务器集群使用.
图数据库单机:图数据库根据用户数据评估情况,可选择配置单机版本:8核cpu,32G内存,1T硬盘,共1台;可按照实际使用情况做出调整;软件要求:操作系统:Centos7JAVA运行软件:JDK1.
8文件系统软件:FastDFS4.
0.
0数据库软件:Mysql5.
7,MongoDB4.
0图数据库软件:OrientDB-tp3-3.
0.
22缓存:Redis4.
02.
3安装说明本产品支持docker容器化部署,也可本地离线化安装,安装所需如下:1、JAVA运行环境安装.
2、数据库及缓存安装.
3、图数据库OrientDB安装4、消息中间件安装通图-Smart.
KG产品白皮书55、大数据集群搭建.
6、应用微服务配置.
7、通图产品安装.
第三章、产品介绍3.
1产品架构3.
1.
1应用架构产品定位在工具级,所以主要是面向其他应用系统提供服务.
所以系统架构主要分为这么几个部分:云保障、云安全、底层计算等资源支撑,以及资源层、工具层、管理层和应用层.
图3-1通图应用架构通图产品主要包括以下几个层次的内容:首先是管理功能的支撑:包括数据源管理、字典管理、模型管理、权限管理、数据源管理和API管理.
最底层是资源层:包括各类数据资源,例如语料,数据源,以及各类算法资源,例如CRF、NaiveB、Bert等等.
第二层是工具层:将各类数据资源和算法资源集成后,构建面向一个个特定使用场景的工具,为图谱引擎和业务应用提供支撑.
实现从知识图谱的构建、维护、学习扩展,以及图谱应用的解析.
第三层是业务应用层:三种应用方式支撑具体的应用场景.
业务应用层的三种应用方式,分别是行智能问答、推理搜索、数据溯源等应用.

1.
知识图谱构建通图-Smart.
KG产品白皮书6知识图谱构建包括两个阶段:概念图谱梳理与构建,实例图谱构建.
通图提供了从概念图谱构建到实例图谱构建,最后形成知识图谱应用的图谱全过程和全生命周期的管理.
知识图谱的构建功能包括支持自底向上和自顶向下两种构建图谱方式,支持结构化、半结构化和非结构化三种可处理的数据类型,例如本地表格文件、数据库表和视图、文本数据等等.

2.
智能问答基于知识图谱的智能问答,可以对问题进行语义理解、知识推理、计算分析.
知识图谱能够反映结构化数据的语义信息,又能够体现实体之间的复杂关系,并且对所有信息单元进行推理计算和路径关联分析,在自海量的知识库中,帮助用户寻找最符合意图的答案;例如:在油气勘探生产中,可以直接回答某口井的各项生产作业指标,出现生产异常时,可以帮助用户辅助排查生产故障问题3.
1.
2技术架构产品借鉴salesforce的经验打造,通过组件化实现功能的可插拔,使用微服务架构,实现业务彻底的组件化和服务化,将SOA思想升华.
图3-2通图技术架构3.
1.
3技术路线通图的技术路线遵循"采存管用"以及DIKW(即"数据-信息-知识-智慧")的思路来进行设计.
通图-Smart.
KG产品白皮书7图3-3通图技术路线核心技术包括NLP、知识图谱、图计算、深度学习等几块内容,能够支持语义分析挖掘与处理,多种知识图谱构建和解析方式支撑智能化应用,支持智能问答、推理搜索、数据溯源等,支持深度学习、神经网络等算法模型,支持基于图论为基础的各种图谱计算方式,例如图遍历、路径发现、关系发现、最短路径、最小生成树、图匹配等等.

3.
2产品服务模块下面是本产品的主要功能及服务模块.
3.
2.
1门户服务首页门户是产品的介绍页面,包括产品的文字介绍、数据DNA、知识图谱、智能问答介绍以及登录、注册、立即使用按钮.
通图-Smart.
KG产品白皮书8图3-4产品首页除了产品首页外,其他功能需要用户登录后才能使用.
点击登录按钮打开登录页面.

图3-5产品登录3.
2.
2数据DNA服务数据DNA独有的关系挖掘算,自动分析数据库内数据的关系,将隐藏的数据关系显性化.
通图-Smart.
KG产品白皮书9选择数据库后通过显性分析、词法分析、日志分析、终极验证四步对数据进行关系识别,最终生成关系图,生成关系图后支持人工对关系进行校验,支持增删改查.

图3-6数据DNA3.
2.
3知识图谱服务知识图谱服务提供图谱构建功能,将现实中的业务数据构建成知识图谱,通过知识图谱支撑前端业务功能.
知识图谱服务能包括基本信息增删改查、图谱数据库配置、图谱文件上传、图谱构建、图谱详情等,图谱构建功能采用极简交互方式,所见即所得,让用户可以直观看到自己构建的知识图谱在一点一滴地积累和扩展.
在知识图谱这里构建一个知识图谱,或者在一个已构建的知识图谱上查找需要的知识,包括图谱基本信息增删改查、图谱数据库配置、图谱文件上传、图谱构建、图谱详情等.

通图-Smart.
KG产品白皮书10图3-7图谱展示3.
2.
4数据源服务数据源服务配置数据库连接信息,支持多种不同类型数据库,配置的数据库源可作为后续图谱构建、图谱展示的数据依据.
图3-7图谱展示通图-Smart.
KG产品白皮书113.
3产品API清单3.
3.
1数据DNA1.
DNA基本信息(1)获取DNA列表(2)新增DNA(3)删除DNA(4)DNA导出2.
显性分析(1)重命名(2)字段管理a)获取表字段列表b)加入黑名单(3)获取表列表(4)切换表视图(5)根据属性进行搜索(6)根据表名进行搜索(7)显性分析(8)关系对比(9)关系验证a)根据名称搜索记录b)删除关系c)验证关系d)确认关系e)一键完成(10)关系管理a)获取有关系列表数据b)获取无关系列表数据c)新建关系d)删除关系e)搜索关系通图-Smart.
KG产品白皮书123.
词法分析(1)同显性分析4.
日志分析(1)同显性分析5.
终极验证(1)同显性分析3.
3.
2知识图谱1.
图谱基本信息(1)获取图谱列表(2)获取图谱详情(3)新增图谱基本信息(4)更新图谱基本信息(5)根据图谱id删除图谱基本信息(6)根据条件搜索图谱(7)图谱导出(8)智能问答6.
概念图谱(1)人工新增(2)数据DNAc)获取DNA列表d)DNA导入(3)数据导入a)概念b)关系(4)模板下载a)概念b)关系(5)环形菜单1.
编辑通图-Smart.
KG产品白皮书13a)获取概念属性列表b)修改概念属性c)删除概念属性d)搜索概念属性e)新增概念属性2.
关联3.
创建关系a)修改关系b)删除关系4.
展开/收起关系5.
删除6.
实例管理a)获取实例配置列表b)新增实例配置c)删除实例配置d)修改实例配置e)获取数据源信息7.
隐藏8.
解锁(6)概念模糊搜索(7)保存搜索记录7.
实例图谱(1)构建a)全局b)局部(2)数据导入(3)模板下载a)全局b)局部(4)新增实例通图-Smart.
KG产品白皮书14a)获取概念列表b)实例新增(5)环形菜单1.
筛选2.
展开/收起关系3.
隐藏4.
解锁5.
编辑6.
删除7.
上传8.
图径(1)构建(2)勾选9.
导出(1)概念a)全局b)局部10.
实例模糊搜索11.
保存搜索记录12.
获取搜索记录列表13.
修改搜索记录名称14.
删除搜索记录15.
根据搜索记录进行搜索第四章、产品特点通图作为知识关系梳理、图谱构建的全场景工具产品,其设计思想可以概括为以下特点:1.
抓取业务系统数据更高效、快捷针对企业内部会有多种业务系统,抓取多种业务系统数据是现有各大企业一大痛点,通图在这方向可做到易如反掌,方便快捷抓取各业务系统的数据,对业务数据分析、梳理、识别数据之间关系,形成关系图,提供基于复杂数据网络关系的生态服务.
2.
极简交互、全场景可视化通图-Smart.
KG产品白皮书15产品使用过程中用户体验是很重要的一环,针对于业务人员在使用专业级工具时难度较大、熟练使用周期较长、习成本高,通图针对这一问题,提出极简交互,全场景可视化,贴合用户使用交互习惯,脱离传统表单、表格操作形式,通过自动读取业务系统数据、本地文件、场景拖拽形式完成图谱构建.
3.
性能强劲、引擎小怪兽基于海量的业务系统数据,通图产品内置高性能图数据库计算工具,支持上亿节点数据同时进行图谱构建,图谱构建过程用户可自由创建、组合实体、概念、关系数据,同时对应图谱海量数据提供搜索引擎,支持概念、实体、路径、子图多维度、多形式搜索.

4.
图谱结构松散化、易扩展图谱结构松散型、易扩展,针对已完成的知识图谱支持更改结构,追加多种形式数据源时,图谱自适应新增数据源,自动读取追加的数据进行图谱构建,增加图谱使用周期和完成周期,图谱可无限期进行完善,降低图谱持续使用与维护成本.
5.
数据分析、智能推理针对知识图谱内数据,通图融合意向识别与理解、知识推理与计算AI认知层技术,基于图计算、图像分析、推理能力,精准满足用户需求,提供不限定场景和领域的知识检索服务.

6.
遵循TRIZ"点线面体"的技术进化路线从单点的工具出发开始设计,到将工具组合起来连成一条完整的业务逻辑线,再到实现知识图谱的构建和复杂业务的实现,完成从点到线到面体的产品技术进化路线.

由此,通图的优势主要包括:1.
功能耦合性低模块化设计作为Smart.
KG的最终目标,是希望建立模块间耦合尽可能松散的系统.
在本系统中,设计、编码、测试和维护其中仼何一个模块,不需要对系统中其他模块有很多的了解.
此外,由于模块间联系简单,发生在某一处的错误传播到整个系统的可能性很小.
因此,模块间的低耦合度提升了系统的可维护性.
2.
业务适应性强业务模型构建和业务场景架构能力,可以根据灵活多变的业务需要,将工具进行组合百变,能够适应各类智能服务、应用场景和不同行业图谱构建,形成自定义智能应用,满足多变的智能业务需求.
3.
一图胜万言产品的设计遵循一图胜万言的理念,在各个环节践行可视化的思路,让用户所见即所得,减少学习成本,比如行业图谱构建过程可视化、图谱结果可视化、图谱应用和反馈可视化等等.
第五章、产品应用案例5.
1基于知识图谱的精准搜索基于知识图谱的精准搜索,可读懂用户需求,搜索得到的不再只是线性的知识列表,而是一个多维的、全景的知识体系.
让用户可以通过点击知识图谱建立关系点,不断的拓展知识的深度和广度.
例如搜索某个城市,则可以看到地图、天气、旅游景点等关联信息,实现了搜索结果体系化、关联化和可视化.
通图-Smart.
KG产品白皮书16产品界面产品界面5.
2基于知识图谱的智能问答基于知识图谱的智能问答,可以对问题进行语义理解、知识推理、分析计算.
知识图谱不但能够反映结构化数据的语义信息,又能够体现实体之间的复杂关系,并且对所有信息单元进行推理计算和路径关联分析,在海量的知识库中,帮助用户寻找最符合意图的答案.
例如:在油气勘探生产中,可以直接回答某口井的各项生产数据与作业指标;出现生产异常时,通图-Smart.
KG产品白皮书17还可以帮助用户辅助排查生产故障问题.
基于知识图谱的智能问答知识图谱辅助排查问题原因并推荐方案5.
3基于知识图谱的质量追溯基于知识图谱的质量追溯,将业务系统,生产数据,操作设备,人员信息等,通过知识图谱连接在一起,构建质量全生命周期的网络,出现问题时,可以快速精准的定位问题原因,通图-Smart.
KG产品白皮书18实现任意环节质量可追溯及推理关联出对其他环节的影响,有效防止问题扩散.

乳品生产工业图谱乳品二维码追溯5.
4中国石化科研板块知识管理项目中石化勘探开发科研板块数据与知识资源丰富,但是散落在各个业务系统,需要提升知识资源的获取效率和复用率.
为了成分发挥各类资源的价值,提高知识获取效率,支撑其核心业务提质增效,提高科研、生产创新能力,中国石化集团与智通科技合作,形成了中国知通图-Smart.
KG产品白皮书19识管理总体规划与设计,并在下属三大研究院和一大油田公司先期开发知识管理项目建设.

通过数据DNA模块,将分散在不同单位,各产业链上的海量知识汇集到集团知识中心,对数据进行分析处理、识别数据关系,为集团提供一站式智能搜索服务,确保查全差准.

知识图谱模块,提供智能推理能力,为各岗位人员完成特定任务提供所需的准确知识推送服务,实现知识复用、增值与创新,同时支持面向具体业务场景多种智能化业务应用,辅助决策分析.
通过中国石化科研板块知识管理项目建设,现已形成以下实施效果:1、控制人力资源成本,降低运营成本:通过知识管理提高了现有职工的工作技能、传承专家经验,减少企业招聘具有丰富工作经验或专业知识的人员的成本;另外,通过知识管理的标准包和主题知识地图功能,专业人员从一名新手到能独立承担项目的时间从3年缩短为1.
5年,大大减少了企业对专业人员的使用成本.
2、隐性知识显性化,知识经验传承效率更高:科研项目的知识沉淀效率显著提升,虚拟跨组织经验交流与知识沉淀,使知识经验传承效率提高60%,知识流失率大大降低.
中石化知识管理平台勘探行业知识图谱通图-Smart.
KG产品白皮书205.
5自然资源大数据与决策支持平台项目自然资源部作为对自然资源开发利用和保护进行监管的单位,为充分发挥基础国庆和国土空间信息在内的各类数据价值,启动自然资源态势感知、舆情智能监测应用和决策支持系统建设,构建自然资源网图,实现国土资源觉得科学化、监管精准化、服务便利化.

土地变更使用图谱描述地块的前世今生:包括地类的变更、每种地类的管理规定或标准、规划的变更、遥感影像等内容,作为土地演变台账,可以跟踪每个地块的历史及现状,以便及时发现隐含的问题.
项目链条描述土地管理项目的全生命周期链条:包括划(土地规划)、批(土地预审和审批)、供(土地供应)、用(土地开发利用)、补(占用耕地的项目,需要进行耕地的补充,简称占补平衡)、查(项目的违法监察),作为项目台账,可以跟踪项目的不同阶段、每个阶段的相关详细信息以及上下游项目的关联情况.
针对发现某个供地项目有异常时,可以查看其上下游的审批项目、整治项目、收储项目,查找异常的原因等等问题.

土地资源知识图谱土地演变知识图谱5.
6舰船领域知识工程项目舰船领域知识工程项目中客户业务范围涵盖该领域下各类装备及配套产品的设计、研发、生产、制造等各个子业务领域,不同的业务领域之间存在知识分类混杂、交叉,同时知识的通图-Smart.
KG产品白皮书21汇总完全依靠人工整理,不仅耗费大量人力,而且影响业务人员对现有知识的使用.
为了解决上述问题,智通科技使用自动化的采集工具进行知识汇总,通过自然语言处理技术实现知识自动分类,并打造构建跨业务领域知识图谱.
针对以上问题项目建立提供一下功能:现有知识自动采集:提供针对所内现有文献、专利、科技报告、标准等的自动采集和上传.
基于深度学习的海量知识自动标引:针对所内现有文献、专利、科技报告、标准等进行内容自动标引.
基于组合算法的知识关键词、摘要自动提取:针对所内现有文献、专利、科技报告、标准等,提供基于自然语言处理和文本抽取算法的关键词和摘要自动抽取.

JC领域基础知识图谱:基于所内现有的知识体系和知识内容,构建知识图谱.