KingHistorian3.52技术规格书
1. 产品概述
2006年北京亚控科技发展有限公司成功推出拥有完全自主知识产权的工业实时库系统。该系统具备高性能、高可用的特点,包含数据采集层、数据仓储层以及数据应用层,可高速完成现场海量实时数据的采集和存储,通过大数据挖掘、分析赋能企业智能制造。“知过去,晓未来”,可以帮助用户完成底层广泛的生产过程数据整合,消除信息孤岛,为企业将“数据转化为信息”提供稳定可靠的数据支撑。
目前已经拥有5000+现场稳定运行,系统安全自主可控,具备完备的解决方案,自动化工程师可根据用户需求通过全组态方式快速搭建智能、智慧系统,成功应用于煤炭、化工、市政、大型设备、电力电子、半导体、航空航天等多个领域。
2. 产品定位
工业现场数据具有频率快,数据量大和带时效性,对于异构数据存入支持以及查询效率要求很高。工业实时数据库主要应用工业数据存储场景中海量存储,支持数据压缩和高效查询,为企业上层应用提供稳定可靠的数据仓库。
3. 产品组成
4. 产品平台介绍
4.1. 强劲性能
1) 存储速度:单服务器每秒可存储(插入)超过400,000个输入值;
2) 检索速度:单服务器单点检索每秒查询多达800,000条记录;并发检索每秒查询多达20,000条记录;
3) 数据点数:单台服务器可最多存储2,000,000个数据点的历史数据;
4) 并发客户:支持最多500个并发客户同时存储和检索实时及历史数据;
5) 并发能力:单台服务器500客户端并发查询2万条记录/秒;
6) 单个数据采集器:每秒采集超过10,000点次
7) 毫秒级的数据采集:毫秒级的时间标签分辨率
4.2. 实时历史查询存储
1) 支持实时数据(当前值)的检索;
2) 支持事件和报警数据的存储和检索;
3) 支持结构化(表格化)的数据存储和检索功能;
4) 提供历史数据查询能力,支持指定间隔时间与指定记录个数的数据查询;并且提供数据查询时的统 计计算能力,包括计算最大最小值、计算指定时间范围均值、计算累计、计算记录个数或者次数、 最大最小值发生时间等;
5) 支持10年以上的历史数据保存和归档,数据文件占有的磁盘空间可高达几十TB。
6) 支持版本跟踪功能,变量的原始数据和修后的数据都能够访问到;
4.3. 广泛设备数据存储
4.3.1. 支持多种采集器
KingHistorian支持IOServer采集器、OPC采集器等多种数据采集器
1) IOServer采集器,支持主流设备过程值数据存储,如PLC、板卡、智能仪表、机床等。支持Modbus RTU/ASCII/ TCP等5500余种协议和电力IEC101、IEC104、环保HJ/T212、半导体SECS/GEM等多种专有协议数据存储。几乎涵盖市场几乎全部标准、非标设备。
2) OPC采集器,提供标准的OPC客户端连接,从其它软件系统中采集数据,如PI、IFIX、WINCC、INTOUCH等系统。
3) IOServer采集器支持多实例、分布式部署。
4) IOServer采集器支持冷、热冗余方式,并支持缓存和续传。
4.3.2. 采集方式
采用周期性采集和主动上报采集方式,将数据传送至实时数据库中,数据采集提供预处理及压缩
n 周期性采集,采集变量根据采集周期读取设备数据,并将数据存储到数据库中
n 主动上报,设备主动上发变量数据,并将数据存储到数据库中
4.4. 丰富的存储数据类型
KingHistorian支持多种16种数据类型,按照变量名、数据类型、变量值、时间戳、质量戳和版本进行存储。同时支持定长二进制数据、变长二进制数据、精确小数类型、数字状态量等方式。
n 离散(开关量);
n 整型(有符号/无符号,8位/16位/32位/64位);
n 实型(32位单精度、64位双精度)
n 字符串(ANSI/UNICODE,定长、不定长)
n 日期型数据(日期、时间、时间戳)
4.5. 高效数据压缩
KingHistorian支持多级压缩和支持有损和无损压缩方式,有损压缩采用多种数据压缩算法,可单独针对每一个标签点的进行压缩方法和压缩参数的配置,数据压缩可以压缩到25%-95%的数据,将存储的数据压缩到只占磁盘极小空间。
4.5.1. 有损压缩
n 变化压缩,根据压缩超时检测和相同数值检测,当值发生改变时进行存储的压缩方式
n 旋转门压缩:由某一数据点的前后数据点连线,计算与该点相同时间戳的数值,判断这两点数据偏差大小确定是否存储数据的压缩方式
n 死区压缩:数值变化达到一定阈值时存储数据的压缩方式
n 死区压缩(带尖峰逻辑处理),存储满足死区压缩条件数据点的同时,也保存该数据点的前一数据的存储压缩方式
n 整点压缩,只存储整点时刻的数据值的压缩方式
4.5.2. 多级数据压缩处理
n 采集器压缩,采集变量数据时,可以选择不同的压缩方式对数据进行压缩处理
n 数据存储压缩,变量数据存储到工业库时,选择不同的压缩方式进行存储压缩处理
n 数据库备份压缩,数据库备份实现无损压缩,减少数据的存储空间
4.6. 良好的安全性
系统满足国家工业控制系统相关安全标准,并获得第三方国家级评测中心测试证明。产品提供严格的基于用户角色的用户认证、权限管理和审计手段,具有良好的安全性。
4.6.1. 用户安全
n 基于RBAC“角色-权限-用户”三层权限分配,自定义用户、自定义角色及权限和用户权限管理,可以对每个用户指定具体的操作权限;
n 多用户、多角色管理方式,系统默认提供采集器工作角色、采集器管理角色、系统管理员角色、变量管理角色、读取变量角色、变量写数据角色。
n 系统用户有唯一标识,用户密码应该是密文显示,密码应加密存储,默认用户首次登陆应强制修改默认密码。
n 支持用户对数据的存取授权和控制,以限制不同用户的访问权限,防止非法用户的入侵
4.6.2. 审计和日志
n 可对变量点的权限配置,并进行审计和记录日志
n 支持系统审计,能够记录和追踪数据库配置信息与数据修改;
n 提供系统日志,记录系统信息、系统管理命令、检测到的系统状态变化,错误信息、警告信息,以及其他有关数据采集和存储的信息,以便在需要的时候帮助用户对系统进行诊断和分析;
4.6.3. 事务功能
系统支持事务功能,即多条语句作为一个整体进行操作,可以确保该事务范围内的所有操作都可以全部成功或者全部失败。如果事务失败,不会对数据库数据有任何改动。满足 ACID 属性(原子性、一致性、隔离性、持久性)要求的本地事务,提供高效的事务调度和并发控制机制。
n 原子性(Atom) 事务内的操作要么都做,要么都不做。
n 一致性(Consistency) 事务执行后应保证数据库的一致状态,一致性保证事务的执行会将数据从一个正确状态变为另一个用户状态。
n 隔离性(Isolated) 事务的执行过程中不会被其它事务所影响。
n 持久性(Duration) 事务执行完后,对数据的改变是永久的。
4.6.4. 传输安全
n 支持反向代理,避免系统直接暴露
n 支持断点缓存和续传功能,本地缓存大小可配置
n 支持数据对称和非对称多种加密数据传输,如OpenSSL、TEA加密;
n 支持数据通过防火墙、单向网闸、双向网闸、光闸等安全设备
4.6.5. 镜像功能
KingHistorian支持数据库的镜像操作,其易用性、灵活性以及高效性,极大便利各种网络架构的建设:
n 支持一对多镜像,即一台KingHistorian可以向多台KingHistorian数据镜像,也可以多台KingHistorian向一台KingHistorian进行数据进项同步
n 数据镜像支持数据断线续传,并支持在通讯恢复后,高达200MB/min速度同步
n 支持变量筛选转发镜像
n 支持变量添加前缀进行转发镜像
n 支持SQL语句、变量操作、文件操作等镜像转发
4.7. 冗余(高可用)和数据备份
4.7.1. 采集器冗余
n §IOServer采集器和OPC采集器支持冗余,保证采集数据的连续性
n §IOServer采集器和OPC采集器支持断线缓存,采集器与服务器网络出现中断时,采集器缓存历史数据,通信恢复时,自动将数据传送至服务器
4.7.2. 数据库冗余
实时工业库KingHistorian不需要借助第三方或系统,通过软件本身实现多种冗余功能。
n 共享型冗余,激活和备份两个系统存储一份数据到共享磁盘,保持只有一个系统为激活状态,同时对外提供一个虚拟IP供第三方的客户端配置存储及查询。
n 镜像型冗余,第三方客户端可以通过虚拟IP存储到激活系统的电脑中,然后激活机上的KingHistorian通过镜像的方式同步数据到备份机中,保证冗余的两台电脑中数据一致。
4.7.3. 数据备份
支持系统的备份与恢复,包括配置信息与数据的备份与恢复,并且提供不同的备份方式,包括完全 备份和差异备份;
n 支持历史数据归档文件的管理,历史数据文件备份和恢复;
n 支持系统的备份与恢复,包括配置信息与数据的备份与恢复;
n 支持数据库系统的扩容和旧版本数据库移植;
n 高容错性的灾难恢复机制,支持异地灾备和数据库系统特殊情况下(包括系统崩溃、突然掉电、程序异常退出等) 可以保证数据的完整性和一致性。
4.8. 可视化客户端
KingHistorian提供了功能强大可视化的管理和数据分析工具,大大简化管理、维护和数据分析处理工作。
在KingHistorian中自动创建数据变量标签,无需输入任何数据就可以组态大量的数据变量标签,避免发生输入错误,并可以在短时间内完成从应用程序的安装到成千上万数据采集配置
4.8.1. 数据库管理工具
n SQL查询工具,支持SQL92(99)标准,提供丰富的SQL语句,可方便查询数据库表中的数据
n 历史查看器,自定义检索方式查询历史数据
n 实时数据查看工具,根据分组手动和自动刷新实时数据。
n 支持单独或者批量组态标签点,包括创建、更新、删除、查询标签点以及相关属性;为了平衡控制系统的数据通讯负载,系统支持针对过程数据特性,进行单独或者批量定义标签点采集频率
4.8.2. 可视化客户端
n 支持C/S和B/S瘦客户端管理模式,可以使用图形化管理工具远程对系统进行管理和配置;
n 提供图形化的管理工具,能监视系统状态,启动、停止数据采集接口和系统,能对归档进行管理以 及生成系统的管理报表;
n 提供图形化的趋势分析和报表统计、数据分析软件工具,简化用户的数据处理和分析工作;
4.8.3. SPC质量统计工具
SPC可对工艺关键参数进行实时监控、统计和分析,根据判异规则进行预警、报警,为用户提供有效的决策依据。分析控制图用于分析产品的上下控制限、正态直方图展示以及获取相应的数据统计信息,支持正态产品以及非正态产品分析。控制控制图用于对重要产品参数实时监控和历史统计分析。
n 支持XBar-R控制图、Xbar-S控制图、I-MR控制图
n 支持正态分布图、未知分布图统计。未知分布图支持三阶中心距以及排序法
n 支持8个标准+4个自定义判异规则
n 支持实时报警窗和实时控制图上报警、报警确认、报警删除、报警备注操作
n 支持上下控制限、均值、最大值、最小值、方差、CP、CPK、PP、PPK、CPM、PPM统计
n 多种图形诊断,频率直方图、箱线图、分布图、帕累托图、观测点分布图等
4.9. 计算引擎组件
提供数据分析和数据处理能力,基于该组件开发计算工程实例。接入各类数据源的数据,接入第三方系统数据,提供各类脚本框架,支持自定义数据分析和数据处理,支持自定义微服务。数据处理结果支持存储入各类数据库,支持通过Restful接口与第三方系统交互。
1) 支持多种高级编程语言算法的接口扩展
n JavaScript 普通依赖扩展包;
n Python 普通依赖扩展包;
n C++ 普通依赖扩展包;
2) 支持多种算法函数引用
n 支持多种的算法函数引用,如常用排序算法(如冒泡排序、选择排序、插入排序;
n 归并排序、快速排序、基数排序、堆排序),队列、概率、递归、迭代算法等;
n 支持python算法的引用,如scikit-learn、numpy、PanDas等;
3) 支持文件数据操作
支持.txt、.xml、.xlsx、.json、.csv、.et等类型文件的数据读取、写入、新建、删除等操作。
4) 支持多种输出方式
n 支持数据处理结果以.txt、.xml、.xlsx、.json、.csv、.et等类型文件输出;
n 支持数据处理结果以日志形式输出;
n 支持数据预览功能,通过浏览器可视化界面实现对计算结果正确性的验证;
n 支持将数据处理结果转存到第三方数据库,包括现场已部署的达梦关系型数据库、支持主流数据库,如MySql、SQLServer、Redis、PostgreSql等;
n 支持数据处理结果以RestfulAPI接口的形式对外提供。
4.10. 开放的数据接口
系统支持丰富的数据访问接口,软件开发工具包(SDK)及多种客户端或客户自定义的应用程序来访问KingHistorian数据,确保系统与第三方系统互联互通。其对外访问支持接口如下:
n ODBC、OLEBD标准SQL接口,支持标准SQL92(99)语句
n C++、C#、VB等高级语言接口
n Java、JDBC等跨平台访问语言接口
n OPCDA、OPCHDA等OPC接口,支持标准的OPC DA2.05和OPC HDA1.20
n 支持restful API接口访问
n 支持MySQL、Oracle、SQLServer以及Redis等非关系数据库转发
n 支持定制开发,和上层应用系统进行数据对接
5. 产品参数
5.1. 支持多种操作系统
软件版本:KingHistorian3.52
支持操作系统:
Windows7专业版/旗舰版、Windows10专业版/企业版
WindowsServer2012/2016/2019。
支持Windows商业版32位和64位系统,不支持家庭、教育版
5.2. 硬件推荐
KingHistorian软件支持点数与硬件、IO存储点数和频率、客户端访问并发数、网络通讯等都有关系,需要根据实际情况灵活选择。
软件 | 工程规模 | 硬件推荐配置 | ||
变量存储点数 | 客户端数 | vCPU | 内存 | |
KingHistorian产品 | 10,000点 | 20 | 2 | 2G |
30,000点 | 50 | 4 | 4G | |
50,000点 | 100 | 4 | 6G | |
100,000点 | 200 | 8 | 8G | |
200,000点 | 500 | 16 | 16G | |
800,000点 | 500 | 48 | 64G | |
网络带宽 | 100M以上 | 通讯稳定 |
数据硬盘,每个工程规模不一,可以根据以下参数进行估算。
举例:
八字节浮点型变量,一条记录的原始大小是26个字节,无损压缩后存储到磁盘上所占用的空间是10字节。4字节整型变量无损压缩后所占硬盘空间是7字节。
以八字节浮点变量为例,以1万个变量点,每个变量点的采集频率为1条记录/秒,磁盘占用计算:
则1天的数据所占用的磁盘空间为:
10000 * 60 * 60 * 24 * 10B = 8,640,000,000 B = 8.24 GB。
1年的数据所占用的磁盘空间为: 365 * 8.24 GB = 3007 GB = 3 TB 。
5.3. 测试实例
XX国有能源集团测试项目:测试数据80万点,数据量300亿条记录。随着计算机技术高速发展,计算机性能不断提升,价格不断降低,工业库的性能表现更加强劲。
Ø 数据迁移过程迅速、稳定,迁移数据完全正确,单采集器平均插入速度为158,736条/s,工业 库平均插入速度为3,046,220 条/s。
Ø 测试数据查询5万条记录,2秒以内完成;30万条记录,5秒以内完成;200万条记录,14秒 完成,1900万条记录,240秒完成。
Ø 并发测试300-500客户端,测试插入、查询,性能稳定。
实时数据库服务器硬件配置 | |||
名称 | 型号及说明 | 配件数量 | 服务器数量 |
CPU | 四核3GHz CPU | 1 | 1 |
内存 | 8G DDR2内存 | 1 | |
硬盘 | 150G硬盘 | 1 | |
网卡 | 千兆网卡 | 1 |