浪潮分享面向第三代基因测序组装软件的高性能计算系统优化方案

2018-07-02 15:42:44 来源: 浪潮集团有限公司

日前,在德国法兰克福会展中心举行的2018国际超算大会(ISC18)上,浪潮分享了面向第三代基因测序组装软件的高性能计算系统优化方案。浪潮的FALCON优化方案使得关键步骤计算性能提升了20%左右,而浪潮并行优化的MECAT相比原单机版本获得了近10倍的性能提升,优异的性能表现引发了国际同行的极大关注。

ISC现场,浪潮AI&HPC Dr.朱红分享第三代基因测序计算优化方案

二代测序和三代测序都属于高通量测序技术,测序数据产出量很大,需要结合高性能计算技术来进行后续的测序数据处理。相较于二代测序技术,以单分子测序技术为代表的三代基因测序带来了更长的测序读长,这使得对更加复杂的物种如各种农作物和植物等的基因研究成为可能,但是相对更高的测序错误率(~15%)需要进行数据纠错,又对高性能计算带来了新的挑战。三代基因测序组装这类应用对于系统的计算性能、网络和磁盘等方案都有很高的要求。很多用户在通常的高性能计算平台来处理测序数据时,性能都不理想。

目前,由Pacbio公司开发的FALCON及中国的中山大学开发的MECAT是第三代基因测序组装领域的两款主流软件。FALCON由于把测序数据(raw data)切割成KB级别的卷来进行纠错,因而需要频繁的磁盘I/O,所以在计算过程中,磁盘I/O经常会成为系统瓶颈。浪潮专家优化FALCON软件的底层参数,优化了软件架构,降低了系统对于硬件I/O依赖,下图为处理同一测试用例时,优化前后磁盘I/O强度对比。

优化完成后,FALCON软件的核心部分性能提升了20%,而且软件的集群扩展性也有明显提升。

优化后FALCON核心部分性能提升20%

针对MECAT软件,浪潮完成了该软件从单机环境向集群环境的并行优化工作。经测试,新部署的经过浪潮并行优化的集群版本在12个节点上运行时,可以把人类全基因组组装时间从200多个小时缩短到不足24小时,相比原单节点版本获得近10倍的加速比,这表明集群版本的扩展线性度非常好。

精选 导读

埃塞俄比亚737 Max 8客机坠毁 8名中国乘客遇难

当地时间3月10日,埃塞俄比亚航空公司一架737 Max 8客机在从该国首都亚的斯亚贝巴飞往肯尼亚首都内罗毕的途中坠毁,机上149名乘客及8名机组人员全部遇难。

发布时间: 2019-03-11 09:36
要闻   2019-03-11

iPhone今年三轮降价 部分降超2000元

自今年年初开始,iPhone已经经历三轮降价。最新一轮从3月5日开始,天猫、苏宁、京东等各大电商平台纷纷加入,降价最高超过2000元。

发布时间: 2019-03-08 10:30
要闻   2019-03-08

她经济:购买者正变为创业者和公益人

这是一个新的电商平台下的“她”故事:女性用户正在从购买者、销售者转变成创业者、社会公益参与者。愈强大,更温暖,女性因变强而担负起更多社会责任。

发布时间: 2019-03-08 10:29
要闻   2019-03-08

今年减税降费清单一览 企业轻装上阵迸发活力

我国有上亿市场主体,而且还在不断增加。把市场主体的活跃度保持住、提上去,是促进经济平稳增长的关键所在。政府工作报告提出

发布时间: 2019-03-07 10:38
要闻   2019-03-07

今年移动网络流量平均资费再降20%以上

电工信部部长苗圩5日在人民大会堂“部长通道”上说,今年移动网络流量平均资费再降低20%以上,中小企业宽带平均资费再降低15%,更好满足人民群众日益增长的消费需求。

发布时间: 2019-03-06 10:39
要闻   2019-03-06

油价“四连涨” 多地92号汽油重回“7元时代”

国内油价28日迎来“四连涨”,消费者出行成本不断增加。本次调价后,云南、四川等多地92号汽油重回“7元时代”。

发布时间: 2019-03-01 10:02
要闻   2019-03-01

去年减税超万亿 增值税税制将再优化

税收关系着国家的“钱袋子”,更关系着每个纳税人的“钱包”。每一项税制改革都牵动着人们的神经。

发布时间: 2019-03-01 09:38
要闻   2019-03-01

3月新规:罕见病药品迎降税 支付宝还信用卡要收费

首批21个罕见病药品减按3%征增值税、《国家级文化生态保护区管理办法》正式施行、3月底前再取消一批税务证明事项、支付宝还信用卡要收费……

发布时间: 2019-03-01 09:36
要闻   2019-03-01

四部门为重点群体创业就业减税 明确适用方式

据国家税务总局网站消息,近日,国家税务总局、人力资源社会保障部、国务院扶贫办、教育部印发了《关于实施支持和促进重点群体创业就业有关税收政策具体操作问题的公告》。

发布时间: 2019-03-01 09:34
要闻   2019-03-01

一批新规3月起实施 这21种救命药将迎减税

首批21种罕见病药品迎来减税,取消增值税发票认证的纳税人范围扩大,四川城镇职工医保卡可与家人共享,海南将逐步禁止销售燃油汽车……即将进入3月,又有一批新规将正式实施

发布时间: 2019-02-28 13:20
要闻   2019-02-28