中澳平方公里阵列射电望远镜(SKA)大数据研讨会在上海召开

  410日,由中国科学技术部,澳大利亚工业、创新与科学部联合举办,中国科学院上海天文台和澳大利亚国际射电天文研究所(ICRAR)联合承办的“2017中澳平方公里阵列射电望远镜(SKA)大数据研讨会”在上海张江高科技园区举行。来自澳大利亚驻北京大使馆的公使Gerald Thomson先生、科技参赞Joanna Bunting女士,中国科技部国际合作司副司长蔡嘉宁,SKA中国办公室主任王琦安,中国科学院院士叶叔华,中国科学院国际合作局孙辉处长,SKA国际组织总部计算部主任Nick Rees,上海天文台台长洪晓瑜,中国SKA科学董事彭勃等天文科学及大数据领域的80余位海内外专家、学者出席了研讨会议。 

  叶叔华院士在开幕式上发表了欢迎致辞,她表示,SKA在高性能计算及科学大数据领域应用的前瞻性十分符合上海“科创中心”的城市定位,希望两国的科学家们能开展广泛开展交流合作,为推动SKA亚太区域数据中心的规划和建设做出贡献。Gerald Thomson公使致辞提到,中澳两国在科研领域一直保持长久而稳定的合作关系,中澳之间的双边科研合作受到了越来越多的重视。中国李克强总理在上个月对澳大利亚访问期间,提出未来应进一步提升两国科技创新合作的机制化水平。SKA国际科学大工程项目很好地契合了这一主题。澳大利亚将抓住SKA项目所带来的机遇与中国一起努力推进该项目的相关工作。蔡嘉宁副司长发表了主题为“开展合作交流,鼓励创新研发”的讲话。他指出:此次研讨会由两国政府共同组织召开,体现了中澳两国均十分重视SKA项目的合作,两国科学家的研讨能够促进中澳两国在SKA大数据技术的最新应用发展和SKA区域数据中心的规划和建设,更好地在区域内开展SKA数据加工及存储合作,提升SKA数据管理水平。王琦安主任表示,“力争在重大项目、重点方向率先突破,积极牵头实施国际大科学计划和大科学工程”已被写入国家十三五创新科技计划。SKA是中国参与的第二个国际大科学工程,不仅契合了当前科学大数据领域发展的需求,也符合中国未来科学研究的规划目标。希望中澳双方共同开展SKA科学的先期研究工作,为未来SKA早出成果做准备。孙辉处长在致辞中提到:中澳两国都非常支持SKA项目并认可该项目所带来的巨大科学潜力以及它对于国际工业界的挑战。在挑战与机遇并存的现状下,科学目标的实现与否离不开更紧密地国际合作。中国科学院将持续大力支持SKA相关的科研合作项目,共同推动天文学研究领域的科学发展。上海天文台洪晓瑜台长向各位参会代表表示欢迎,并感谢大家对于推动SKA国际大工程项目所做出的不懈努力,预祝此次会议圆满成功,并期待研讨会所带来的实质性科学合作与交流。 

  411-12日两天时间里,10个工作组开展了热烈的讨论,在包括宏观政策、方案设计、原理验证、仿真实验等多个层面取得了卓有成效的成果。 

  413日圆满完成了各项议程,10个工作组分别汇报了在为期两天的紧张而有序的工作中取得的工作成果以及达成的合作意向。 

  担任本次研讨会科学组组长的Andreas Wicenec教授首先从总体上介绍了各工作组的情况,以及本次会议预期的目标以及中澳两国科学家在共同推动亚太区域数据中心建设方面的长远规划。然后各议题小组携本次研讨的成果上台分享交流。 

  第一组(网络)分析了中澳之间目前以及未来几年的网络基础设施能力,认为具备跨洲际的大量(PB量级)数据传输条件。为了解决未来SKA区域中心之间大数据(PB量级)分享的难题,当务之急是开展传输实验,分析和解决实际操作中的难题,并提出解决方案,制订未来数据中心的层级结构图,以及各级的带宽需求、费用、相应的技术方案。 

  第二组(实时和非实时成像算法和软件)研究了SKA成像和非成像数据处理中的几个关键技术问题,展示了实时成图流程的初步图像结果以及非实时成像(时域天文学)数据流程的初步结果,下一步计划开展SKA1全规模仿真实验,目的是在SKA1望远镜建成之前,利用仿真数据首先产生SKA1同等规模的数据,对成像数据流进行严格的检验。 

  第三组(执行框架和软件系统-1)讨论SKA大数据处理的分布式计算框架,团队集中研究如何构建计算框架并快速地集成当前已有的天文数据处理软件,包括:利用修改底层MPI库来实现基于信息截获方式的MPI应用程序的快速集成,利用MPI通信库来进一步强化DROP间通信的性能与可靠性,研究在DALiuGE执行框架下的各类算法优化方法。已经构建了一个实验平台,形成了一个初步的通信原型,并快速完成了该系统的验证。 

  第四组(执行框架和软件系统-2)讨论了SKA数据流成像管线的特点及其在不同执行框架上面的运行情况,探讨结合异构计算平台,利用TensorFlow计算框架技术和当前流行的硬件加速技术解决SKA高密集型计算的需求;探讨利用分布式内存技术提升Daliuge执行框架的容错性、可扩展性和可用性;探讨把Spark应用到SKA探路者ASKAP天文数据处理软件中的成像管线,并开展真实数据的实验。 

  第五组(数据处理支撑软件)讨论了SKA区域数据中心如何处理脉冲星时间观测,以及如何进行可视化。建立了虚拟机并安装了模拟软件ptaSimulate,共模拟了具有不同特征的总共9300颗脉冲星的数据,建立了一个共享数据库,并进行了简单的可视化展示,工作组明确了长期的工作目标,对成员间的分工合作进行了规划。 

  第六组(数据管理软件系统)集中讨论如何对SKA规模的数据进行有效的管理。小组在研讨会期间开发了SKA区域中心数据归档的几个实例,后续将深入研究数据管理软件方法,将首先考虑基于SKA探路者项目ASKAP的数据在上海天文台部署镜像,具体研究数据分享和传输、索引、数据检索在分布式系统上的应用及虚拟天文台等关键技术。 

  第七组(数据挖掘-1 讨论了基于大数据技术的射频干扰智能抑制的研究。RFI的检测能力直接影响SKA射电望远镜的科学观测结果,小组拟引入大数据分析技术并结合传统的信号处理方法,实现近实时地检测出具有高灵敏度SKA的射频干扰信号并对其进行抑制,计划设计一个统一RFI识别框架,分别在SKA的成像和非成像管线中进行应用。 

  第八组(数据挖掘-2 讨论了SKA数据库管理策略,完成了分布式数据库交叉证认的性能测试,还研究了超新星遗迹、电离氢区等展源的自动搜索技术,成功实现了对处于吸收状态的延展HII区的自动查找和认证,在展源探测方向上迈出了重要一步,下一步将进一步优化分布式数据库,并使之扩展应用到更多科学课题,为SKA大数据处理提供方案。 

  第九组(硬件平台) 关注未来SKA区域数据中心低能耗计算平台。拟搭建一个简易的硬件测试平台,以GriddingFFTconvolution三个核心算法为主要测试内容,开展GPUMICFPGA几种加速器方案以及混合型方案的数据处理平台的效能分析,包括时间消耗、能耗、系统资源占用等。这些测试结果和参数选择作为将来区域数据中心的重要技术参考。 

  第十组(数据传播,虚拟天文台软件和技术)研讨了SKA的大规模数据分发和VO软件以及技术,在数据分发策略、数据访问策略、数据服务类型、VO技术等需求方面达到了初步共识,制订了后续工作计划包括:将负数据库方法移植并运用到上海SKA区域数据中心验证系统中,检验其有效性;研究科学数据归档以及数据产品类型;制定区域数据中心之间的FAIR数据原则;研究数据压缩技术。 

  Ben Scandrett先生代表澳大利亚SKA办公室在闭幕式上发表致辞,他对专家们在本次研讨会上深入而热烈的讨论印象深刻,对取得的成果表示祝贺。他表示,SKA项目是澳大利亚优先支持的大型国际项目,澳大利亚SKA办公室将持续推进相关工作并积极协调两国科研工作者的沟通联系。 

  来自SKA国际组织总部的Nick Rees教授代表本次研讨会的观察员团队发表评述报告。其中提到,会议采用了新颖的议题讨论方式,创造了一个跨领域、跨学科、跨年龄的科学交流社区,他欣喜地看到,各研讨小组来自各个国家不同年龄不同性别的科研工作者们进行充分交流,而这正是SKA国际大科学工程项目所需要的,SKA项目的顺利进行离不开广泛的国际合作与交流。 

  最后,安涛研究员代表此次会议的承办方发表闭幕致辞。他表示,此次会议采用了新颖的研讨模式,聚集了SKA项目相关的政府和来自不同领域的科研机构代表,学术背景、资历上的差异对于组织者和参加者来说是挑战,也是有益的尝试。此次会议的成功举办为后续类似跨学科融合的科研活动积累了宝贵经验,在各级领导和相关机构的大力支持下,中国科学家对SKA项目的未来发展充满信心,期待本次会议期间形成的后续合作取得更多实效和成果。 


附件下载: