联系我们 | 网站地图 | English | 中国科学院  
 
新闻动态
友情链接
 您现在的位置:首页>新闻动态>科研进展
我台与澳大利亚国际射电天文研究所的SKA合作取得新进展
2016-04-15 | 编辑: | 【】【打印】【关闭

  近年来,全球最大的天文学国际合作项目“平方公里阵列射电望远镜(Square Kilometre Array,简称SKA)”已被列入我国列为重点发展的大科学工程。SKA取得预期科学成果的关键在于科学数据处理能力。SKA超大规模的数据运算遭遇到I/O吞吐和数据实时存储的限制等重大瓶颈问题,常规的数据运算解决方案是采用I/O并行化来提高数据读取速度,但对于SKA产生的海量数据来说,大规模并行存储底层I/O技术成为SKA科学数据国际工作组亟待攻克的重大技术难题之一。   

  在武向平院士指导下,我台安涛研究员带领的SKA科学数据处理团队和澳大利亚国际射电天文研究所(ICRARAndreas Wicenec教授领导的团队合作开发基于ADIOS的并行Casacore Table Data System (CTDS)。合作团队开发了Adios Storage Manager (AdiosStMan)数据存储管理系统以作为中间件来实现天文数据处理软件与并行化I/O的连接,相对于已有的主流射电天文数据处理系统,AdiosStMan在数据底层采用了全新的I/O并行机制以实现高吞吐量的海量数据存取,从而有效地降低了在开发SKA科学数据处理器原型中所遇到的I/O瓶颈,并解除了当前射电天文数据处理系统在SKA数据处理管线系统中进行二次开发存在的限制,为SKA大规模并行存储底层I/O技术的开发提供了必要的经验。   

  在本项合作研究中,上海天文台承担了AdiosStMan后期的升级任务,本次升级最大的改进是将最大可写入Casa数据表的尺寸提高到TB量级。目前已经完成了改进版本并在澳大利亚Pawsey高性能计算中心的Magnus超级计算机上完成了性能测试,本次测试中可写入Casa数据表的尺寸已达到324GB(其中单节点的内存为128GB),在目前硬件平台上实现了100Gb/s量级的数据写入。该升级版本使用了多次打开ADIOS文件列的方法,从而有效地解决了原有版本对物理内存空间依赖的问题,突破了长期以来困扰的大规模数据并行读写的难题,使得AdiosStMan从概念验证阶段上升至实用样机阶段,该技术已达到国际领先水平。合作团队中的青年技术骨干劳保强和王若楠已将该改进版本发布至GitHubSKA科学数据处理共享平台,得到了国际同行的重点关注。       

  附:   

  国际大科学工程“平方公里阵列射电望远镜(Square Kilometre Array,简称SKA)”是国际天文界计划建造的世界最大综合孔径望远镜,为人类认知宇宙、探索第一代天体形成、星系演化、引力本质、地外生命与地外文明等科学问题提供了重大机遇。SKA建设涉及天文学、电子信息科学、计算数学与系统科学等众多科学领域,集成众多高科技成果,其巨大规模和复杂程度,特别是其对EB量级的数据对采集、传输、处理和存储能力提出了严峻的挑战,这些大数据处理关键技术的解决将创造人类科学探索工程的新纪录。SKA总投资65亿欧元,其中建设准备阶段(2012-2017)和建设第一阶段SKA12018-2023)的投资占10%。我国是SKA首倡国之一,国务院授权科技部代表中国参加SKA组织。上海天文台积极投入SKA国际合作,结合上海建设具有国际影响力科创中心的发展战略,率先提出在上海建设SKA亚洲科学中心,该提议已被列入了《上海市科技创新“十三五”规划(征求意见稿)》,也被纳入中科院上海分院2016年重点推进的重大工程项目之一,并作为上海天文台十三五期间重点培育项目。建设SKA亚洲科学中心是中国一跃成为天文大国的难得机遇,为中国天文学实现跨越发展提供了强大动力。   

  SKA国际官方主页:https://www.skatelescope.org/   

  SKA中国主页: http://www.nrscc.gov.cn/nrscc/gjhz/ska/skaj/skajj/skawyj/   

  联系人:安涛 antao@shao.ac.cn   

 

  

  

评 论
相关新闻
·上海天文台主页全新改版
·2008年职称评定专栏
·上海天文台两项目荣获2015年度“天文学十大科技进展”
·上海市天文学及交叉领域学术研讨会顺利召开
·天文地球动力学研究中心举办学术交流报告会
版权所有 中国科学院上海天文台 Shanghai Astronomical Observatory 沪ICP备05005481号-1
地址:上海市南丹路80号邮编:200030 邮件:shao@shao.ac.cn