基于Spark的大规模天文数据天区覆盖生成方法

基于Spark的大规模天文数据天区覆盖生成方法

技术类型 : 专利

专利所属地 :中国

公开号 :CN201710462993.8

技术成熟度 :正在研发

转让方式 :技术转让

交易价格:面议

应用领域 : 通用仪器仪表制造

技术领域 :其他

联系咨询
成果概况
简介
本发明涉及一种基于Spark的大规模天文数据天区覆盖生成方法,其主要技术特点是:使用Spark的map算子并结合HEALPix层次化球面索引方法,根据赤经、赤纬信息对数据逐条进行分块索引;使用Spark的map算子,利用位运算对当前层每条数据的HEALPix块号进行父块块号及子块块号的分割操作;使用Spark的combineByKey算子对所有区块进行聚合操作;以上操作进行反复迭代,直至满足迭代终止条件,得到天区覆盖生成后的数据。本发明本发明设计合理,能够在短时间内完成大规模天文数据的天区覆盖生成,为实现海量天文数据的快速归档提供了支持,提升了对数据进行访问、处理的效率,此外本发明生成的结果可用于数据可视化,为研究人员直观地展现出星表中的天文数据在天区上的分布情况。
专利基本信息
专利名称 基于Spark的大规模天文数据天区覆盖生成方法
专利状态 公开号 CN201710462993.8
申请号 - 专利申请日期 2017-06-19
专利授权日期 2020-05-22 专利权届满日 2040-05-22
专利所属地 中国 专利类型 发明
发明人 天津科技大学
权利人 熊聪聪, 田祖宸, 赵青, 史艳翠, 王丹, 苏静
专利摘要 本发明涉及一种基于Spark的大规模天文数据天区覆盖生成方法,其主要技术特点是:使用Spark的map算子并结合HEALPix层次化球面索引方法,根据赤经、赤纬信息对数据逐条进行分块索引;使用Spark的map算子,利用位运算对当前层每条数据的HEALPix块号进行父块块号及子块块号的分割操作;使用Spark的combineByKey算子对所有区块进行聚合操作;以上操作进行反复迭代,直至满足迭代终止条件,得到天区覆盖生成后的数据。本发明本发明设计合理,能够在短时间内完成大规模天文数据的天区覆盖生成,为实现海量天文数据的快速归档提供了支持,提升了对数据进行访问、处理的效率,此外本发明生成的结果可用于数据可视化,为研究人员直观地展现出星表中的天文数据在天区上的分布情况。