技术类型 : 专利
专利所属地 :中国
公开号 :CN201710462993.8
技术成熟度 :正在研发
转让方式 :技术转让
交易价格:面议
应用领域 : 通用仪器仪表制造
技术领域 :其他
| 专利名称 | 基于Spark的大规模天文数据天区覆盖生成方法 | ||
| 专利状态 | 公开号 | CN201710462993.8 | |
| 申请号 | - | 专利申请日期 | 2017-06-19 |
| 专利授权日期 | 2020-05-22 | 专利权届满日 | 2040-05-22 |
| 专利所属地 | 中国 | 专利类型 | 发明 |
| 发明人 | 天津科技大学 | ||
| 权利人 | 熊聪聪, 田祖宸, 赵青, 史艳翠, 王丹, 苏静 | ||
| 专利摘要 | 本发明涉及一种基于Spark的大规模天文数据天区覆盖生成方法,其主要技术特点是:使用Spark的map算子并结合HEALPix层次化球面索引方法,根据赤经、赤纬信息对数据逐条进行分块索引;使用Spark的map算子,利用位运算对当前层每条数据的HEALPix块号进行父块块号及子块块号的分割操作;使用Spark的combineByKey算子对所有区块进行聚合操作;以上操作进行反复迭代,直至满足迭代终止条件,得到天区覆盖生成后的数据。本发明本发明设计合理,能够在短时间内完成大规模天文数据的天区覆盖生成,为实现海量天文数据的快速归档提供了支持,提升了对数据进行访问、处理的效率,此外本发明生成的结果可用于数据可视化,为研究人员直观地展现出星表中的天文数据在天区上的分布情况。 | ||