不复制海量数据,直接查询 S3:CSIRO 重构基因组分析架构

CSIRO最新推出的sBeacon无服务器架构,通过整合Amazon S3、AWS Lambda、Amazon Athena及Amazon DynamoDB等多技术手段,彻底规避了传统基因组数据复制流程,实现了基因组变异数据的精准查询。该架构将底层数据存于原始存储位置,以分离基因组与查询所需元数据,在接入环节仅创建索引与表,无需传输完整数据文件。在应用层面,针对变异查询,通过HTTP请求定向获取特定VCF文件区域,查询结果经汇总后通过Beacon API返回。在实际性能验证中,针对千人基因组计划1号染色体数据评估显示,在压缩状态即完成查询时,仅需18秒即可完成数据集接入,完成1万个碱基对查询耗时1.52秒,成本极低;且当变异数量增长100倍时,查询时间保持稳定。该架构既是对Nature Biotechnology中sBeacon研究的应用深化,依托云服务弹性扩展GA4GH标准化查询模型,为基因组学分析提供了高效、低成本的存储与查询解决方案,推动基因组数据处理模式向无复制、高压缩方向迭代。

--91likeyou---

CSIRO 前生物信息学产品解决方案架构师 Anuradha Wickramarachchi 在个人 LinkedIn 帖子中强调了数据压缩的重要性:

我们认真考虑的一项关键因素,是让数据保持最高程度的压缩。在数据仍处于压缩状态时直接进行查询,可以带来很大优势。

CSIRO 使用千人基因组计划的 1 号染色体数据对 sBeacon 进行了评估,其中包含 2504 个样本,压缩后的 VCF 文件大小为 1.1GB,并存储在 Amazon S3 中。系统用时 18 秒、花费 0.00052 美元完成数据集接入,其间只创建索引文件,并未复制基因组数据。一次覆盖 1 万个碱基对的查询平均耗时 1.52 秒,成本为 0.00013 美元。CSIRO 报告称,当返回的变异数量从 4 个增加到 400 个,即增长 100 倍时,查询时间总体保持稳定。

该设计建立在此前发表于 Nature Biotechnology 的 sBeacon 研究基础上。该研究报告称,sBeacon 最多可以支持 4000 万个个体和 30 亿个基因组位置。最初的 Beacon 研究描述了一种联合式模型,让组织可以在保留基因组数据控制权的同时,对外提供标准化查询接口。GA4GH 协议旨在跨分布式数据源运行,而不规定底层存储技术。2026 年的实现利用云服务扩展了这一模型,在将基因组文件保留在对象存储中的同时,提供弹性查询执行能力。

:

🔥 热词:#CSIRO · #Amazon · #S3 · #Beacon · #sBeacon · #Athena · #VCF · #不复制海量数据