
CSIRO推出的Serverless Beacon(sBeacon)采用无服务器架构,实现基因组变异数据的高效查询,无需将大型基因组数据集复制至中央数据库。该架构整合Amazon S3、AWS Lambda、Amazon Athena与Amazon DynamoDB,基于GA4GH Beacon标准运作。核心优势在于将基因组数据与搜索元数据分离,变异VCF文件存于S3,相关元数据独立建索引。通过CSIRO Ontoserver处理术语,结合基因组与表型信息查询;API网关路由至Lambda函数,由函数定位数据集与区域,借助bcftools及htslib库按HTTP字节范围精准获取变异数据,全程无需传输完整文件。查询结果经汇总返回Beacon API。CSIRO前生物信息学团队强调数据压缩关键,在数据保持压缩状态下直接查询可显著提升效率。基于千人基因组计划1号染色体2504个样本的实测数据表明,压缩后VCF仅1.1GB,仅创建索引文件便完成接入,18秒完成数据集加载,单个1万碱基对查询耗时1.52秒、成本仅0.00013美元。数据显示,变异数量从4增至400(增长100倍)时,查询时间保持稳定。该架构拓展了此前发表于Nature Biotechnology的sBeacon研究,支持覆盖上亿个体与30亿基因组位置的查询能力,以云服务扩展联合式模型,在保留数据控制权的同时,提供弹性查询执行能力。
--91likeyou---
CSIRO 使用千人基因组计划的 1 号染色体数据对 sBeacon 进行了评估,其中包含 2504 个样本,压缩后的 VCF 文件大小为 1.1GB,并存储在 Amazon S3 中。系统用时 18 秒、花费 0.00052 美元完成数据集接入,其间只创建索引文件,并未复制基因组数据。一次覆盖 1 万个碱基对的查询平均耗时 1.52 秒,成本为 0.00013 美元。CSIRO 报告称,当返回的变异数量从 4 个增加到 400 个,即增长 100 倍时,查询时间总体保持稳定。
该设计建立在此前发表于 Nature Biotechnology 的 sBeacon 研究基础上。该研究报告称,sBeacon 最多可以支持 4000 万个个体和 30 亿个基因组位置。最初的 Beacon 研究描述了一种联合式模型,让组织可以在保留基因组数据控制权的同时,对外提供标准化查询接口。GA4GH 协议旨在跨分布式数据源运行,而不规定底层存储技术。2026 年的实现利用云服务扩展了这一模型,在将基因组文件保留在对象存储中的同时,提供弹性查询执行能力。
:
🔥 热词:#CSIRO · #Amazon · #S3 · #Beacon · #sBeacon · #Athena · #VCF · #不复制海量数据