[控场AI]
产品Amazon Simple Storage Service

S3

Amazon Web Services 提供的对象存储服务,数据存放在远端而非计算实例本地,每次读取都要经过网络

核心事实

时间轴 (近 90 天)

10月24日

restic 支持将快照推送到 S3 兼容对象存储或 SFTP 远端。

待验证50%
10月20日

Hoistbay 目前只覆盖 S3 和 CloudFront,不支持更广泛的云存储或企业级协作/权限管理功能。

待验证50%
10月19日

restic支持本地目录、SFTP、S3兼容对象存储等多种后端,B2(Backblaze B2)是其中常见的一种。

待验证50%
10月18日

生产级批量摄取系统应当在摄取边界处强制要求显式的编码元数据(HTTP Content-Type 头、S3 对象元数据标签或 schema 契约),把自动启发式检测只当作兜底层。

待验证50%
10月17日

对亚毫秒级延迟有硬要求的实时搜索、高频更新的索引,仍更适合本地盘或内存方案,而不是 S3 存算分离方案。

待验证50%
10月17日

把搜索索引放在 S3 更适合读多写少、对 P99 延迟不极端敏感、且索引规模大到存储成本成为主要矛盾的系统;日志检索、归档搜索、冷数据分析是典型受益场景。

待验证50%
10月17日

存算分离指将数据持久化层与计算层独立部署、独立扩缩;在搜索系统中,索引构建、合并和查询服务可分别运行在不同节点池上,共享同一份 S3 数据。

待验证50%
10月17日

S3 的典型首字节延迟在几十毫秒量级,且按请求次数(GET/PUT/LIST)和传输数据量计费。

待验证50%
10月17日

本地 SSD 具有微秒级随机读延迟和固定硬件成本模型,与 S3 的计费模型截然不同。

待验证50%
10月17日

分层缓存带来一致性复杂度,预取带来内存压力,粗粒度对象带来读放大——这些是应对 S3 索引延迟手段各自的代价。

待验证50%

还有 40 条时间轴事件

全部知识事实 (20)

已验证

Lakehouse通过在对象存储上构建事务元数据层(如Delta Lake、Apache Iceberg、Apache Hudi)解决数据湖缺乏ACID事务与数仓厂商锁定的矛盾

75%
待验证

Milvus将数据持久化到对象存储(S3/MinIO),计算节点无状态化,可以独立弹性伸缩

85%
待验证

restic 支持将快照推送到 S3 兼容对象存储或 SFTP 远端。

50%
待验证

Hoistbay 目前只覆盖 S3 和 CloudFront,不支持更广泛的云存储或企业级协作/权限管理功能。

50%
待验证

restic支持本地目录、SFTP、S3兼容对象存储等多种后端,B2(Backblaze B2)是其中常见的一种。

50%
待验证

生产级批量摄取系统应当在摄取边界处强制要求显式的编码元数据(HTTP Content-Type 头、S3 对象元数据标签或 schema 契约),把自动启发式检测只当作兜底层。

50%
待验证

存算分离指将数据持久化层与计算层独立部署、独立扩缩;在搜索系统中,索引构建、合并和查询服务可分别运行在不同节点池上,共享同一份 S3 数据。

50%
待验证

把搜索索引放在 S3 更适合读多写少、对 P99 延迟不极端敏感、且索引规模大到存储成本成为主要矛盾的系统;日志检索、归档搜索、冷数据分析是典型受益场景。

50%
待验证

本地 SSD 具有微秒级随机读延迟和固定硬件成本模型,与 S3 的计费模型截然不同。

50%
待验证

将索引放 S3 后,常见应对延迟的方式包括分层(热数据留本地缓存/内存,冷段放 S3)、预取与缓存策略前移、改变索引结构以减少单次查询触及的对象数量。

50%
待验证

把索引放 S3 后,查询路径多了一跳网络 I/O,原本几十微秒的磁盘读取可能变成毫秒级的对象存储请求,延迟预算必须重新分配。

50%
待验证

S3 的典型首字节延迟在几十毫秒量级,且按请求次数(GET/PUT/LIST)和传输数据量计费。

50%
待验证

分层缓存带来一致性复杂度,预取带来内存压力,粗粒度对象带来读放大——这些是应对 S3 索引延迟手段各自的代价。

50%
待验证

对亚毫秒级延迟有硬要求的实时搜索、高频更新的索引,仍更适合本地盘或内存方案,而不是 S3 存算分离方案。

50%
待验证

Cloudflare R2 的出网流量不单独计费,而 S3 的下载流量通常是账单中较大的一块,因此对于频繁分享、被多人观看的视频,R2 往往更划算。

50%
待验证

Reelbird 不依赖官方云存储服务,而是允许用户接入自己的 S3 或 Cloudflare R2 存储桶,Reelbird 本身不托管任何内容。

50%
待验证

Logic42 给出的性能数据显示:当每分区文件数从 4(512 MB/文件)增至 18,500(120 KB/文件)时,Trino 规划延迟从 45 ms 升至 38,000 ms,端到端查询时间从 480 ms 变为超时(OOM)。

50%
待验证

S3 和 Google Cloud Storage 不是层级化的 POSIX 文件系统,引擎在单个分区列出 50 万个文件时必须翻过数百个元数据分页标记。

50%
待验证

该案例中 H100 训练的真正瓶颈是数据管道中的非 GPU 开销,包括数据集反复从 S3 下载、基础模型未缓存、预处理单线程且 num_workers 过低。

50%
待验证

数据集约 25GB 且存放在 S3 桶中,每次启动训练都重新全量拉取,造成累积的网络传输和启动等待成本。

50%

来源文章