#数据工程
共 31 篇相关文章
Spark声明式管道：为智能体而生的数据基础设施
原文披露超70%生产环境Spark声明式管道由AI智能体编写。本文分析声明式管道为何比命令式更适合智能体生成与验证，以及这一趋势对数据团队框架选型的实践启示。
用Hugging Face Buckets与Webhooks自动转换CSV为Parquet
介绍如何用 Hugging Face Buckets、Webhooks 和 Jobs 搭建云端数据管道，在新 CSV 文件到达存储桶时自动触发 Job 并转换为 Parquet 文件，无需本地下载上传大文件。
在Databricks上高效运行dbt的实用指南
探索在Databricks上运行dbt的最佳实践，包括计算资源配置、增量模型优化、性能调优和运维集成，帮助数据团队高效构建转换管道。
AI智能体如何破解数据管道的可复现性危机
深入解读arXiv研究：自主LLM智能体如何在Docker沙箱中通过断言原子化、沙箱执行与反事实扰动引擎，实现77.4%的端到端复现率，并识别9.5%的分析脆弱发现，为企业数据管道可靠性提供可落地架构。
LangChain代理接入结构化外部数据：三种模式与核心挑战
LangChain代理如何接入SEC EDGAR、Census等结构化外部数据集？社区讨论揭示自定义工具、MCP服务器与检索管道三种模式，以及数据规范化与新鲜度两大核心挑战。
微调LLM还是构建应用？数据准备才是架构核心
微调LLM还是构建LLM应用？Reddit讨论指出数据准备应作为架构核心而非事后环节。本文分析数据schema先行、管道可重放、训练与检索共享底座三个实践抓手，以及数据工程在团队分工中的定位变化。
跨系统CSV编码检测的陷阱：chardet误判与字节容错实战
拆解跨系统CSV管道中的字符编码检测陷阱：chardet统计推测的误判边界、Shift_JIS与CP932冲突、两段式容错解码架构，以及依赖守卫导致的QA启动失败复盘。
数据工程师的AI工具实验：从Databricks到公开构建
一位使用Databricks、PySpark和SQL的数据工程师分享其AI工具实验与公开构建计划，探讨数据工程工作流如何被AI智能体和自动化加速，以及公开记录对职业发展的价值。
AI Agent正在悄悄推高你的SQL数仓账单
AI Agent 大量生成语义相似但语法不同的 SQL，击穿数仓缓存、推高计算成本。本文解析根本原因，并提出在查询到达数仓前进行意图规范化与语义缓存的解决方案。
Agent Toolkit 中集成 Redshift：AI 编程代理实战指南
深入解析 Amazon Redshift 与 Agent Toolkit for AWS 的集成：AI 编程代理如何在 Claude Code、Kiro、Cursor 中探索 Schema、生成分析 SQL、排查性能问题，并给出安全权限实践与效果衡量指标。
小文件爆炸：为什么流式写入会拖垮Iceberg湖仓
流式管道每30秒提交数据会在Iceberg湖仓制造数百万120KB小文件，导致Trino等引擎规划延迟飙升至38秒、查询超时。本文拆解小文件爆炸的隐藏成本，并给出异步装箱压缩、写入缓冲解耦等架构修复方案。
RAG失败模式实战指南：扫描乱码、重复分块与索引泄露
深入拆解RAG系统的三大上游失败模式：扫描件OCR腐化、重复分块挤占检索窗口、分块级索引导致的权限泄露，并给出清洗-掩蔽-压缩-索引的三阶段修复方案及其对存储与token成本的量化影响。
一人一年造18亿行另类数据平台，揭示量化回测三大陷阱
一位自学开发者用一年时间构建了约18亿行、764张表的量化研究数据平台，通过时点数据、幸存者偏差消除和外部验证三大机制，揭示回测中数据质量的关键陷阱。
告别数据克隆：Vertex AI 直连 BigQuery 实践
告别 Vertex AI 数据克隆：把 BigQuery 当特征存储，通过 TabularDataset 和 KFP 组件直连数仓，省下存储成本，同时理解性能争用、数据快照和 SDK 版本等真实代价。
LLM能当数据管道侦探吗？一场基准测试实验
开发者 Olga Braginskaya 在 Kaggle 基准测试挑战中探索让大语言模型（LLM）充当数据管道侦探，自动定位数据丢失与异常根因。本文解读其思路、基准测试意义及对数据工程落地的启示。
Funke 发布：在 Databricks 上原生解析 HL7v2 医疗数据
Databricks 推出 Funke，为 HL7v2 医疗消息标准提供原生解析能力，减少 ETL 中间环节，帮助医疗数据团队更高效地将临床数据接入湖仓平台进行分析。
云数据仓库成本失控？用预算和告警机制主动管控
云数据仓库成本容易在无人察觉中失控。本文解析如何通过分层预算、分级告警和自动化动作，构建主动的成本治理体系，把被动买单转变为实时控制。
将 dbt ETL 管道迁移到 Databricks 的实践指南
详解如何将现有 dbt ETL 转换管道迁移并重新指向 Databricks Lakehouse，涵盖适配器配置、SQL 方言适配、物化策略调整及数据一致性验证等关键步骤与优化建议。
HF Buckets与Xet：只上传变化的数据，告别带宽浪费
Hugging Face Xet 技术让你只上传数据集中真正变化的部分，告别重复上传带来的带宽浪费。本文解析 HF Buckets 工作原理、Parquet 内容定义分块配置及生产环境注意事项。
AegisFlow：多智能体框架让数据管道自愈，MTTR降低98%
arXiv 新论文提出 AegisFlow——基于多智能体与大语言模型的自愈数据管道框架。通过 Watchdog 与 Repair 智能体及 Parallel Shadow Patching，将 MTTR 降低 98.1%，补丁成功率达 92%。