脚本为什么会失控
临时写的脚本往往缺少错误处理、没有幂等性、依赖隐式环境,一旦放进定时任务就问题频发:重跑产生重复数据、某一步失败留下半成品、上游格式变化导致静默错误。把这些脚本改造成管道,核心是补齐可靠性。
幂等与可重入
管道的每个阶段都应可安全重跑。做法包括:用固定的任务批次标识、写入前先清理目标分区、以 upsert 代替盲目追加。把中间结果物化到明确的位置,便于失败后从断点恢复,而不是从头再来。
对 DataFrame 操作,注意 Pandas 的链式赋值与 SettingWithCopyWarning,避免难以察觉的数据错误;大数据量时考虑分块读取或改用 Polars 等更高效的引擎。
可观测与告警
为每次运行记录输入规模、输出规模、耗时与异常,形成可追溯的运行日志。对关键指标设置基线告警:数据量骤降、空值率飙升、任务超时,都是上游出问题的信号。数据来源与处理逻辑要留文档,避免成为只有作者能看懂的「黑盒」。
调度与依赖管理
用 Airflow、Prefect 这类工具管理任务依赖与重试策略,比裸 cron 更可靠。明确任务间的上下游关系,配置合理的重试次数与退避策略,让偶发抖动不至于演变成事故。