← Back to list
大数据工程师
洞墟科技
Responsibilities
- 设计并实现视频数据采集管线，支持多来源数据的自动化接入、格式标准化与去重处理
- 构建数据清洗与预处理流程，针对AI生成视频的特性制定质量过滤规则，剔除无效样本
- 搭建标注任务管理系统，对接外包标注平台（数据堂、京东众智等），实现标注任务分发、进度追踪与质量抽检的自动化管控
- 建立数据入库与版本管理机制，确保每批数据集可追溯、可回滚、可对比，支持算法团队的实验复现需求
- 设计数据质量校验体系，对标注结果进行一致性检验、异常检测与统计报告输出
- 维护并迭代Golden Set数据集的工程基础设施，配合AI视频认知工程师完成数据更新与版本发布
- 监控数据管线运行状态，处理数据异常、管线阻塞等工程问题，保障数据供给的稳定性与时效性
Requirements
- 岗位定位：从零搭建天策万影AI视频生产系统的数据基础设施，负责视频生成数据的全链路工程体系建设，涵盖数据采集、清洗、标注管线、入库及版本管理，为算法模型训练与评估提供高质量、可追溯的数据供给。
- 具备数据工程或后端开发经验，熟练使用Python进行数据管线开发，有生产级ETL项目经历
- 熟悉数据存储技术栈，包括关系型数据库（PostgreSQL/MySQL）、对象存储（OSS/S3）及向量数据库基础概念
- 有数据版本管理实践经验，了解DVC、LakeFS等数据版本工具或具备同等工程能力
- 具备任务队列与异步处理开发能力（Celery、RQ或同类工具），可处理大批量数据的并发调度
- 理解数据标注工作流的工程需求，有标注平台对接或标注管线设计经验（加分项）
- 了解视频文件处理基础（FFmpeg、帧提取、元数据解析等），可编写视频数据预处理脚本（加分项）
- 有MLOps或AI工程相关项目经验，理解数据在模型训练与评估闭环中的作用（加分项）
- 不要求： 算法研究或模型训练能力；前端开发能力
About the company
洞墟科技是一家AI驱动的商业视频生成与全域营销操作系统公司，旗舰产品Chorify AI（天策万影）定位"企业级AI数字CGO（首席增长官）"，通过对话替代传统营销策划与视频交付团队。
- Industry
- AI应用与大模型
- Founded
- 2024-01-29
- Resume email
- recruit@joyangconsulting.com