大模型数据工程师

岗位职责:
岗位职责：

1.数据采集与清洗：设计和实施数据采集方案，从多种数据源（如数据库、API、文件等）获取数据。清洗和预处理数据，确保数据的准确性和完整性，处理缺失值、异常值等问题。

2.数据建模与管理：构建和维护数据仓库，设计合理的数据模型，支持大模型和机器学习项目的高效运行。管理数据生命周期，确保数据的安全性和合规性，遵循相关的数据保护法规。

3.特征工程：进行特征提取和特征选择，优化模型输入数据，提高模型的预测性能。与算法工程师合作，设计和实现高效的特征工程流程，支持模型训练和优化。

4.数据可视化与报告：使用数据可视化工具（如Tableau、Power BI、Pandas等）制作数据报表和仪表板，帮助团队和管理层更好地理解数据。编写详细的数据分析报告，记录数据处理过程和结果，提出改进建议。

5.性能监控与优化：监控数据处理和模型训练的性能，及时发现和解决问题，确保系统的稳定运行。优化数据处理流程，提高数据处理的效率和质量，减少资源消耗。

6.技术调研与创新：跟踪最新的数据处理技术和工具，评估新技术的应用潜力，为公司的技术创新提供方向建议。



任职要求：

●教育背景：计算机科学、数据科学、统计学等相关专业本科及以上学历。

●工作经验：具有3年以上数据处理经验，有金融行业背景者优先。

●技术能力：熟练掌握Python、SQL等编程语言，具备丰富的数据处理和分析经验。

○熟悉常用的数据处理工具和框架，如Pandas、NumPy、Spark等。

○了解数据仓库和ETL（Extract, Transform, Load）流程，有实际项目经验。

○掌握数据可视化工具，如Tableau、Power BI、Pandas等。

○了解大语言模型和机器学习的基本原理，有相关项目经验者优先。

●专业知识：深刻理解数据处理和管理的理论，熟悉数据清洗、特征工程、数据建模等技术。了解金融行业的业务流程和数据特点，能够针对金融场景进行数据处理和分析。

●解决问题能力：具备较强的问题解决能力，能够独立思考，善于从复杂问题中找到关键点。
任职要求:
见岗位职责；见岗位职责