一、pc蛋蛋简介
东南大学坐落于钟灵毓秀的金陵古都—南京,作为国家“985工程”与“211工程”重点建设高校,始终引领学术前沿。pc蛋蛋(SSDS)承载着推动学术创新、促进学科发展的重要使命,现正面向全球广纳贤才,诚邀杰出的数据工程师加盟。
pc蛋蛋致力于汇聚数理统计学、生物统计学、计量经济学、机器学习、人工智能及数据科学等多领域的优秀师资力量。一方面,积极开展创新性的统计方法学研究,探索理论前沿;另一方面,深度投身高质量的跨学科场景应用型研究,将理论与实际紧密结合。学院尤其在计算机科学与技术领域,聚焦前沿方向,力求通过持续的技术创新,与多学科展开深度交叉融合,致力于攻克数据科学等相关前沿领域中复杂的现实世界问题,为行业发展和社会进步贡献智慧与力量。
现因学院发展需求,面向全球诚聘数据工程师。我们热忱欢迎海内外各层次优秀人才加入我们的团队,携手共创辉煌未来。在这里,您将拥有广阔的技术平台、丰富的技术资源以及与顶尖学者交流合作的机会,共同推动pc蛋蛋领域的发展。
二、招聘基本条件
1.拥护中国共产党的领导,遵纪守法,品行端正,组织纪律性好;
2.工作责任心强,踏实勤恳,能吃苦耐劳,具有良好团结协作精神、亲和力、沟通能力、优良的职业道德和敬业精神;
3.性别不限;
4.身心健康,专业基础知识扎实,执行力强;
5.思路清晰,具有较强的语言表达能力和理解能力;
6.好学上进,耐心细致,善于思考问题。
三、岗位类型
1.岗位:数据工程师
2.拟招聘人数:3-5人
3.岗位职责:
(1)多源数据采集与清洗
设计并开发高效、稳定的数据采集与爬取系统,支持多源数据接入(包括公开网站、API、数据库等),实现数据的自动化采集和更新。
研究并优化数据采集策略,遵循相关网站协议(如robots.txt),确保数据采集的合法合规性。
负责维护爬虫任务调度系统,如Airflow调度系统等,保证数据的增量更新,确保数据的时效性。
建立数据管道监控体系,涵盖日志记录、异常报警等功能,定期生成数据质量报告,为数据管理提供依据。及时修复数据链路中的故障,维护数据管道高可用性(SLA99.9%),确保数据服务稳定运行。
(2)数据预处理
搭建数据清洗与预处理流水线(ETL),对非结构化和半结构化数据,(如JSON、HTML、日志)等进行有效处理。
(3)大规模计算与数据分析
搭建大规模数据分析平台,利用分布式计算框架(如Spark、Flink等)对海量数据进行实时和离线计算,支持复杂数据查询与模型训练。
设计并优化数据分析算法,结合统计分析与机器学习方法,对数据进行深入挖掘,提取关键指标和趋势,为科学研究与建模提供理论和数据支持。
(4)协作与支持
与科研人员、数据分析师、算法工程师紧密协作,提供高质量的数据集,助力数据分析与算法模型开发。
开发自动化数据处理工具,使用Python或SQL实现数据格式的标准化与字段映射,提升数据可用性。响应研究课题的数据需求,高效完成数据提取与交付,提供高质量、可复现的数据支撑,确保数据的准确性和一致性。
4.任职要求:
(1)计算机科学、统计学、软件工程或相关专业博士研究生学历(特别优秀者可适当放宽)。
(2)需要比较强的编程和数据管理能力,精通Python编程语言,熟悉Scrapy、feapder、BeautifulSoup、Selenium等爬虫框架或工具。
(3)熟练运用SQL/NoSQL语言,掌握至少一种主流数据库,如MySQL、PostgreSQL、MongoDB、Neo4j等。
(4)熟悉分布式爬虫框架,如Scrapy-Redis、feapder、Celery,具备动态数据抓取和大规模数据采集能力。
(5)具备多源异构数据处理能力,能够解析、转换、清洗和结构化文本、表格、日志、图片等不同类型的数据,确保数据的完整性和可用性。
(6)熟悉Linux环境,掌握Git版本控制,具备良好的代码管理能力。
5.加分项:
(1)有图片型pdf数据识别与解析经验。
(2)熟悉云平台,如AWS、阿里云的云计算服务,如DataWorks、EMR。
四、应聘方式
1.招聘小组定期会对提交材料的应聘者进行初选并组织面试。有意者请从速报名,招满即止;
2.申请应聘者请将个人应聘材料(包括求职信、个人简历等)通过电子邮件发送至邮箱:[email protected]。
特别提示:邮件标题和应聘表文件名请注明:应聘-姓名(如:应聘-张三);
3.经招聘工作小组初选,通过者参加面试。面试具体时间和形式将通过邮件通知。如未通过初审,将电话告知应聘者。
五、薪酬待遇
根据申请人的工作能力,学院将提供国内外具有竞争力的薪酬待遇。享受东南大学提供的相关福利待遇,如酬金、休假、医疗、周转房、住房补贴等。具体薪酬面议。
六、联系方式
联系人:高老师、汪老师、蒋老师
联系电话:025-52091695
电子邮箱:[email protected]、[email protected]、[email protected]



会议室预约
资料下载