数据工程师在现代数据驱动的环境中扮演着关键角色,主要负责从数据摄取与处理到数据转换和服务的各种任务。在这一生成式AI迅猛发展的时代,充分利用海量数据的价值变得尤为重要。
为了支持有志于成为数据专业人士的学员,DeepLearningAI 和 Amazon Web Services (AWS) 联手推出了数据工程专业化课程,这是一项在 Coursera 平台上的高级专业证书。此课程涵盖现代组织所需的广泛数据工程概念、工具和技术,特别适合那些具备一定数据工作经验并希望学习数据工程基础的学习者。该专业包括四个动手实践课程,学员在完成每个课程后都会获得 Coursera 课程证书。
数据工程专业化是 AWS 与 DeepLearningAI 的联合计划,DeepLearningAI 是一家由知名的机器学习先驱 Andrew Ng 创办的世界级 AI 教育提供者。
该项目由数据工程领域的知名人物、畅销书《数据工程基础》的合著者 Joe Reis 作为主要讲师负责。他提供一个基础框架,确保学习者全面了解数据工程生命周期,并深入探讨数据架构、编排、数据操作 (DataOps) 和数据管理等关键内容。
为进一步提升学习体验,该项目还包含由 AWS 云托管的动手实验和技术评估。这些实践的云基础练习是与 AWS 的技术专家合作设计的,包括 Gal Heyne、Navnit Shukla 和 Morgan Willis。学习者将利用 AWS 服务和工具,如 Amazon Kinesis、AWS Glue、Amazon S3 和 Amazon Redshift,来应用理论概念,获取动手技能和实践经验。
参与者将接触到多个关键学习机会。
核心技能和策略的获取
该专业帮助数据工程师设计各种用例的数据解决方案,选择适合的数据架构技术,并避免潜在的陷阱。所获得的技能适用于各种平台和技术,提供给学习者灵活多变的专业培训。
独特的数据工程教育方式
该专业和传统课程的不同之处在于,不仅聚焦于特定技术,而是提供对数据工程基础知识的全面理解,强调将数据工程策略与更广泛的商业目标对齐,从而构建和维护数据解决方案的更有效的方法。
整体的数据工程理解
课程内容利用《数据工程基础》一书的见解,提供全面的教育,使专业人士为数据驱动的行业成功做好准备。
通过 AWS 云实验获取实践技能
与 AWS 合作的实践实验室提供学习者直接在 AWS 环境中应用所学技术的机会。这种实践经验对掌握数据工程的复杂性以及在行业中成功发展所需的技能至关重要。
完成该专业后,学习者将具备开展数据工程职业生涯所需的技能与专业知识,这在任何希望利用数据创造价值的组织中都是一项急缺的角色。数据驱动的机器学习和分析离不开数据工程的基础。
数据工程专业化包含四门课程:
课程 1数据工程简介:该基础模块探索数据工程的协作特性,识别主要利益相关者并理解他们的需求。课程深入探讨构建数据工程解决方案的思维框架,强调全面的生态系统理解、数据质量和可扩展性等关键因素,以及有效的需求收集。课程还考察数据工程生命周期,展示各阶段之间的相互联系。通过展示 AWS 数据工程栈,课程教授如何使用正确的技术。学习结束后,学员将具备应对数据工程挑战的技能和思维方式,做出明智决策。
课程 2源系统、数据摄取与管道:在此课程中,数据工程师深入了解与不同数据源、摄取模式及管道构建相关的实际问题。学习者将探索不同数据格式的特征及相应的源系统,以便有效设计数据管道。课程涵盖关系型和 NoSQL 数据库的基本原理,包括 ACID 合规性和 CRUD 操作,使工程师能够与多种数据源系统互动。课程还重点讨论云网络的重要性、解决数据库连接问题以及使用消息队列和流媒体平台等,培养创建强大且可扩展的数据架构的关键技能。掌握本课程的概念后,数据工程师将能够自动化数据摄取流程、优化连接性并为成功的数据工程项目奠定基础。
课程 3数据存储与查询:本课程为数据工程师提供设计强大、高效的数据存储和查询解决方案的原则与最佳实践。学习者将探索数据湖屋概念,实施类似于勋章的架构,并使用开放表格式构建事务性数据湖。课程提升 SQL 熟练度,教授高级查询例如对流数据的聚合和联接,同时探讨数据仓库和数据湖能力。学习者将比较存储性能并发现优化策略,如索引。数据工程师通过理解查询执行和处理,可以在数据服务中实现高性能和可扩展性。
课程 4数据建模、转化及提供:在本次结业课程中,数据工程师将研究先进的数据建模技术,包括数据仓库与星型架构。学习者将区分 Inmon 和 Kimball 等建模方法,掌握将数据转化和构建以支持最佳分析与机器学习用例的技能。课程为数据工程师提供文本、图像和表格数据的预处理技能。学习者将理解监督学习和无监督学习之间的区别,以及分类和回归任务,帮助他们设计支持多种预测应用的数据解决方案。通过掌握这些数据建模、转化和提供的概念,数据工程师可以构建强大、可扩展且与业务对齐的数据架构,以实现最大的价值。
加速器免费版永久版下载无论您是刚入门的数据工程还是希望提升技能,该专业都通过四门课程提供了一种理论与实践经验的平衡组合,每门课程均可获得 Coursera 课程证书。
从这里开始您的数据工程之旅:
数据工程简介源系统、数据摄取与管道数据存储与查询数据建模、转化与提供注册这些课程后,您还将获得 DeepLearningAI 数据工程专业证书,在完成所有四门课程后颁发。

立即注册,迈出掌握数据工程的第一步,参与这个建立在《数据工程基础》基础上的全面实用项目,并由 AWS 提供支持。
Betty Zheng 是 AWS 的高级开发者倡导者,专注于为云原生、云安全和生成式 AI 技术创建面向开发者的内容。她在 ICT 行业拥有超过 20 年的经验,其中 18 年是一名应用架构师和云基础设施专家。她积极参与中国开发者社区,致力于帮助开发者理解这些技术并将他们的想法转化为实践。