2024-10-17 10:23 点击次数：177
野外 露出
1. 选择时候
1.1. 架构第一，时候第二
1.2. 现如今数据工程师因时候种类过于繁芜丰富而感到选择困难
1.3. 好多完整并可立即使用的数据时候触手可得
1.3.1. 开源代码
1.3.2. 托管开源
1.3.3. 软件专利
1.3.4. 做事专利
1.4. 数据工程中枢：假想出可靠厚实的系统来承载数据全周期的流动，并兴隆不同末端用户的需求
1.4.1. 数据工程师的也需要选择顺应的数据时候来相通数据在通盘生命周期里为愚弄次第和用户做事
1.5. 判断数据时候横暴的轨范是很浮浅的：选择这个时候有莫得加多家具的交易价值
1.5.1. 数据工程师必须选择好的时候来尽可能罢了最好的数据家具
1.6. 数据架构是一种计谋，而数据用具是一种战术
1.6.1. 数据架构是数据系统的高层假想、框架和蓝图，以使数据系统罢了它的交易计谋
1.6.1.1. 答复了“是什么？”“为什么？”“什么时候？”这三个问题
1.6.2. 数据用具是将架构落到实处的方法
1.6.2.1. 数据用具是将架构落到实处的方法
1.7. 脱离轨谈
1.7.1. 在假想出数据架构之前就选择了时候
1.7.1.1. 提前选择时候会导致最终产出的是时候的胡乱拼集而不是委果的数据架构
1.7.2. 原因
1.7.2.1. 新奇事物详尽症(shiny
object syndrome)
1.7.2.2. 简历驱动建造(resume-driven
development)
1.7.2.3. 对架构虚浮劝诫
1.8. 选择正确的时候并非易事，尤其是当新时候和模式每天皆在出当前
1.8.1. 面前可能是历史上评估和选择时候最混乱的时间
1.8.2. 选择时候是用例、成本、构建与购买以及模块化之间的均衡
1.8.3. 恒久以与架构相通的模式来处理时候的选择：评估量度并以可逆决策为看法
2. 团队大小和材干
2.1. 需要评估的第一件事便是团队的大小和团队成员的时候材干
2.1.1. 你的团队的大小会径直影响选择的时候类型
2.1.2. 小团队
2.1.2.1. 也许惟有一个东谈主
2.1.2.2. 成员需要同期饰演多样脚色
2.1.3. 大团队
2.1.3.1. 每个成员皆有特定的脚色
2.2. 浮浅和复杂的时候的共性是：团队的大小会基本上决定你的团队有若干元气心灵和时刻不错参预商议复杂问题的惩办决策
2.3. 货色贵重主义软件工程(cargo-cult engineering)
2.3.1. 小的数据团队在阅读大公司的科技前沿博文，而况尝试在我方的团队复现相应的时候与实行
2.3.2. 一种会浪费大宗时刻和财富的失实选择，无为能获取的通告很少
2.4. 保举保执使用团队老练的时候和责任流
2.5. 学习新的时候、言语能够用具需要大宗的时刻参预，是以需要忽闪地去连系这方面的参预
3. 加快商场化野外 露出
3.1. 关于时候而言，快速地参预商场是必胜之谈
3.1.1. 需要选择能让数据需求建造得更快速的时候，同期能保执高质料轨范和高安全性
3.1.2. 需要建造者在发布、学习、迭代中束缚反映和校正
3.2. 追求无缺是保执优秀的敌东谈主
3.2.1. 方寸大乱和少有产出是数据团队的圆寂前兆
3.3. 团队需要尽早罢了价值拜托而况保执阶段性地拜托频率
3.3.1. 你的团队成员会更熟练地使用他们已知的用具
3.3.2. 为了幸免无判袂的清苦责任让你的团队少有价值产出
3.3.3. 选择能匡助团队快速、可靠、安全地进行建造的用具
4. 互操作性
4.1. 互操作性形容了多种时候和系统之间是何如贯穿、互换信息和交互的
4.2. 轨范化是罢了互操作性的前提
4.2.1. 险些整个的数据库皆会允许使用Java数据库贯穿(Java
Database Connectivity，JDBC)或绽放式数据库贯穿(Open Database Connectivity，ODBC)，这么用户就不错通过轨范接口松驰贯穿数据库
4.3. 互操作性无谓事前界说好轨范
4.3.1. 形容性状况迁徙(Representational State Transfer，REST)并不齐备是轨范化的API，每个REST
API有我方的界说
4.3.2. 供应商能够开源软件(Open Source Software，OSS)技俩正经保证与其他时候和系统的凯旋集成
4.4. 在通盘数据工程生命周期中，要时刻细心到贯穿你所选择的不同时候的困难进度
5. 成本优化和交易价值
5.1. 在无缺天下里，你不错无谓接头成本、时刻、交易价值就不错尝试使用最新最前沿的时候
5.2. 在现实天下中，预算和时刻皆是有限的，而况成本是数据架构和时候选择的最主要摈弃
5.3. 总领有成本
5.3.1. Total Cost of Ownership，TCO
5.3.2. 一个决策的总揣测成本，包括使用的家具和做事的径直成本与转折成本
5.3.2.1. 径直成本不错径直来自于决策
5.3.2.1.1. 团队的工资
5.3.2.1.2. AWS的做事消费
5.3.2.2. 转折成本
5.3.2.2.1. 转折成本
5.3.2.2.2. 和该决策无关的
5.3.2.2.2.1. 不管选择哪种决策皆需要被破耗的
5.3.3. 用度分为两大类
5.3.3.1. 本钱支拨
5.3.3.1.1. capital expenses
淫淫色情网5.3.3.1.1.1. capex
5.3.3.1.2. 前期投资
5.3.3.1.3. 支付是需要今天完成的
5.3.3.1.4. 资产并会跟着时刻徐徐折旧
5.3.3.1.5. 本钱支拨，并需要制定耐久蓄意以罢了前期付出和用度的正投资通告率(R O I)
5.3.3.1.6. 本钱支拨防备耐久的蓄意
5.3.3.2. 运营支拨
5.3.3.2.1. operation
expenses
> 5.3.3.2.1.1. opex
> 5.3.3.2.2. 运营支拨是渐进的而况散播于各时刻段的
> 5.3.3.2.3. 运营支拨防备短期的蓄意
> 5.3.3.2.4. 运营支拨险些是即付即得的，且有更多纯真性
> 5.3.3.2.4.1. 数据工程师需要切实地对待纯真性
> 5.3.3.2.5. 更像是径直成本，能更容易归因于数据技俩
> 5.3.3.2.6. 跟着云时候的出现而发生了改动，因为数据平台做事允许依据执行消费模子来付费
> 5.3.3.2.6.1. 运营支拨能更好地赐与工程师团队选择软件和硬件的材干
> 5.3.3.2.6.2. 云表做事使得数据工程师不错快速地迭代多样软件和时候树立，无为用度也不贵
> 5.3.3.2.7. 鉴于运营支拨在纯真性和低运转成本上的上风，咱们提出数据工程师优先接头运营支拨，将时候趋承在云上而况使用纯确切即付即得时候
5.4. 总领有契机成本
5.4.1. Total Opportunity Cost of Ownership，TOCO
5.4.2. 在选择时候、架构或过程后所亏空的契机的成本
5.4.3. 就算在云环境中，一朝将个时候、栈，能够管谈造成分娩数据过程的中枢部分，就很难改动了
5.4.4. 减少契机成本的第一步是睁大眼睛仔细进行评估
5.4.4.1. 不纯确切数据时候就像是为熊准备的陷坑，很进入，却很难懂脱
5.5. FinOps
5.5.1. 典型的云表消费实质上是一种运营支拨：公司为运行远大数据过程的做事付费，而不是前期投资和耐久的固定投资
5.5.2. FinOps的看法便是通过愚弄雷同DevOps的实行来监控和动态出动系统，以全面罢了账户财务料理和创造交易价值
5.5.3. FinOps是创造价值
5.5.3.1. 云不错创造更多的收入、促进用户的大宗加多、增快家具的发布速率，以至匡助关闭数据中心
5.5.3.2. 快速迭代和动态膨大是创造交易价值的昆山片玉
6. 不变的与暂时的时候
6.1. 创建更好的改日的起点是难能可贵的，但这常常导致过度假想和过度工程
6.1.1. 面前为改日选择的用具也许在改日委果到来时照旧老套落后
6.1.2. 改日无为和咱们几年前所设思的不同
6.2. 专注于面前
6.2.1. 选择关于面前能够不远的将来最好的用具
6.2.2. 也要支执改日的未知和变化
6.3. 不变的时候可能是支援云的基础组件能够经受住了时刻磨真金不怕火的编程言语基础
6.3.1. 在云时候中，不变的时候如对象存储、采集、做事器和安全
6.3.2. 选择对象存储保存数据是忽闪之举
6.3.3. 对象存储会不息以多样模式去普及而况一直提供新的选择，但你的数据在对象存储中会很安全而况保执可用，不管通盘时候何如快速进化
6.3.4. SQL和bash会存在好几十年，而况咱们不会看见它们很快就隐匿
6.4. 林迪效应
6.4.1. 这个时候创建得越久，它就越可能耐久存在
6.4.2. 提出使用林迪效益行为试金石去测试一个时候是不是可能耐久不变的
6.4.3. 电力采集、干总共据库、C言语能够X86的处理器架构
6.5. 有大宗资金支执的新时候和多样开源技俩每天皆在数据限度出现
6.5.1. 大多数这么的公司和技俩不会有耐久的引颈力，会缓缓淡出东谈主们的视野
6.5.2. 顶级风投在押注多量的赌注，因为多数的数据用具投资皆会失败
6.5.3. 工程师被Hive激勉但思优化其过错，建造了新的如Presto等新时候
6.5.3.1. 面前Hive险些只出面前留传的部署之中
6.6. 险些整个的时候皆无法幸免阑珊的红运
6.6.1. 每两年就评估使用中的用具
6.7. 无论何时，找到在数据工程生命周期中不变的时候，而况将它们行为你的基石
6.7.1. 在不变的时候之上再使用暂时的时候野外 露出