【算法与数据中台】走马观花

发表于： 2022-03-18 分类于：读书

字数：1934 阅读：≈ 4分钟浏览：

中台火了？中台凉了？其实需求一直在，只是名称和概念起起伏伏罢了。

更新历史

2022.03.17：开始阅读
2022.03.18：完成初稿

读后感

职业生涯里一直在和各种算法和数据平台打交道，无论是叫中台还是后台，实际上都是通过资源的调度来提升工作流的效率，而这个是和不同的业务场景紧密相关的。对于技术人员来说，关键还是如何能在尽量复用的前提下提升解决问题的效率，这个才是技术人的安身立命之本。

这本书总体来说属于知识的收集与汇总，对于具体实战介绍得比较少，可以当个科普数据大致了解整体架构，但是对于已经在做这一块的同学来说，用处就不是很大。

读书笔记

算法与数据中台概述

中台建设的目标和意义
- 数据整合：全域数据背后的深层次价值
- 技术沉淀：统一建设与管理
- 能力共享与功能复用：打破协作壁垒
- 引领组织价格重塑
通用技术体系
- 在线算法平台
  - 倒排检索系统
  - 相似检索系统
  - 策略机制引擎
  - 模型预估服务
  - 动态配置系统
  - 特征服务
  - 多租户平台
  - 效果监控系统
  - AB 实验平台
  - 在线开关系统
- 机器学习平台
  - 深度学习框架
  - 算法组件
  - 模型管理
  - 特征管理
  - 模型可视化
  - AutoML
  - 作业调度
  - 数据标注
  - 样本拼接
  - 样本管理
- 分布式数据库平台
  - 键值数据库
  - 表格数据库
  - 缓存数据库
  - 图数据库
  - NewSQL
  - 关系数据库
  - 对象存储数据库
  - Gossip 协议库
  - 分布式事务协议库
  - 分布式一致性协议库
- 大数据平台
  - 集群管理系统
  - 分布式协调系统
  - 分布式文件系统
  - 分布式计算系统
  - 数据查询系统
  - 数据仓库系统
  - 数据可视化平台
  - 消息管道系统
- 基础设施平台
  - 代码构建系统
  - 通用压测服务
  - 服务发布平台
  - 服务注册发现
  - 监控告警系统
  - 持续集成系统
  - 远程通信框架
  - 日志检索平台
  - 服务治理平台
  - 链路跟踪系统
研发项目典型工作流程
- 项目管理：项目立项、设计文档撰写、任务分解
- 代码研发：代码修改（单元测试、人工审查、持续集成）、代码提交
- 服务部署：压力测试、灰度上线、正式上线

在线算法系统

AB 实验系统的整体架构

实验操作平台：实验创建、效果展示、实验审核、实验记录
配置动态分发系统：代码审核、灰度发布、全量发布、配置获取
流量标签 SDK：配置加载、流量分配、标签计算、日志落盘
大数据平台：实时计算、标签收集、离线计算、行为收集

机器学习平台

机器学习建模任务的全流程

业务需求、业务建模
数据收集：数据集成、数据清洗、数据规约、数据变换
数据探索分析
特征工程
模型训练、参数优化
模型评估
模型上线
AB 测试
线上预测
效果监控
数据回流、数据模型迭代

分布式数据库

ACID 理论
- 原子性 Atomicity：事务的整体性和不可分割性
- 一致性 Consistency：在事务发起、运行和结束的全流程中，数据库的完整性约束没有被破坏
- 隔离性 Isolation：用于数据库事务的并发控制，具体分为未提交读(Read-Uncommitted)、提交读(Read-Committed)、可重复读(Repeatable-Read)和串行化(Serializable)
- 持久性 Durability：事务所做的任何修改都会被持久化地存储在数据库中
CAP 理论：一个分布式系统最多只能同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition-Tolerance)这三个特性中的两个
- 强一致性、弱一致性、最终一致性
BASE 理论：基本可用(Basically-Available), 软状态(Soft-State), 最终一致性(Eventually-Consistent)
数据分片策略
- 哈希取模分片
  - 无状态、易于实现
  - 节点数量变化需要大量数据迁移
- 一致性哈希分片: Amazon Dynamo, Apache Cassandra
  - 解决了大规模数据迁移问题
  - 在负载均衡上不完美，只有相邻的物理节点才能分担存储和访问流量的压力
- 连续区域分片策略: Google BigTable
  - 满足时间局部性原理和空间局部性原理
  - 应对数据负载变更时比较复杂，但迁移数据量较小
数据复制策略：异步复制、同步复制
Gossip 协议: Apache Cassandra, Consul
- 优点：简单、可扩展性、去中心化、健壮性
- 缺点：消息延迟、消息冗余、弱一致性
分布式一致性协议
- Paxos 理论上解决了分布式一致性问题
- Multi-Paxos 大幅提升运行性能和工程可行性
- Raft 增强可理解性并降低实现难度
分布式事务协议
- 二阶段提交协议
- 三阶段提交协议

小土刀的书屋