viewFS

第一部分:问题是什么?为什么要引入它? 1. 背景:单点 NameNode 的“物理极限” 在 Hadoop 早期架构中,集群依赖单一的 NameNod


online DDL

1. 技术背景与版本演进 在 MySQL 的发展历程中,MySQL 5.6 是一个关键的分水岭。 MySQL 5.5 及以前 (Offline): 执行 ALTER TABLE 添加索引时,数据库通常采用 COPY 模式。 表的动作: 新建临时表 -> 锁死原表(禁止写入)-> 全量复制数据 ->


Spark

Spark计算流程是怎样的? RDD Resilient Distributed Dataset(弹性分布式数据集) RDD指的是一个抽象的概念,用户操作 RDD通过操作RDD来不需要关心底层细节。 4大属性: partitions:数据分片,RDD的数据被切分为数据分片,散落在集群的不同节点上


数仓

数仓来源 为什么要数仓 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 是为了统计,决策!


Hive

Hive概述 Hive核心是将HQL转换为MapReduce程序,然后将程序提交到Hadoop群集执行。Hive的最大的魅力在于用户专注于编写HQL,Hive帮您转换成为MapReduce程序完成对数据的分析。 Hive基础架构 执行流程


Hadoop

介绍 用java语言编写 对跨机器集群的数据进行分布式计算 Hadoop 由三大核心模块组成:HDFS 负责存储,YARN 负责资源调度,MapReduce 负责分布式计算。 核心组件: Hadoop HDFS(分布式文件存储系统Hadoop Distributed File System):解决海


JDK版本报错

你可能遇到很多次这种情况 你可以想想,项目中pom.xml文件里的JDK版本,Maven里的JDK版本,project structure里的JDK版本,到底是什么关系 pom.xml  <properties>   &nbs


计算机网络

输入URL到界面展示的过程 状态码 HTTP和HTTPS TCP和UDP TCP握手和挥手


RabbitMQ

消息队列 消息队列的使用场景 解耦:在不同系统之间,把原来通过网络传输换为MQ进行消息的异步通信。只要该操作不需要同步,就可以换成MQ,这样项目间不存在耦合。


Redis

数据结构 5大基本数据类型,6大底层结构 Zset 其他都很好理解,但是这个接触的少,他结合了set的唯一性和list的排序功能 他的底层数据结构是跳表,这个接触的也少 跳表