发表于 | 分类于 | 0 | 阅读次数 1836
系统简介参与创业的第二年，产品的DAU终于突破了1000万，对于一个后端&大数据开发来说，这是一件多么刺激的事情。新上线的一个功能是客户端的埋点，用于产品和用户行为分析，数据丢失不敏感。目前客户端接入层的大概实现如下：（大数据计算层的先省略掉，以后再介绍）其中客户端接入层api是部署了6台服
阅读全文 »

发表于 | 分类于 | 0 | 阅读次数 1390
Redis对象Redis对象由redisObject结构体表示。typedef struct redisObject { unsigned type:4; // 对象的类型，包括 /* Object types */ unsigned encoding:4;
阅读全文 »

发表于 | 分类于 | 0 | 阅读次数 1473
ThreadLocal为java并发提供了一个新的思路， 它用来存储Thread的局部变量， 从而达到各个Thread之间的隔离运行。它被广泛应用于框架之间的用户资源隔离、事务隔离等。但是用不好会导致内存泄漏1. 内存泄漏原因探索ThreadLocal操作不当会引发内存泄露，最主要的原因在于它的内部
阅读全文 »

发表于 | 分类于 | 0 | 阅读次数 1336
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘
阅读全文 »

发表于 | 分类于 | 0 | 阅读次数 1321
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等
阅读全文 »

发表于 | 分类于 | 0 | 阅读次数 1374
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇之前系统的计算大部分都是基于Kettle + Hive的方式，但是因为最近数据暴涨，很多Job的执行时间超过了1个小时，即使是在优化了HiveQL的情况下也有超过30分钟，所以
阅读全文 »

发表于 | 分类于 | 0 | 阅读次数 1331
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇一. Spark核心概念Master，也就是架构图中的Cluster Manager。Spark的Master和Workder节点分别Hadoop的NameNode和DataN
阅读全文 »