系统简介参与创业的第二年，产品的DAU终于突破了1000万，对于一个后端&大数据开发来说，这是一件多么刺激的事情。新上线的一个功能是客户端的埋点，用于产品和用户行为分析，数据丢失不敏感。目前客户端接入层的大概实现如下：（大数据计算层的先省略掉，以后再介绍）其中客户端接入层api是部署了6台服

Redis对象Redis对象由redisObject结构体表示。typedefstructredisObject{unsignedtype:4;//对象的类型，包括/*Objecttypes*/unsignedencoding:4;//底部为了节省空间，一种type的数据，可以采用不同的存储方式un

ThreadLocal为java并发提供了一个新的思路，它用来存储Thread的局部变量，从而达到各个Thread之间的隔离运行。它被广泛应用于框架之间的用户资源隔离、事务隔离等。但是用不好会导致内存泄漏1.内存泄漏原因探索ThreadLocal操作不当会引发内存泄露，最主要的原因在于它的内部类Th

Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘

Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等

Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇之前系统的计算大部分都是基于Kettle+Hive的方式，但是因为最近数据暴涨，很多Job的执行时间超过了1个小时，即使是在优化了HiveQL的情况下也有超过30分钟，所以近期

Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇一.Spark核心概念Master，也就是架构图中的ClusterManager。Spark的Master和Workder节点分别Hadoop的NameNode和DataNod

cloudera官方没有提供impala基于golang的驱动，github有github.com/bippio/go-impalapackagemainimport("context""github.com/bippio/go-impala""lo

1.第一个坑在beego中使用以下配置路由，且使用命令（beerun-gendoc=true-downdoc=true）来生成swagger文档的时候，如果配置在NewNamespace为以下："/demo_context/admin"的时候可以正常生成adminNS:=beeg

golang系列（一）在Beego中存取Redisgolang系列（二）基于Redis的分布式锁golang系列（三）在golang中使用kafkagolang系列（四）在golang中使用gormgolang系列（五）常见的陷阱和错误1.误用短声明导致变量覆盖varrememberbool=fal