IT人生

  • 首页
  • 归档
  • kafka
  • Java
  • Spring
  • Golang
  • SQL
  • Spark
  • ElasticSearch
  • 关于

  • 搜索
Phoenix HBase Kudu ElasticSearch Spring 数据结构 操作系统 Kettle Azkaban Sqoop Hive Yarn Redis Mybatis Impala Cloudera 大数据 HDFS mycat shell Linux 架构 并发 mysql sql golang java 工具 spark kafka 人生

pyspark查询基于hbase的hive external表异常:Class org.apache.hadoop.hive.hbase.HBaseSerDe not found

发表于 2019-12-21 | 分类于 spark | 0 | 阅读次数 2272
近期准备上线了一个基于HBase的hive,但是通过spark查询这个hive表的时候出现了如下异常:19/12/21 15:27:18 ERROR log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache.
阅读全文 »

记一次千万级DAU产品的Mysql插优化入性能提升10倍

发表于 2019-11-24 | 分类于 数据库 | 0 | 阅读次数 1836
系统简介参与创业的第二年,产品的DAU终于突破了1000万,对于一个后端&大数据开发来说,这是一件多么刺激的事情。新上线的一个功能是客户端的埋点,用于产品和用户行为分析,数据丢失不敏感。目前客户端接入层的大概实现如下:(大数据计算层的先省略掉,以后再介绍)其中客户端接入层api是部署了6台服
阅读全文 »

redis zset内部实现

发表于 2019-11-11 | 分类于 Redis | 0 | 阅读次数 1390
Redis对象Redis对象由redisObject结构体表示。typedef struct redisObject { unsigned type:4; // 对象的类型,包括 /* Object types */ unsigned encoding:4;
阅读全文 »

Java ThreadLocal内存泄露

发表于 2019-11-11 | 分类于 java | 0 | 阅读次数 1473
ThreadLocal为java并发提供了一个新的思路, 它用来存储Thread的局部变量, 从而达到各个Thread之间的隔离运行。它被广泛应用于框架之间的用户资源隔离、事务隔离等。但是用不好会导致内存泄漏1. 内存泄漏原因探索ThreadLocal操作不当会引发内存泄露,最主要的原因在于它的内部
阅读全文 »

Spark性能优化指南——高级篇

发表于 2019-06-19 | 分类于 spark | 0 | 阅读次数 1336
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘
阅读全文 »

Spark性能优化指南——基础篇

发表于 2019-06-19 | 分类于 spark | 0 | 阅读次数 1321
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等
阅读全文 »

Spark系列-SparkSQL实战

发表于 2019-04-10 | 分类于 spark | 0 | 阅读次数 1374
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇之前系统的计算大部分都是基于Kettle + Hive的方式,但是因为最近数据暴涨,很多Job的执行时间超过了1个小时,即使是在优化了HiveQL的情况下也有超过30分钟,所以
阅读全文 »

Spark系列-核心概念

发表于 2019-04-09 | 分类于 spark | 0 | 阅读次数 1331
Spark系列-核心概念Spark系列-SparkSQL实战Spark性能优化指南——基础篇Spark性能优化指南——高级篇一. Spark核心概念Master,也就是架构图中的Cluster Manager。Spark的Master和Workder节点分别Hadoop的NameNode和DataN
阅读全文 »

golang系列(六)通过golang 查询impala

发表于 2019-03-16 | 分类于 Impala | 0 | 阅读次数 1950
cloudera官方没有提供impala基于golang的驱动,github有github.com/bippio/go-impalapackage mainimport ( "context" "github.com/bippio/go-impala"
阅读全文 »

golang系列(七)beego中使用swagger的坑

发表于 2019-03-16 | 分类于 golang | 0 | 阅读次数 2135
1. 第一个坑在beego中使用以下配置路由,且使用命令(bee run -gendoc=true -downdoc=true)来生成swagger文档的时候,如果配置在NewNamespace为以下:"/demo_context/admin"的时候可以正常生成adminNS :
阅读全文 »
1 2 3
Randy

Randy

技术可以暂时落后,但任何时候都要有上进的信念

80 日志
27 分类
31 标签
RSS
Github E-mail
Creative Commons
© 2021 备案号:沪ICP备19020689号-1
Randy的个人网站