发表于 | 更新于 | 分类于 | 阅读次数

作为一个hadoop开发，工作中难免会遇到gc的问题，以前总是一头雾水，这次抽时间系统的整理下，只是入门，更加深入的知识在工作中用到了再整理。

要理解gc先要搞清楚JVM，JVM是一个抽象的计算机结构。Java程序根据JVM的特性编写。JVM针对特定于操作系统并且可以将Java指令翻译成底层系统的指令并执行。JVM确保了Java的平台无关性。

阅读全文 »

发表于 | 更新于 | 分类于 | 阅读次数

前段时间采集平台的数据量发生异常，对数据进行排查发现hdfs上存在历史数据重复消费的问题。

采集平台是由TailDirSource+KafkaChannel将数据写入kafka，然后通过kafkaChannel+HDFSSink将数据写入hdfs

整个采集平台可能出现的故障的地方如下：

  1. taildir重复采集了log
  2. taildir调用kafkachannel向kafka写数据时进行了回滚
  3. hdfsSink调用kafkachannel消费数据时，进行了重复消费
  4. hdfsSink写入hdfs时发生了回滚
阅读全文 »

发表于 | 更新于 | 分类于 | 阅读次数

任何一个计算框架或者说一个服务要运行在yarn上，都需要一个master来对job进行管理，这个master就是ApplicationMaster。

ApplicationMaster是一个job的大脑，下面就以MapReduce为例，介绍下ApplicationMaster的启动流程。

阅读全文 »

发表于 | 更新于 | 分类于 | 阅读次数

一次和朋友的谈话中涉及到ApplicationMaster的container分配策略是什么，我映像中是随机分配的，但他说是根据各节点空闲资源来分配的。
之前看代码的时候也没注意这块的逻辑，既然现在有了疑惑那就去代码里瞅瞅。

阅读全文 »

发表于 | 更新于 | 分类于 | 阅读次数

为了方便平时看代码和debug代码，我在hadoop的源码中新建了个模块hadoop-hunhun，此模块依赖其余hadoop模块，这样就可以直接在src中debug代码了。

在使用MiniMRClientCluster进行mr测试时，发现需要依赖一些模块的test代码，下面就来记录下载intellij idea中模块怎么依赖其余模块的test代码。

阅读全文 »

发表于 | 更新于 | 分类于 | 阅读次数

在flume中事务是一个重要的概念，事务保证了数据的可用性。这里的事务有别于数据库中的事务，比事务在回滚时，可能会造成数据重复，所以flume保证的是每条数据最少发送一次，以此来保证数据不丢失。

此篇从具体的数据流中分析事务，配置的数据流是taildir+kafkachannel，然后kafkachannel+hdfsSink。

kafkachannel中维护了两个事务，分别是put事务和take事务。

阅读全文 »

发表于 | 更新于 | 分类于 | 阅读次数

flume通过kafka channel直接将数据写入kafka时，如果producer一次写入kafka的数据比较大时，会报异常，异常如下：

1
2
3
4
5
6
7
8
9
10
11
12
15 五月 2017 17:17:09,814 WARN  [PollableSourceRunner-TaildirSource-r-op_hiveserver] (org.apache.flume.channel.kafka.KafkaChannel$KafkaTransaction.doCommit:560)  - Sending events to Kafka failed
java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1730741 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.
	at org.apache.kafka.clients.producer.KafkaProducer$FutureFailure.<init>(KafkaProducer.java:686)
	at org.apache.kafka.clients.producer.KafkaProducer.send(KafkaProducer.java:449)
	at org.apache.flume.channel.kafka.KafkaChannel$KafkaTransaction.doCommit(KafkaChannel.java:546)
	at org.apache.flume.channel.BasicTransactionSemantics.commit(BasicTransactionSemantics.java:151)
	at org.apache.flume.channel.ChannelProcessor.processEventBatch(ChannelProcessor.java:194)
	at org.apache.flume.source.taildir.TaildirSource.tailFileProcess(TaildirSource.java:263)
	at org.apache.flume.source.taildir.TaildirSource.process(TaildirSource.java:226)
	at org.apache.flume.source.PollableSourceRunner$PollingRunner.run(PollableSourceRunner.java:133)
	at java.lang.Thread.run(Thread.java:745)
Caused by: org.apache.kafka.common.errors.RecordTooLargeException: The message is 1730741 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.

发送的数据量超过了max.request.size的阈值(默认是1048576)，那就在kafka channel中将此参数调大，a1.channels.c1.kafka.producer.max.request.size = 10485760

阅读全文 »

发表于 | 更新于 | 分类于 | 阅读次数

错误出现场景

使用kill -9 pid强制退出kafka进程之后，重启出现此错误，提示信息如下

1
2
3
ERROR There was an error in one of the threads during logs loading: java.lang.IllegalArgumentException: requirement failed: Corrupt index found, index file (${log.dirs}/${topicName}-0/00000000000001964914.index) has non-zero size but the last offset is 1964914 and the base offset is 1964914 (kafka.log.LogManager)
[2016-02-22 18:01:01,213] FATAL [Kafka Server 0], Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
java.lang.IllegalArgumentException: requirement failed: Corrupt index found, index file (${log.dirs}/${topicName}-0/00000000000001964914.index) has non-zero size but the last offset is 1964914 and the base offset is 1964914
阅读全文 »