之前一篇文章介绍了在小文件合并方面的一些心得，本篇介绍下Hadoop解决小文件的最新利器Ozone(本篇基于0.3.0-alpha版本)。
众所周知，HDFS是大数据存储系统，并在业界得到了广泛的使用。但是无论大集群还是小集群其扩展性都受NN的限制，虽然HDFS可以通过Federation进行扩展，但是依然深受小文件和4亿个文件的困扰。
于是分布式key-value存储系统Ozone诞生了，Ozone能够轻松管理小文件和大文件。(HDFS提供了类似POSIX的语义，Ozone的外观和行为更像一个Object存储系统。)
HDFS是一个大数据存储系统，主要面向的场景是一次写入多次读取，大文件。但是在实际使用过程中由于各种原因集群中总是充斥着各种小文件，而且数据惊人。无论社区还是公司都在积极解决这个问题。(为什么要解决小文件，这个问题我想看到这篇文章的人应该都知道啊!)
无论你怎么优化集群，指定各种规范，让业务方优化程序，小文件总是无法避免的。
区块链一个重要的亮点就是防篡改，那么它是怎么做到防篡改的呢？其中一个重要的知识点就是Merkle Patricia Tree(MPT)，本篇就来解析下何为MPT。
MPT是一种加密认证的数据结构，它融合了Merkle树和Patricia Trie树(基数树/压缩前缀树)两种数据类型的优点。
则在介绍MPT树之前先介绍下Merkle树(默克尔树)、Trie树(前缀树)和Patricia Trie(基数树/压缩前缀树)，介绍Trie树是因为Patricia Trie是基于Trie树衍化来的。
随着容器和编排技术持续发展，各个公司都已陆续在容器云领域有了相关实践，转转也不例外，也在进行一些积极探索与实践。
本文以日志采集为切入点，介绍下转转容器云平台中的业务日志是如何自动化采集的。
维基百科)中是这样定义闭包的：
在计算机科学中，闭包（英语：Closure），又称词法闭包（Lexical Closure）或函数闭包（function closures），是引用了自由变量的函数。这个被引用的自由变量将和这个函数一同存在，即使已经离开了创造它的环境也不例外。
这里有两点需要把握，自由变量和函数。则判断是不是闭包首先判断是不是函数，如果都不是函数那么肯定不是闭包，是函数再继续判断是否有自由变量。
自由变量就是这里的重点了。。。
先说故障现象:
某天收到RM主备切换报警，正常切换并不会有什么影响，但我当时还是出于警觉想去服务器上check下为什么切，check的时候发现集群无法提交任务，所以的任务都被挂起了。
第一反应是原standby节点有问题，于是手动又触发了一次切换，但任务依然无法运行。主备RM都重启过了但问题依然无法解决，那只能使用终极杀手锏了，重启了整个yarn集群。
集群重启之后任务恢复了，心里舒了一口气，去查RM的log吧，看下是什么原因导致了这次故障，log还没有细看，只看到一些KeeperErrorCode = ConnectionLoss，此时悲剧发生了，又收到了RM切换的报警，任务又被挂起了。。。
毫无头绪，只能再次重启集群，这次重点关注了下集群上运行任务，估计是哪个任务把集群给干瘫了，观察到有个任务运行失败的时候集群就会被瘫，看了下该任务的报错信息特别特别的长，于是告诉任务的负责人暂时把任务停掉，观察下集群是不是因为这个任务导致的。
该任务停掉之后集群正常运行了一段时间，在这段时间内在查RM的log并没有发现太多有价值的东西，全是与zk的连接丢失，连接丢失确实是会触发主备切换，但关键是为什么连接会丢失呢？没有头绪，只好去zk server端看下log，发现报2018-11-27 15:54:30,208 [myid:1] - WARN [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:NIOServerCnxn@373] - Exception causing close of session 0x36753e378030000 due to java.io.IOException: Len error 8603591
最近一直在学习BlockChain相关的知识，Ethereum网上也没有太好的资料，就先拿官网的一些example学习下吧。
本篇解析下使用智能合约编写的投票合约。
先来了解下Linux中atime和mtime区别：
atime：access time即访问时间
mtime：modify time即修改时间，这里指文件内容的修改。(经常和atime与mtime一起谈到的还有ctime，这里不展开，有兴趣的可以goolge)
这里需要注意的是有的系统可能为了性能上的优化，atime并不是实时更新，此时查看atime并没有得到想要的效果。
先说现象，在yarn的web页面，Lost Nodes指标显示的数据异常，如下：
我的集群一共有5台节点，这里显示有一台节点为Lost Nodes，但依然有5台Active Nodes，细心观察发现或有某个节点即存在Active Nodes中也存在Lost Nodes中，只是端口不一样。
这种情况如何解决呢？
在yarn-site.xml中添加yarn.nodemanager.address配置项，如下：
1 | <property> |
需要重启集群，让参数生效。
现在你可以去修改你集群的配置，是不是瞬间心情愉快了很多，那是不是可以继续读下去，看下我们如何解决这种问题。