Jame’s Reading 04-05

by jametong

at 2013-04-05 21:25:00

original http://www.udpwork.com/item/9612.html

http://t.cn/zYe5RCT从物理原理上讲解Flash的特性.

http://t.cn/zYet4YU图形展示几种不同的IO编程模型，包含阻塞IO模型、非阻塞IO模型、复路IO模型（通过Select/Poll实现）、信号驱动IO模型、异步IO模型.

http://t.cn/zYeuaSl如何使用Oracle的Increment Backup恢复数据库备库。实现不复杂，想法还有点意思。

http://t.cn/zjOJLAL http://t.cn/zYDzannEric Brewer在2012年在两个不同场合讲的关于NoSQL History的东西，ppt可以从InfoQ的页面链接里面下载，各方面问题都讲的比较清楚了。

几篇关于C in ACID与C in CAP的文章，http://t.cn/zTPWLjB http://t.cn/zTPWLj1 http://t.cn/zTPWLjr摘要：1. ACID中的C与完整性约束有关，与状态的转换有关系，2. CAP中的C主要是基于单个Item的多机副本的原子性，3. ACID的延迟复制还是满足C的，只是不满足I隔离性

http://t.cn/zThALXBCoinBase 的电子货币业务系统已经连续4天不能提供服务了，他们使用的数据存储方案为MongoDB，这次故障的原因貌似是：由于容量不足，要做扩容，做数据迁移，而在迁移的过程中出现了一些意外，导致网站长时间无法提供服务。MongoDB在Durability与Consistency方面被报有明显缺陷。

http://t.cn/zTht1hPQueues – the true enemy of flow ，关于队列、排队的一点基础介绍。

http://t.cn/zYe3rr7Josh Berkus谈软件咨询行业的基本原则, PostGreSQL领域的一个牛人介绍自己做软件咨询的一些经验,摘要：1. 你拖延越长的时间去重构，重构就会用掉你越长的时间,2.所有的预估都是乐观情况的,3.在时间和金钱的换算上要使用对数运算,4.有大约一半的项目是会长期存在的,….

http://t.cn/zTZ2AbfMore than Monitoring 来自Neil Gunther，很有启发，但说不清启发在哪里。哈哈

http://t.cn/zTZqNpO日志的集中化处理，从最简单的文件拷贝方式，到基于syslog(rsyslog,syslog-ng)的日志集中方式介绍，再介绍分布式的日志收集方式（scribe/flume/chukwa/fluentd/kafka/splunk).

http://t.cn/zY3pMDJ使用Optimitic Cuckoo-Hashing来改造Memcached，显著提升Memcached的读取效率，对OCH算法的简要介绍，如何通过OCH来控制Hash的效率，如何提升OCH的并发读取的锁，测试的压测效果，使用Key的片段来提升内存利用。

这些优化在今年的NSDI发布的论文memc3中有详细的介绍，会议还未召开，论文已经放出来了，哈哈。http://t.cn/zTZ5fxr

http://t.cn/zTZNK5o更关注相关性, Dave Andersen介绍Casual consistency ,以及他们将要在NSDI 2013会议上发布的新论文eiger,”可以在不牺牲可用性与低时延的情况,提供比’最终一致性’更好的一致性. 论文下载:http://t.cn/zTZNK5K

http://t.cn/zTZpXgQAl Borchers From Google讨论Flash设备,重点介绍下Flash的CPU开销:IO调度器增加30%开销,FS增加39%的开销,NUMA增加了20-40%的CPU开销.读错误比位错误要高,Flash的主要故障出现在Block, plane, and die 层面.

http://t.cn/hBKiv2“Logs Are Streams, Not Files” 来自HeroKu 的博文,这句话本身就是关键,log要当做数据流来进行处理,在系统输出日志流之后,由后续的流处理系统来进行日志的归档/切割(写入文件),日志的统计分析(statsd),日志的展示(Graphite),日志的检索(ElasticSearch),以及可能的日志分析.

http://t.cn/zYDxIvC日志记录的5个最佳实践,1. 确定需要记录的核心日志信息,2. 配置日志的输出格式,3.格式化成Key/Value,4. 保持Key的一致性,也即统一Key的命名(Naming),5.在日志中包含输出时的上下文信息(如uid/machine/action/…).

http://t.cn/zTZW87O如何利用Rsyslog进行日志集中化.如何在不同工具中,使得日志可以输出到syslog,分别介绍了Shell中的使用,Python的实现,Java的实现(只能通过UDP来实现);如何在中心服务器上对日志做过滤,做进一步的处理,进行压缩/备份等操作配置.

http://t.cn/zTZjgNfTaba: Low Latency Event Aggregation, 一个低时延的事件聚合系统.设计目标:低时延/低影响/持久性与可扩展性.使用HTTP协议与Nginx在中间做无状态转发,使用gevent做系统并发处理,整个架构类似于Map/Reduce的处理,同时又在架构层实现一定的排队/批量处理以及预处理

http://t.cn/zTAEUSC内存访问模型的重要性 ,@诸葛不亮翻译的这篇Martin Thompson 的文章,对于CPU缓存的几个关键点都有详细的介绍,如何充分的利用CPU的Cache是LMAX架构的核心优势,也是Martin Thompson的专长所在. 内容相当精彩,不容错过.

http://t.cn/hO1egTodd Lipcon 介绍分布式NOSQL数据库的设计模式, 从数据分布模式(一致性哈希的工作模式),一致性模式的选择, 数据模型的处理(Key -> Value,map…), 存储模型的选择(行存储/列存储/列族存储(行列混合)),LSM Tree的工作原理的详细介绍,节点管理(主控,或基于Gossip做通讯).【推荐】

http://t.cn/zOlEwqj计算机领域的那些基于突破性的（Break Through）论文而成立的公司。这个系列的论文质量都很不错，虽然很多论文现在看来没有那么有突破性了。创新很多时候，在想到之前，无比复杂；在有人想到之后，又会显得异常简单；这也是为什么需要有专利法去保护的原因。不做事后诸葛亮！

http://t.cn/zT2mMDaEssential storage tradeoff: Simple Reads vs. Simple Writes ，Storage层面的问题，很多都是一种选择与权衡，Normalization Vs Denormalization，Column Store Vs Row Store，Consistency Vs Eventual Consistency，Key Value Store Vs Relation Store，集中化 Vs 分布式，。，所有的权衡都来自业务（客户需求），最后权衡的标准一定是成本与收益，差别只是在于你会考量多少因素，你如何为不同的因素做量化，即量化每种选择的投入与产出，从而从整体上降低成本、提高收益；也即做到整体的TCO最低；相关的量化可以延续到未来的2－3年。也是我昨天与 @jackbillow 讨论的内容

@BohuTANG_ 伯虎对写优化的数据结构理解研究都相当深入，注意标题写优化，也即关注写入密集型业务，关注读写比较小的业务。【推荐阅读】 “写优化”的数据结构http://t.cn/zTLwk8D

http://t.cn/zTywIRz在NSDI 2013年的论文中，Facebook透露使用Memcached获得的经验教训：1.缓存与持久化数据分离以独立的进行扩展，2.监控、调试以及运维效率的工作与提升性能同样重要，3.管理状态组件的复杂度要远远超过管理无状态组件。4.系统必须支持渐进的发布与回滚方案，5.简洁性至关重要.
论文章还介绍到Facebook如何通过Lease处理访问风暴，与早期 @TimYang 讨论的新浪微博的方式有点类似，不过在防止访问风暴处理上要更加优雅一点。总体机制有以下3条：1. 控制发放Lease凭证的频率，有Lease才可以putKey，2.收集可能导致访问风暴的Key,3.删除的Key还会在系统中保留一段时间，对一致性需求较低的请求返回此数据. Workload Analysis of a Large-Scale Key-Value Storehttp://t.cn/zTy2NQKFacebook的Key/Value Store也即Memcached集群的工作负载特征分析，组合这篇论文看效果更佳。

Jame’s Reading 03-16

        <div style="margin-top:8px;padding:6px 0;border-top:1px solid #3cf">
            <div style="text-align:center;margin:16px 0;padding:6px;border:0px dashed #999;font-family:arial;font-size:26px;font-weight:bold">
<a href="http://www.udpwork.com/item/9612.html#review_form" title="不喜欢" style="text-decoration:none">
    <img src="http://www.udpwork.com//images/thumb_down24.gif" alt="">
    <span style="color:#f33">0</span>
</a>
   
<a href="http://www.udpwork.com/item/9612.html#review_form" title="喜欢" style="text-decoration:none">
    <img src="http://www.udpwork.com//images/thumb_up24.gif" alt="">
    <span style="color:#3c3">1</span>
</a>

Google Reader