Jame’sReading07-25

來源：懂視網責編：小采時間：2020-11-09 13:11:22

Jame’sReading07-25

JamesReading07-25:論文類的閱讀與分析 http://t.cn/zHFP5Yj 云存儲環境下的低成本虛擬機數據去重，Hong Tang與其在Ask.tom的前同事現伯克利圣芭芭拉分校的Tao Yang合作撰寫的論文，對于在云環境下的備份方式（Sharding Meta 信息），先計算指紋再去重，雖然整體算法上的改

推薦度：

點擊下載本文 文檔為doc格式

導讀JamesReading07-25:論文類的閱讀與分析 http://t.cn/zHFP5Yj 云存儲環境下的低成本虛擬機數據去重，Hong Tang與其在Ask.tom的前同事現伯克利圣芭芭拉分校的Tao Yang合作撰寫的論文，對于在云環境下的備份方式（Sharding Meta 信息），先計算指紋再去重，雖然整體算法上的改

論文類的閱讀與分析 http://t.cn/zHFP5Yj 云存儲環境下的低成本虛擬機數據去重，Hong Tang與其在Ask.tom的前同事現伯克利圣芭芭拉分校的Tao Yang合作撰寫的論文，對于在云環境下的備份方式（Sharding Meta 信息），先計算指紋再去重，雖然整體算法上的改進不

論文類的閱讀與分析

http://t.cn/zHFP5Yj 云存儲環境下的低成本虛擬機數據去重，Hong Tang與其在Ask.tom的前同事現伯克利圣芭芭拉分校的Tao Yang合作撰寫的論文，對于在云環境下的備份方式（Sharding Meta 信息），先計算指紋再去重，雖然整體算法上的改進不大，不過由于拆分＋并行處理，總體的效率與開銷還不錯。

http://t.cn/zHF7hqo Facebook推出的修正版RS code來緩解傳統的RS code恢復導致的網絡帶寬問題，在基本的10+4的RS code模式下，他們平均每天會消耗180TB的網絡帶寬用于進行數據恢復，使用新的修正版RS code從理論上可以降低30%左右的網絡帶寬需求，主要思路為計算校驗碼時附帶一份上一個條帶的數據。

http://t.cn/zQZCowQ Murat Demirbas對Google Spanner Paper的解讀(博客中有大量經典論文的解讀), 重點解讀了這篇論文章TrueTime API的實現與作用, 實現: 依賴于原子鐘, 通過比較Paxos以及2PC Prepare的時間戳來獲得Snapshot Time,作用: 簡化Snapshot Read時的設計,實現類似于Oracle閃回Time->SCN.

http://t.cn/zHFKAKr Velocity 2013 上幾個不錯的主題推薦, 除前幾天已經發在微薄的部分內容,還有Performance Methodologies for Production Systems (Brendan Gregg),Quantifying Abnormal Behavior(Baron Schwartz), A Systematic Approach to Capacity Planning in the Real World (Twitter)

統計與監控的分析

http://t.cn/zQZNFxc Baron Schwartz的新公司博客, 解釋統計過程控制的4個基本規則,1.有指標超出3個標準差的范圍,2.連續3個點中的2個在2-3個標準差之間,3.連續5個點中的4個在2個標準差之外,4.連續9個點在平均數的一側. Etsy的Skyline(http://t.cn/zQZNFxV與oculus參考了統計過程控制的方法論.

http://t.cn/zQqS4OT 為什么平均數不好使, 而百分位(percentile)卻很好用. 在圖中同時顯示avg/min/max的圖表, 沒有顯示50%,75%,90%等幾個百分位的延時信息的圖表, 后者可以顯著的提高分析/定位問題的效率.

產品以及系統的設計使用.

http://t.cn/zQZCDkp Lars Hofhansl 介紹HDFS(HBase同)的一個設計缺陷, 在極端情況下,當機房突然掉電時, HBase不僅可能丟失最新更新的數據, 如果剛好又在做Compact,也可能丟失較早之前更新的數據,此文中給出了他們的解決辦法,通過調整參數dfs.datanode.sync.behind.writes和dfs.datanode.synconclose

http://t.cn/zQZpWtF Oracle NoSQL database的訪談. 重點討論了它的Major/Minor Key的設計(個人比較喜歡此設計,非常接近于DB Sharding);Master/Slave的Replication設計,通過Paxos以及簡單多數仲裁來確保寫一致性;對avro序列化的支持(更好的Json集成);支持簡單轉換后成為Oracle的外部表,便于數據互通.

http://t.cn/zQZWRaz 獲得安靜(沒有輸出)的Slow Query log在擴展性上就比較happy了. 作者的想法其實很簡單, 大部分擴展性問題, 都是來自數據庫的Query效率不夠, 尤其是Query的索引設計不合理. 通過較好的SQL設計, 較好的索引設計, 大部分公司的Scalability都可解決. 還有一小部分,需要再配合Sharding

對于技術的理解與方法論介紹

http://t.cn/zQbKq2g 從Brendan Gregg角度看,成為專家的一些基本原則:1. 嚴謹,2.世上無難事,不過從時間上看,有代價,3.使用科學方法,并注意其假設,4.不要(輕易)信任任何事情,尤其是壓測,OS的指標也會撒謊,5.注意known knowns, known unknowns, and unknown unknowns的事情分類.

http://t.cn/zQbOYj8 Lessons from Building and Scaling LinkedIn By Jay Kreps . 很多經驗都比較有參考意義. 1. Scale 系統大部分都與Scale State(或存儲State的數據庫)有關系,2. 如何Scale內部的開發能力, 3. 如何Scale 系統的規模, 4. 如何管理Large scale的SOA化的服務(Service).

http://t.cn/zQ55h2U Theo認為當Scale Up是可行的時候(滿足未來1-2年的需求), 就不應該做Scale out.如果你的系統/項目的增長率低于摩爾定律, 應該始終考慮使用更大的機器(更好的廉價PC)來滿足需求. Scale out需要耗費大量的工程師資源來解決基礎設施的問題, 而工程師資源應該用在更高效的地方.

To be truly excellent,one must treat it as a craft.one must become a craftsman.through experience learn discipline. and through practice achieve excellence. By Theo. 《A Career in Web Operation》
step 1,educate yourself,step 2,be disciplined,step 3,learn from & share with your peers,step 4,be patient.experience takes time(and mistakes). Everyone in your organization needs Operational Mentality.operations is a state of mind it is a state of being it is a mentality.

http://t.cn/zQZYxn5 If you want to get the factor 50 speed-up of SSDs, you’d better avoid reading large chunks of sequential data, because that’s where you can only gain a factor five improvement. 非常有洞見的一句話.

社科類

http://t.cn/zHs11Jl 【周其仁】還是沒有“公平”，因為還有將來增加的人口。無論未來新生的，還是下嫁到下營村的人口，因為沒參與此次財富分配的存量，一定會引起未來村民家庭之間財富的不均等。那就等著吧，為了未來的“起點公平”，人們只好在永無寧日的沖突中，等待著誕生永恒公平的土地制度。

http://t.cn/zjz0p4F “特定的社會結構決定了一套陳述是否為謊言或知識。換句話說，知識不是客觀的，它首先依賴于它所在社會的權力結構，這樣的權力結構” . “費孝通命題”，大意就是：你有什么樣的社會結構，你就積累什么樣的知識結構。【汪丁丁：謊言與知識自由是整體之事】

社科書籍推薦

丹.艾瑞里《不誠實的誠實真相》從行為學的角度分析, 人類為什么會不誠實, 在哪些場景下會不誠實, 如何通過規則的控制來降低人的不誠實程度.

賈森·弗里德《重來》37Signals的創始人介紹如何通過簡單的思維來做系統的開發與處理，深入的內容，可以參考 @左耳朵耗子的相關博客文章.

羅爾夫·多貝里《清醒思考的藝術》書中列舉了52個人類常犯錯誤的思維陷阱，也即人類在認知上的一些缺陷，多讀讀有助于修正自己的思維缺陷。