再想像檔案散發:普遍下載

前言

在過去幾天,我幾中’ve正想和夢見剁碎的食物,是精確檔案剁碎的食物.我的有剁碎的食物的魅力以一個主持一能被過去經常辨認出每一個在世界上檔案的普遍剁碎的食物資料庫的想法開始.如果你認為那個wasn’夠t勇敢,然後我認為我可以剛剛提出一在事後的認識中抽取跨過網路和禮儀資料散發的系統.

主要理由我’m是因為我想要當時很多眼球儘可能仔細檢查這個觀念出版這個觀念,和不要按一名明顯律師.儘管我’ve已經用它表達許多想法和讓一些有才幹人們幫助使它有效,沒有什麼將是盲目沿著一死胡同駕駛更糟糕.另一方面如果觀念使更寬闊社區的動力和支持停頓,我確實需要意識到它.

背景

現在向追趕切割,我的觀念能據說是一很多現存的技術的mashup,一些從技術上來說被用檔案證明在現存的散發方法中和其他的甚至被執行.但是我相信作為整體–和罐僅有工作觀念作為整體–公開討論被或者意識到.

作為一起始點點,它是我的那樣現時–引人注意懂得最受歡迎檔案散發方法還有其他HTTP和BitTorrent–是完全可論證地“檔案名”有基底的.例如,從一HTTP伺服器散佈一檔案,你指定一例如“http://server.com/file.txt一致資源勘定土地邊界的人((URL)“和使用BitTorrent,你建立一指定”的以及其它等等檔案名“file.txt的.torrent檔案.

一向“檔案名不利之處”有基底的散發是它不一貫辨認出獨一無二檔案.例如,一簡單文本檔案能有和一一樣多的適合檔案系統支撐名字.在那本筆記上,這個是我的在什麼地方觀念開始.

剁碎的食物

我的好友由SHA-1所創造的把算法切細剁碎的食物和特別那些能被過去經常辨認出獨一無二檔案.如果你把一檔案切細使用SHA-1,除非那檔案的目錄改變,你產生的剁碎的食物不會改變.為什麼這個是對於檔案散發有用是它使檔案的標識符正常化.畢竟,我們確實想要的所有的是一檔案的目錄;它doesn’t被稱作它是的確實要緊.當然你是能爭辯如果不重要,檔案延長是有用在這種情況下你’d是很高興知道這些是並不失去的.

懷疑將正想那樣你怎樣阻礙衝突嗎?好,它’s一事實上沒有好的剁碎的食物設計的分開衝突和到目前為止SHA-1已經符合期望.事實上,那SHA-1被危害系統能很好接納新一些把成為標準的算法或者同時把算法切細倍數切細.

磁鐵聯繫

承認由先有技術決定但是,前面提到的觀念是並不對檔案散發的世界是新.當他們是給打電話時,磁鐵聯繫是一準確做我描繪的一致資源標識符(URI)計劃.對於同等地位的人-向-同等地位的人散發網路和引人注意eDonkey最由民眾最用過,它建立一”被一剁碎的食物辨認出“URL.

例如,“magnet:?xt=urn:fakehash:123ABC&dn=file.txt”描繪”被叫出一檔案,其使用“fakehash”算法剁碎的食物是“123ABC和被建議的名字“file.txt“.

轉移

現在隨著一辨認出經由剁碎的食物獨一無二檔案的方法,下一步是要算出怎樣事實上檔案轉移交易發生.如果我可以說那樣,自己,這個也是在什麼地方確實觀念閃光和在真實網2.0中mashup-偷偷地走.

回答隨著一如果你希望問題“什麼最好的方法適合問題今天把檔案轉移嗎?”和對那問題的答案是事實上沒有最好的方法.引人注意不同的類型的網路((伺服器-客戶,同等地位的人)的-同等地位的人-和他們的各自禮儀((HTTP,FTP,BitTorrent,etc)是獨一無二所有的,和每一個有一套補充彼此的優勢和不利之處.在協同作用中使用這些將使基礎必須給予的速度和冗餘增至最大.

網服務

得到所有這些禮儀用整體工作,這個是一在什麼地方中心網服務開始起作用.(為了簡單裝腔作勢中心不單一的是容易發生冗餘)地失敗但是一散佈系統的URL意味著一伺服器.

這網服務將做的是摘要有關不同網路資源.為了把這個付諸實施出租’s認為你尋求一挑剔電影宣傳片影像檔案;你碰到一個網站,其包含一向一掛車的高-定義1080p版本磁鐵聯繫的.檔案和一個建議檔案名的剁碎的食物以及其它等等是在這磁鐵聯繫中.

客戶

現在,使用一個把本身和磁鐵聯繫聯繫起來的客戶,應用將發射然後把剁碎的食物寄給網服務.網服務將歸還你一套隨著原來內容要求得到資源.這個是能是在蘋果上’作為“http://apple.com/trailers/movie_trailer.mp4 sHTTP伺服器“在一個作為“http://trailer.com/movies/19428.mp4電影宣傳片網站上“在一作為“ftp://files.com/the_fantastic_movie.mp4 FTP伺服器上“和在一位作為“awesome-trailer.mp4特有BitTorrent追蹤者上可用“.

一個挑剔客戶可以僅支撐一個可用檔案轉移禮儀,所以網服務將僅退還一份資源的清單,其是適用的小用戶電話機.認為這個客戶支撐HTTP和BitTorrent,現在它將開始同時發生地下載段檔案.

資源

你可以是問“如何網服務做知道在什麼地方為一剁碎的食物資源是找到嗎?”它將最終–或是手工或是系統地算計這系統的用戶或者–有助於資源“水池”.

幸好,它一部份磁鐵URI規格說明允許你添加一“可用作替換”資源聯繫才只是發生.實際上,它將意味著在時間的時間中,不同地點將添加那時客戶把寄給網服務的不同交替資源利用現存的基礎.

例如蘋果網站是力量連接“magnet:?xt=urn:fakehash:123ABC&dn=file.txt&as=http://apple.com/trailers/movie_trailer.mp4讓磁鐵““.The.““.The.“.

自一個人必須打算讓一檔案被分擔它在網服務資料庫中存在以來,水池不會和在一起是空開始.因此它將讓至少一資源位置可用.在時間的時間中變得當更多資源變得可用時,使散發分散.

資源完整性

當然當我們全都知道時,人們能是邪惡小雞姦者.我們怎樣所有的在水池中資源是為同樣的剁碎的食物信任?我們怎樣保證資源還沒有和在一起用不正當手段干預?也它’s一現實資源能沒有那又怎麼樣警告消失發生如果他們不再exist?.這些情況的總的說來,我們把資源當作一不適當資源.

那樣你怎樣使從不適當那些恰當資源有效?在剁碎的食物旁邊當然!如果資源是一像一高-定義影像檔案大下載,承認它wouldn’t是最好的用戶經驗,發現在把完整檔案切細之後,一資源是不適當.這個是為什麼為了避開處境,我們需要劃分檔案.

這些段的尺寸將在算法中是精心設計,因此它跨過系統是始終如一.認為把一1GB檔案分成10MB片,那時我們把個人10MB片切細.它從BitTorrent裡面傾向也做這個在塊水準保證完整性.但是送交超出BitTorrent一步,我們能使用一棵剁碎的食物樹保證不僅在塊水準和在整個-檔案水準有完整性,而且我們也保證在這些水準之間完整性.也就是說我們能查證個人塊剁碎的食物確實事實上意味著根剁碎的食物.

責任

如果一個客戶錯誤或者惡意-蓄意聲稱當它或是相反是恰當的時候,一資源是不適當,有妄想狂傾向的那些將大概問什麼發生嗎?作為對這個的反應我建議一羯磨是把地位超過”獨一無二用戶的“特性的系統放置在基座上’在一特有時間時期s提出要求.其它客戶,其查證一依次要求增強羯磨,和不適合一要求的其他的希望的減少那個用戶的羯磨.

我安全的地方’t算出這個的細節但是我歡迎建議.

過渡

因此’s非常接近它為技術工具但是以我們全都的身份知道的,技術性是要緊的並非所有.執行這樣的系統,過渡是關鍵.找來用戶和絕大部份重要地散佈轉換到這樣的系統檔案的實體能大家公認沒有一些種一座橋被認為是難以忍受.

但是當從前提到時,由於磁鐵聯繫故土支持“交替”聯繫,沒有任何新客戶或者基礎工作的聯繫,意味著總是有一後退選擇餘地.一個目前HTTP下載客戶能繼續為BitTorrent支撐才只是HTTP和同樣的.

搶先的經常問的問題

結束,我想要優先購買地回答燃燒一些人們可以有的問題幾.

什麼你’茲就建議將比喻地要求一”能處理檔案散發需求的“集中網服務的一潛在地服用迷幻藥在任何一個的時刻客戶的數目.什麼地方你將找出資源?

當有一資源的集中資料庫但是集中的時候,這在最大潛力系統意願僅有工作不必然也意味著一伺服器是是真實的.就像有關視窗天藍色主持散佈資料庫和可去鱗的網服務使它變得可能,DNS是一取決於一集中資料庫和技術的伺服器-客戶系統.

這個將意味著網服務潛在地能記錄(和講述)每一個下載嗎?

簡潔答案,號網服務僅協調資源的需求;尋找一指定剁碎的食物的潛在資源的意圖不是檔案轉移的證明.但是這個被贏得’t停止例如那些個人資源在一伐木HTTP伺服器上主持後來做出每一個一個客戶可以的要求或者一位記錄一檔案的同等地位的人的BitTorrent追蹤者.

還有嗎超出檔案下載其它的這個的申請嗎?

同意.如果你思考它,下載不必然必須是一個輕點一在一個瀏覽器中聯繫用戶,每當把一檔案轉移,它是在網際網路上二個客戶之間.當然這系統的好處指數地被減少更小檔案是.但是,當內容在特性中變得更高時,這是檔案將繼續是更大更和更困難的更快和更可靠分發的一傾向.

這個將阻止惡意檔案是分配嗎?

不幸號因為系統僅知道剁碎的食物,它沒有對把檔案切細的原來目錄的觀念.但是,這個是要不要說第三聚會不能辨認出我在我的hashDB計劃中建議的剁碎的食物知道有惡意檔案和以這樣的身份,揮手招他們,但是這個是超出了這系統的範圍.

什麼’s你的生意模範嗎?

我’ll咨詢吱吱叫傢伙.才只是開玩笑 .Well.’肯定那裡m是一些一能使用資助系統的某處成本好處.

當然如果你’茲就一個投資者和是在long.zheng@gmail.com使一封電子郵件對幫助我意識到這個,射中我感興趣.