全球最大色情網(wǎng)Xvideos每月PV達(dá)44億
2013/5/16
成人網(wǎng)站有多大？上網(wǎng)之人，多少都會(huì)接觸過(guò)成人網(wǎng)站。這是一個(gè)舉世公認(rèn)的事實(shí)。不過(guò)這是一個(gè)難以洞察的領(lǐng)域，因?yàn)橄嚓P(guān)數(shù)據(jù)少之又少。我們知道成人網(wǎng)站 都是那些在互聯(lián)網(wǎng)上有著超高流量的網(wǎng)站。根據(jù) Google DoubleClick 的 Ad Planner 服務(wù)（通過(guò)cookie跟蹤網(wǎng)民）顯示，全球 Top 500 網(wǎng)站中，就有數(shù)十個(gè)成人網(wǎng)站。
全球最大的色情網(wǎng)站 Xvideos 每月網(wǎng)頁(yè)瀏覽量（Page Views，PV）高達(dá) 44 億，是 CNN 或 ESPN 新聞網(wǎng)站的 3 倍，是 Reddit 的 2 倍。LiveJasmin 也不小。除了 Google 和 Facebook 等大站，其他網(wǎng)站在YouPorn、Tube8 和 PornHub 面前都是小巫見(jiàn)大巫。
雖然網(wǎng)頁(yè)瀏覽量是一個(gè)很好的起始點(diǎn)，但它們僅告訴我們某些色情網(wǎng)站比某些非色情網(wǎng)站要受歡迎。40億的PV，聽起來(lái)很多，但當(dāng)我們把那些X站用戶實(shí)際在做的事考慮進(jìn)來(lái)，成人網(wǎng)站的大小和規(guī)模就有點(diǎn)明朗了。
規(guī)模
色情網(wǎng)站和非色情網(wǎng)站的主頁(yè)區(qū)別是訪客的平均停留時(shí)間。諸如 Engadget 等新聞網(wǎng)站的平均停留時(shí)間是 3 – 6 分鐘，大約是是閱讀 1 – 2 篇文章。然而色情網(wǎng)站的停留時(shí)間，大約是在 15 – 20 分鐘。
大 部分網(wǎng)站的內(nèi)容主要是文本和圖像，而成人大站則是視頻。ExtremeTech 首頁(yè)完全加載大約是幾兆數(shù)據(jù)，打開一篇文章，大約是500kb數(shù)據(jù)。訪問(wèn)色情網(wǎng)站，假設(shè)是打開一個(gè) 480×200 低分辨率的視頻，每秒傳輸 100 kb 數(shù)據(jù)。15 分鐘的話，那就大約是 90 MB 數(shù)據(jù)了。
Xvideos 每月有 3.5 億訪問(wèn)次數(shù)，乘以 90 MB，那就每月傳輸大約 29 PB 數(shù)據(jù)，也就是每秒傳送數(shù)據(jù)約 50 GB。做個(gè)對(duì)比，你家網(wǎng)絡(luò)連接可能每秒傳送兩兆（2 MB），Xvideos 是你家的 25,000 倍。
簡(jiǎn)而言之，色情網(wǎng)站是在處理天文數(shù)字級(jí)別的數(shù)據(jù)。在原始帶寬（Raw Bandwidth）方面，能與之匹敵的網(wǎng)站，也就只有 YouTube 或 Hulu，而 YouPorn 卻又是 Hulu 的 6 倍。
基礎(chǔ)設(shè)施
就支持視頻所需的資源，數(shù)據(jù)存儲(chǔ)器、CPU 周期、I/O 和帶寬，遠(yuǎn)超過(guò)文本和圖像所需要的資源。
當(dāng)然了，雖然每個(gè)網(wǎng)站的情況又不一樣了，但大部分成人站點(diǎn)都有 50 至 200 TB 的成人資料。對(duì)一個(gè)網(wǎng)站來(lái)說(shuō)，這是個(gè)大數(shù)目（Google、Facebook、Blogger 和 Youtube 之流存儲(chǔ)的數(shù)據(jù)比這還要多），好在現(xiàn)在 2 TB 的硬盤便宜。
CPU 周期和 I/O 會(huì)影響視頻流和 PV 數(shù)量。首先，色情網(wǎng)站要提供動(dòng)態(tài)、可搜索的海量視頻數(shù)據(jù)庫(kù)，然后點(diǎn)播視頻時(shí)，從硬盤讀取文件，再網(wǎng)絡(luò)上傳輸。如果你有過(guò)在局域網(wǎng)傳送大量大文件的經(jīng)歷，你就會(huì)知道網(wǎng)絡(luò)系統(tǒng)的壓力有多大了。
硬 件設(shè)備情況，實(shí)際上我們幾乎無(wú)法知曉，因?yàn)樯榫W(wǎng)站也沒(méi)公布過(guò)。雖然如此，但我們討論的大型色情網(wǎng)站會(huì)有四核服務(wù)器、千兆交換機(jī)、負(fù)載均衡器。在軟件方 面，大部分大型色情網(wǎng)站都會(huì)使用超高吞吐量的數(shù)據(jù)庫(kù)（比如 Redis ）來(lái)存儲(chǔ)和提供視頻，還有輕量級(jí)的 HTTP 服務(wù)器（比如 Nginx ）。
最 后說(shuō)帶寬。還是以 Xvideos 為例（基于 Ad Planner 的數(shù)據(jù)估測(cè)），大型色情網(wǎng)站必須有足夠的連通性（connectivity）來(lái)支撐每秒 50 GB（400Gbps ）。這還只是平均傳輸速率。在高峰期間，Xvideos 或許要 1,000Gbps (1Tbps) ，或更高 。在倫敦和紐約直接的連通性也才 15Tbps。
有很多方法來(lái)處理高流量：自己搞個(gè)數(shù)據(jù)中心，或者去大數(shù)據(jù)中心租賃幾排架的服務(wù)器，或者使用諸如 Amazon AWS 和 Microsoft Azure 之類的云服務(wù)。
真實(shí)案例
YouPorn 是全球第二大的色情網(wǎng)站，足夠提供研究數(shù)據(jù)。另外要說(shuō)一下，DoubleClick 的 Ad Planner 中的估測(cè)數(shù)據(jù)比實(shí)際數(shù)據(jù)要低很多的。
YouPorn 有“超過(guò) 100 TB 的干貨”，每天網(wǎng)頁(yè)瀏覽量超過(guò) 1 億。總而言，這相當(dāng)于每天傳送 950 TB 數(shù)據(jù)（大部分都是視頻流），每月大約傳送 29 PB。Xvideos 肯定不止 28 PB 這個(gè)估測(cè)值了，它可能是每月 35 – 40 TB。
在高峰期，YouPorn 每秒得響應(yīng) 4000 個(gè)網(wǎng)頁(yè)，相當(dāng)于有每秒 100 GB 或（800 Gbps ）的突發(fā)流量。這相當(dāng)月每秒傳送 10+ 張雙層 DVD。
在軟件方面，YouPorn 的主數(shù)據(jù)庫(kù)是 Redis，用 MySQL 作為管理工具，用于管理和向 Redis 簇中添加數(shù)據(jù)。后端是 Perl 和 MySQL，不過(guò)在 2011 年改成了 PHP + Redis。HTTP 服務(wù)器是 Nginx，同時(shí)用 HAProxy 和 Varnish 做負(fù)載均衡。
Redis 服務(wù)器可以每秒處理 30 萬(wàn)請(qǐng)求，每小時(shí)記錄下 8 – 15 GB數(shù)據(jù)，包括訪客日志、行為數(shù)據(jù)等。據(jù)說(shuō) Redis 可以抗住 2 億的日 PV。
（譯注：2012年2月份，YouPorn 的技術(shù)人員 Eric Pickup 在 Google 群組宣告他們網(wǎng)站改用 Redis DB 后�？缸×嗣刻�1億PV瀏覽量，每秒30萬(wàn)請(qǐng)求，已經(jīng)堅(jiān)持 2 周。Eric 還將去加拿大一個(gè)技術(shù)大會(huì)分享經(jīng)驗(yàn)。）
令人悲傷的是，YouPorn 拒絕透露硬件設(shè)備信息。從 YouPorn 的 CDN 的 IP 地址來(lái)看，它應(yīng)該沒(méi)有使用云服務(wù)，應(yīng)該托管在某地的大型數(shù)據(jù)中心。
互聯(lián)網(wǎng)每天大約處理 1/2 EB 數(shù)據(jù)，相當(dāng)于每秒處理 50Tb， YouPorn 的 800Gbps 這個(gè)數(shù)字，幾乎就占了互聯(lián)網(wǎng)中每秒流量的 2%。而全球有幾十個(gè)和 YouPorn 規(guī)模相當(dāng)?shù)纳榫W(wǎng)站。互聯(lián)網(wǎng)流量中色情內(nèi)容占據(jù)了 30%，這個(gè)說(shuō)法也就不是不現(xiàn)實(shí)的哦。
（譯注：1 EB = 1024 PB = 1024 * 1024 TB = 1024 * 1024 * 1024 GB）
全球最大的色情網(wǎng)站 Xvideos 每月網(wǎng)頁(yè)瀏覽量（Page Views，PV）高達(dá) 44 億，是 CNN 或 ESPN 新聞網(wǎng)站的 3 倍，是 Reddit 的 2 倍。LiveJasmin 也不小。除了 Google 和 Facebook 等大站，其他網(wǎng)站在YouPorn、Tube8 和 PornHub 面前都是小巫見(jiàn)大巫。
雖然網(wǎng)頁(yè)瀏覽量是一個(gè)很好的起始點(diǎn)，但它們僅告訴我們某些色情網(wǎng)站比某些非色情網(wǎng)站要受歡迎。40億的PV，聽起來(lái)很多，但當(dāng)我們把那些X站用戶實(shí)際在做的事考慮進(jìn)來(lái)，成人網(wǎng)站的大小和規(guī)模就有點(diǎn)明朗了。
規(guī)模
色情網(wǎng)站和非色情網(wǎng)站的主頁(yè)區(qū)別是訪客的平均停留時(shí)間。諸如 Engadget 等新聞網(wǎng)站的平均停留時(shí)間是 3 – 6 分鐘，大約是是閱讀 1 – 2 篇文章。然而色情網(wǎng)站的停留時(shí)間，大約是在 15 – 20 分鐘。
大 部分網(wǎng)站的內(nèi)容主要是文本和圖像，而成人大站則是視頻。ExtremeTech 首頁(yè)完全加載大約是幾兆數(shù)據(jù)，打開一篇文章，大約是500kb數(shù)據(jù)。訪問(wèn)色情網(wǎng)站，假設(shè)是打開一個(gè) 480×200 低分辨率的視頻，每秒傳輸 100 kb 數(shù)據(jù)。15 分鐘的話，那就大約是 90 MB 數(shù)據(jù)了。
Xvideos 每月有 3.5 億訪問(wèn)次數(shù)，乘以 90 MB，那就每月傳輸大約 29 PB 數(shù)據(jù)，也就是每秒傳送數(shù)據(jù)約 50 GB。做個(gè)對(duì)比，你家網(wǎng)絡(luò)連接可能每秒傳送兩兆（2 MB），Xvideos 是你家的 25,000 倍。
簡(jiǎn)而言之，色情網(wǎng)站是在處理天文數(shù)字級(jí)別的數(shù)據(jù)。在原始帶寬（Raw Bandwidth）方面，能與之匹敵的網(wǎng)站，也就只有 YouTube 或 Hulu，而 YouPorn 卻又是 Hulu 的 6 倍。
基礎(chǔ)設(shè)施
就支持視頻所需的資源，數(shù)據(jù)存儲(chǔ)器、CPU 周期、I/O 和帶寬，遠(yuǎn)超過(guò)文本和圖像所需要的資源。
當(dāng)然了，雖然每個(gè)網(wǎng)站的情況又不一樣了，但大部分成人站點(diǎn)都有 50 至 200 TB 的成人資料。對(duì)一個(gè)網(wǎng)站來(lái)說(shuō)，這是個(gè)大數(shù)目（Google、Facebook、Blogger 和 Youtube 之流存儲(chǔ)的數(shù)據(jù)比這還要多），好在現(xiàn)在 2 TB 的硬盤便宜。
CPU 周期和 I/O 會(huì)影響視頻流和 PV 數(shù)量。首先，色情網(wǎng)站要提供動(dòng)態(tài)、可搜索的海量視頻數(shù)據(jù)庫(kù)，然后點(diǎn)播視頻時(shí)，從硬盤讀取文件，再網(wǎng)絡(luò)上傳輸。如果你有過(guò)在局域網(wǎng)傳送大量大文件的經(jīng)歷，你就會(huì)知道網(wǎng)絡(luò)系統(tǒng)的壓力有多大了。
硬 件設(shè)備情況，實(shí)際上我們幾乎無(wú)法知曉，因?yàn)樯榫W(wǎng)站也沒(méi)公布過(guò)。雖然如此，但我們討論的大型色情網(wǎng)站會(huì)有四核服務(wù)器、千兆交換機(jī)、負(fù)載均衡器。在軟件方 面，大部分大型色情網(wǎng)站都會(huì)使用超高吞吐量的數(shù)據(jù)庫(kù)（比如 Redis ）來(lái)存儲(chǔ)和提供視頻，還有輕量級(jí)的 HTTP 服務(wù)器（比如 Nginx ）。
最 后說(shuō)帶寬。還是以 Xvideos 為例（基于 Ad Planner 的數(shù)據(jù)估測(cè)），大型色情網(wǎng)站必須有足夠的連通性（connectivity）來(lái)支撐每秒 50 GB（400Gbps ）。這還只是平均傳輸速率。在高峰期間，Xvideos 或許要 1,000Gbps (1Tbps) ，或更高 。在倫敦和紐約直接的連通性也才 15Tbps。
有很多方法來(lái)處理高流量：自己搞個(gè)數(shù)據(jù)中心，或者去大數(shù)據(jù)中心租賃幾排架的服務(wù)器，或者使用諸如 Amazon AWS 和 Microsoft Azure 之類的云服務(wù)。
真實(shí)案例
YouPorn 是全球第二大的色情網(wǎng)站，足夠提供研究數(shù)據(jù)。另外要說(shuō)一下，DoubleClick 的 Ad Planner 中的估測(cè)數(shù)據(jù)比實(shí)際數(shù)據(jù)要低很多的。
YouPorn 有“超過(guò) 100 TB 的干貨”，每天網(wǎng)頁(yè)瀏覽量超過(guò) 1 億。總而言，這相當(dāng)于每天傳送 950 TB 數(shù)據(jù)（大部分都是視頻流），每月大約傳送 29 PB。Xvideos 肯定不止 28 PB 這個(gè)估測(cè)值了，它可能是每月 35 – 40 TB。
在高峰期，YouPorn 每秒得響應(yīng) 4000 個(gè)網(wǎng)頁(yè)，相當(dāng)于有每秒 100 GB 或（800 Gbps ）的突發(fā)流量。這相當(dāng)月每秒傳送 10+ 張雙層 DVD。
在軟件方面，YouPorn 的主數(shù)據(jù)庫(kù)是 Redis，用 MySQL 作為管理工具，用于管理和向 Redis 簇中添加數(shù)據(jù)。后端是 Perl 和 MySQL，不過(guò)在 2011 年改成了 PHP + Redis。HTTP 服務(wù)器是 Nginx，同時(shí)用 HAProxy 和 Varnish 做負(fù)載均衡。
Redis 服務(wù)器可以每秒處理 30 萬(wàn)請(qǐng)求，每小時(shí)記錄下 8 – 15 GB數(shù)據(jù)，包括訪客日志、行為數(shù)據(jù)等。據(jù)說(shuō) Redis 可以抗住 2 億的日 PV。
（譯注：2012年2月份，YouPorn 的技術(shù)人員 Eric Pickup 在 Google 群組宣告他們網(wǎng)站改用 Redis DB 后�？缸×嗣刻�1億PV瀏覽量，每秒30萬(wàn)請(qǐng)求，已經(jīng)堅(jiān)持 2 周。Eric 還將去加拿大一個(gè)技術(shù)大會(huì)分享經(jīng)驗(yàn)。）
令人悲傷的是，YouPorn 拒絕透露硬件設(shè)備信息。從 YouPorn 的 CDN 的 IP 地址來(lái)看，它應(yīng)該沒(méi)有使用云服務(wù)，應(yīng)該托管在某地的大型數(shù)據(jù)中心。
互聯(lián)網(wǎng)每天大約處理 1/2 EB 數(shù)據(jù)，相當(dāng)于每秒處理 50Tb， YouPorn 的 800Gbps 這個(gè)數(shù)字，幾乎就占了互聯(lián)網(wǎng)中每秒流量的 2%。而全球有幾十個(gè)和 YouPorn 規(guī)模相當(dāng)?shù)纳榫W(wǎng)站。互聯(lián)網(wǎng)流量中色情內(nèi)容占據(jù)了 30%，這個(gè)說(shuō)法也就不是不現(xiàn)實(shí)的哦。
（譯注：1 EB = 1024 PB = 1024 * 1024 TB = 1024 * 1024 * 1024 GB）
[向上]
