Ваши пользователи качают гигабайты трафика с вашего ресурса? Как увеличить скорость загрузки файлов пользователями и при этом разгрузить ваш сервер ??? Как сделать зеркалирование вашего ресурса затратив при этом минимум средств.
Сети доставки контента
Мы люди которые разрабатывают web приложения - как и многие другие web разработчики населяющие нашу планету. Представим себе что мы создали ресурс популярность которого растет с довольно большой скоростью, растет трафик с нашего ресурса - и орды пользователей которые мучают наши сервера.
Перед нами встает вопрос - что делать дальше ???
Конечно мы не говорим о случайном трафике например из социальных сетей типа Digg, Yahoo Buzz или других социальных медиа сетей, или сайтов которые используют арендованные распределенные компьютерные сети (cloud computing) наподобие Amazon EC2, MediaTemple Grid или Mosso Hosting Cloud.
Я имею в виду трафике, который последовательно увеличивается в течение долгого времени, пока растет популярность нашего ресурса. Такие монстры как Google.com, Yahoo.com, Myspace.com, Facebook.com, Plentyoffish.com, Linkedin.com, Youtube.com пример таких ресурсов, с постоянным высоким трафиком.
Зная что пользователи всегда желают получать доступ к ресурсу с максимальной скоростью - эти службы будут всегда испольховать сети для доставки контента (CDN) - что бы обеспечить доставку контента пользователю с максимальной скоростью.
Что такое CDN?
Сеть доставки контента это группа web серверов расположенные в разных точках (страны, датацентры и тд.) которые дают возможность сделать наиболее эффективную доставку контента для пользователя. Обычно сервер с которого пользователь будет получает контент определяется как самый близко расположенный к нему, для примера выбирается сервер с самым маленьким количеством хопов, либо с самым маленьким временем ответа. Это помогает масштабировать web приложения распределяя нагрузку между множеством серверов.
Некоторые большие ресурсы используют свои собственные cети доставки контента, но иногда более эффективно использовать CDN стороннего провайдера. Plentyoffish.com, например, использует сторонний CDN (он не может позволить себе иметь свой собственный CDN). Myspace.com и Friendster.com также используют CDN.
На картинке снизу вы можете видеть топологию сети Peer1 Networks из Канады. Такая топология типична для большинства CDN.
В данное время наблюдается расширение спектра услуг по предоставлению контента и инвесторы вкладывают неплохие деньги в развитие CDN технологий.
В данное время на пост советских просторах нет не одной действующей CDN сети которая бы предоставляла бы услуги конечным пользователям - хотя есть информация что RuTube сейчас занят построением собственной довольно большой CDN сети, что из этого получится мы увидим в ближайшее время.
Ниже представлен список CDN (в произвольно порядке):
Akamai, 800-фунтовая горилла CDN бизнеса - компания, которая сделала CDNs известными благодаря выходу на IPO. Основные предоставляемые услуги это - раздача HTTP контента и потоковое медиа, недавно открылся сервис мониторинга сети и, а так же географическая дистрибуция web ресурсов. В апреле 2000, Akamai купил InterVu; в 2005, Akamai купил Speedera, а в 2007 еще и Netli. Список клиентов включает в себя такие знаменитые компании как Adobe, Myspace, Мonster, NBA, BestBuy, Cabela’s, Reuters, Verizon, Yahoo, IBM, US Airforce, Travelocity, Sony, CNET, NTT, AMD, NASA, и т.д.)
Limelight Networks предлагают продвинутую Сеть доставки контента для распространения и приема которого нужны широкополосные каналы, такой контент как видео, музыка, игры, и большие файлы. Услугами этой сети пользуются такие известные компании как Amazon, Akimbo, iFilm, MSNBC. LonelyPlanet, Valve, VideoJug, и тд.
EdgeCast - CDN специализирующийся на доставке видео, игр, музыки, трансляций событий в реальном ремени за относительно небольшие деньги. Так же предлагают услуги по географическому распределению web ресурсов ("ускорению работы") - этим сервисом пользуются такие WEB2.0 компании как (Jaxtr, Mashable, Blip.tv, Mahalo, и т.д)
CDNetworks - наибольший поставщик услуг среди CDN Азии - предоставляет услуги по "ускорению" ресурсов используя глобальную сеть своих точек присутствия (POP). Клиенты - Toyota, K2Network, Nexon, Megastudy, NCSoft и тд.
Amazon Web Services не только предлагают воспрользоваться услугами оренды кластеров, но так же и использовать их CDN хранилища - используя мощную инфраструктуру Amazon.
BitGravity - CDN , основанный в 2006, предоставляет услуги для доставке аудио, видео, программного обеспечения, и рекламы. Это первый CDN построенный для интерактивного вещания, оптимизированный для передачи HD контента и интеракивных приложений для множества интернет пользователей.
Peer1 обладает уникальной Rapid Edge технологией, которая обеспечивает глобальную балансировку между сетями и кеш серверами содержищими разные части контента. Plentyoffish.com (сервис знакомств) - один из их клиентов.
UpStreamNetworks - подразделение ServePath лидера Силиконовой Долины по вещанию на базе windows и flash технологий.
ATT Intelligent Content Distribution - CDN построенный на том что контент распространяется по интернету реплицируясь с единой ноды. Сервисные ноды подключены к глобальной сети AT&T которые расположены в датацентрах AT&T.
GridNetworks - в основном обеспечивает вещание высококачественного телевизионного контента по интернету к конечному домашнему потребителю. Архитектура GridNetworks - это частично традиционный CDN, частично одноранговая P2P сеть.
MoveNetworks использует Microsoft Silverlight для вещания потокового HD телевидения. Клиенты - ABC, Discovery Channel, Fox, Televisa, ESPN360.
EdgeStream - обеспечивает видео решения для доставки HD контента, предоставляя законченную программную клиент-серверную платформу и распределенную отказоустойчивую CDN сеть.
Velocix - занимается доставкой к потребителю видео, игр, программного беспечения - и имеет уникальную политику по использованию их CDN - вы платите за успешную доставку продукта (pay per delivery) - а не за гигабайты трафика. Клиенты - BabelGum, Bollywood.tv, Chic.tv, AC Milan (футольный клуб).
Panther Express - с помощью этой сети можно распространять аудио, видео, графику, игры. Так же в этой сети реализовано управление полосой попускания при доставке контента - что позволяет регулировать стоимость услуги. Клиенты - StudiVZ, немецкий клон Facebook, LiveJournal, mochi Media и другие.
BroadMedia - крупнейший Японский CDN специализирующийся на доставке видео, игр и так же вещинию для мобильных устройств.
InterNap использует собственное решение - Performance IP™ для быстрой и безопастной доставке потокового контента, видео аудио, рекламы и программ - для этого используются дата центры расположенные по всему миру. InterNap в 2007 году купил CDN VitalStream. Клиенты - Diesel, Saatchi & Saatchi, Ice.com, PlanetVU, MyStack.
Digital Fountain - сеть специализирующаяся на доставке HD видео контента.
Level3 - предлагает довольно большой набор CDN сервисов, давая полную свободу действий по их настройке и использованию - все услуги вы получаете от единственого провайдера.
Mirror Image - обеспечивает высоконадёжный CDN - для цифровых медиа ресурсов, который позволяет использовать самый лучший пользовательский опыт, позволяя компаниям минимизировать инфраструктуру web ресурсов за счет чего экономятся средства на содержание таких ресурсов. Клиенты - Forbes, NOAA, Pacific Sunwear, Ansari X Prize foundation, adECN и тд.
NaviSite - предоставляет полный набор CDN услуг: хостинг, транскодинг, доставку файлов, ускорение работы веб ресурса, платформу для онлайн публикации видео.
Accelia - CDN предоставляющий сервис по доставки статического контента - ориентирован в основном на японских пользователей.
SimpleCDN - специализирован на доставке программных продуктов, видео и изображений (плата за файл). Это обеспечивается продвинутой глобальной платформойдоставки контента - все по одной цене, позволяя организовывать хранилища данных без больших затрат, контрактов или долгого времени установкии настройки ПО.
Технологии CacheFly используется Anycast, для создания маршрутизаторами оптимального маршрута от пользователя к ближайшей точке присутствия. Объеденившись с Anycast, обеспечивающиц очень большую площадь покрытия, CacheFly построил CDN следующего поколения, специализирующийся на доставке програмного обеспечения, ускорению работы ресурсов, потоковому видео и подкастинге. Использовать этот CDN предпочитают такие Web 2.0 компании как Revision3, Ars Technica, Pluck, BetaNews.
Nirvanix - одна из первых коспаний предоставляющая сетевое распределенное хранилище (SDN - Storage Delivery Network), аналог Amazon S3. Распределенное сетевое хранилище построенно на запатентованой Nirvanix файловой системе - Internet Media File System (IMFS), это кластерная файловая система которая состоит из глобально распределенных хранилищь котрые объеденены одним пространством имен. Пользователи: Axentra, Free Drive и прочие.
Solid State Networks - гибрид, одноранговой (P2P) и HTTP CDN сети, специализирующийся на доставке на программном обеспечении, видео, игр (особенно игр). Клиенты: Acclaim, Zyon Games, Alchemic Dream и другие.
ValueCDN - европейский дешевый CDN, который может использоваться для доставки изображений, CSS, JavaScript, Flash и других файлов.
NTT Communications - предлагает SCD (Smart Content Delivery) технологию, которая использует три компонента (балансировщики нагрузки, глобальные балансировщики нагрузки, использование кеширования на реверсивных прокси), использование этих компонентов ползволяют ускорить скорость загрузки, ускорить скорость соединений, стабилизировать видео потоки для ваших интернет решений.
Swarmcast - CDN, специализированный на доставке видео (хостинг HD видео, потоковое вещание, прямая трансляция событий).
BitTorrent - P2P (peer-to-peer) решение для доставки контента. BitTorrent DNA™ - CDN, который использует безопасную, частную, управляемую p2p сеть, для обеспечения требуемых мощностей, надежности, и эффективности доставки контента. BitTorrent DNA™ - работает совместно с вашим использующимся CDN или вашим первичным сервером ускоряя скачивание информации или http потоки незаметно для пользователя. Технология используемая BitTorrent позволяет предоставлять сервис не внося никаких изменений в текущую инфораструктуру ресурса или аппаратного обеспечения.
Verisign Mobile Content Delivery Network - может помочь контент провайдерам доставлять и производить оплату за собственный контент используя CDN для мобильных устройств - который объеденяет более 2 миллиардов пользователей из Серверной Америки, Европы и других стран.
Technicolor специальная сеть для доставки больших объемов данных, спроектированная по требовательным стандартам Microsoft. Клиенты такие монстры как Warner Bros, Walmart, Hitachi, Paramount, Imax, Xbox Live, EMI, National Geographic, Microsoft, NBC Universal.
Ignite - предоставляет промышленное наиболее безопастное и расширяемое CDN решение, позволяющие пользователям эффективно публиковать и доставлять, свои цифровые материалы широкого спектра, начиная от обучающих материалов и заканчивая обновлениями антивирусных баз - всегда, везде и в люое время. Клиенты: Canon, Miller, Huntington, Sabre Holdings, Accenture, RadioShack.
Coral - бесплатный p2p CDN, имеющий в составе международную сеть из прокси и DNS серверов (~260 серверов). Услуга по акселерированию работы вашего интернет ресурса стоит порядка 50$ в месяц. Список клиентов.
HighWinds - компания дающая использовать высокопроизводительную сеть RollingThunder™ и медиа менеджер (StrikeTracker™) позволяющий создавать отчеты по глобальной доставке видео контента, трансляций и других медиа ресурсов. Преимущества этой сети в том что позволяет смотреть аналитику в реальном времени, мгновенно создавать новые учетные записи, производить контроль своего контента. Услугами этой компании пользуются другие поставщики CDN услуг такие как Technicolor, Solid State Networks.
SoftLayer - хостер который так же предоставляет CDN услуги. Используется сеть серверов с оригинальным ПО для организации процесса доставки контента конечному пользователю по географическому принципу, пользователь забирает контент с ближайшего до него сервера.
Voxel - высокопроизводительный CDN разработанный VoxCAST который позволяет молниеносно доставлять ваш статический контент (изображения, файлы для загрузки и тд), трансляции, видео-потоки и приложения которым требуется высокая полоса пропускания. контент доставляется пользователю через специально сформированый URL (например cdn.yoursite.com), по которому доступен закешированный целый ресурс или работает через открытый модуль mod_cdn, разработанный в Voxel’s , для http сервера Apache, так же модуль может обновить контент по истичению заданного промежутка времени. Клиенты: PerezHilton, AirAmerica, Hasbro, Accona, The New York Observer.
CoBlitz - предлагает услуги по распространению больших файлов по HTTP CDN. Пользователям не нужно вносить никаких изменений в свое ПО или настройки серверов. Данный CDN построен на базе сети CoDeeN запущенной на базе PlanetLab, вам не обязательно использовать ресурсы сети активно что бы пользоваться предоставляемыми ресурсами, достаточно лишь добавить приставку, http://coblitz.codeen.org/, к вашему URL и CoBlitz сделает за вас всю работу. Сервис пока бесплатный, но есть ограничения - не принимаются файлы меньше 100Кб и файлы больше 20Gb.
Народ у кого есть опыт разработки с применением CDN? Меня интерисует такой момент как просмотр видео на сайте. Типа user залогинился на сайте и смотрит видео. Видео конечно хранится в CDN. Может кто что посоветует почитать?
Понятное дело что статья стареет со временем - я вот например нашел что у нас есть CDN от Воли - только интересно было бы послушать людей которые им пользуются - если есть такие ;-)))
У Воли хрень редкая. Там CDN ограничен по сути только Украиной. Тот же эффект можно получить от покупки пары хостинг аккаунтов у операторов имеющих разный пиринг внутри страны. Сейчас работаю над бесплатным CDN для разработчиков опенсорса и дешевого для шараварщиков для раздачи в Европу и СНГ.
Ваши пользователи качают гигабайты трафика с вашего ресурса? Как увеличить скорость загрузки файлов пользователями и при этом разгрузить ваш сервер ??? Как сделать зеркалирование вашего ресурса затратив при этом минимум средств.
Мы люди которые разрабатывают web приложения - как и многие другие web разработчики населяющие нашу планету. Представим себе что мы создали ресурс популярность которого растет с довольно большой скоростью, растет трафик с нашего ресурса - и орды пользователей которые мучают наши сервера.
Gorod спасибо будем знать - просто они как то слабо о себе говорят и мало кто знает.
Тот же эффект можно получить от покупки пары хостинг аккаунтов у операторов имеющих разный пиринг внутри страны.
Сейчас работаю над бесплатным CDN для разработчиков опенсорса и дешевого для шараварщиков для раздачи в Европу и СНГ.
Воля или та что в разработке?
Еще вот например нашел CDN от дата-хаты - там хоть ребята потрудились сделать какое то описание.