Microsoft создала новую технологию быстрой обработки данных
В корпорации Microsoft говорят о разработке новой технологии для быстрой сортировки очень больших объектом данных. Новая технология Flat Datacenter Storage (FDS) была формально презентована на конференции Association for Computing Machinery в штате Аризона. В будущем FDS полностью или частично будет интегрирована в движок поисковика Bing, а также корпоративных продуктов Microsoft для процессинга данных.
"Повышение производительности при работе с большими объемами данных - это очень важно сразу для множества отраслей бизнеса. Почти все проблемы больших данных с новой технологией могут быть эффективно решены, что на практике дает возможности по экономической выгоде и ускорению бизнес-процессов", - говорит лидер проекта и инженер Microsoft Research Джереми Элсон.
По его словам, в тестах, проведенных при помощи набора MinuteSoft система показала производительность процессинга информации на уроне 1401 гигабайта в минута, против ранее установленного Yahoo рекорда в 500 гигабайт в минуту. Также в тестах Microsoft сократила и количество задействованных ресурсов. Если у Yahoo в эталонном тесте было использовано 1406 серверов и 5624 жестких диска, то сейчас Microsoft задействовала 250 серверов и 1033 диска.
Как рассказали в Microsoft, технология FDS использует несколько иной подход к сортировке данных, нежели Google MapReduce и Apache Hadoop. Здесь большую часть процессинга данных выполняет каждый отдельно взятый сервер, тогда как другие технологии создают сортировочные кластеры и разбивают данные на сегменты, храня ключи на центральном узле. В Microsoft говорят, что FSD позволяет заметно разгрузить сетевой трафик и позволяет одному серверу обрабатывать до 2 гигабайт данных в секунду.
Дата публикации: 23.05.2012 (просмотров: 1719) Обсудить Microsoft создала новую технологию быстрой обработки данных на форуме.
Оставьте Ваш комментарий или мнение о новости: Microsoft создала новую технологию быстрой обработки данных Просим Вас оставлять сообщения по теме и уважать своих собеседников и авторов новостного сообщения.
.gif){kind=small}
.gif){kind=small}
