Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Три `Д` для миллиардера. Свадебный салон
Любовные романы
:современные любовные романы
,короткие любовные романы
.
7.14
рейтинг книги
Ворон
Фантастика
:попаданцы
,фэнтези
,гаремник
.
5.00
рейтинг книги
Лишённые плоти
6. Тони Хилл и Кэрол Джордан
Детективы
:маньяки
.
7.71
рейтинг книги
Гранит науки. Том 1
1. Героями не становятся, ими умирают
Фантастика
:фэнтези
,боевая фантастика
.
5.25
рейтинг книги
На цепи
1. На цепи
Старинная литература
:прочая старинная литература
.
5.00
рейтинг книги
На границе империй. Том 7. Часть 5
11. Фортуна дама переменчивая
Фантастика
:боевая фантастика
,космическая фантастика
,попаданцы
.
5.00
рейтинг книги
Солнечный корт
4. Все ради игры
Фантастика
:зарубежная фантастика
.
7.88
рейтинг книги
Матабар V
5. Матабар
Фантастика
:фэнтези
.
5.00
рейтинг книги
Пушкарь. Пенталогия
Фантастика
:альтернативная история
.
8.11
рейтинг книги
Поводырь
3. Ботаник
Фантастика
:фэнтези
.
6.28
рейтинг книги
Врубель
Жизнь в искусстве
Документальная литература
:биографии и мемуары
.
5.00
рейтинг книги
Мастер 6
6. Мастер
Фантастика
:боевая фантастика
,попаданцы
,аниме
.
5.00
рейтинг книги
Казачий князь
5. Шатун
Фантастика
:боевая фантастика
,попаданцы
,альтернативная история
.
5.00
рейтинг книги
Наследие Маозари 7
7. Наследие Маозари
Фантастика
:боевая фантастика
,юмористическое фэнтези
,постапокалипсис
,рпг
,фэнтези
,эпическая фантастика
.
5.00
рейтинг книги
Цеховик. Книга 2. Движение к цели
2. Цеховик
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Натиск
12. Последняя жизнь
Фантастика
:аниме
,фэнтези
,попаданцы
.
6.20
рейтинг книги
Наследие Маозари 6
6. Наследие Маозари
Фантастика
:попаданцы
,постапокалипсис
,рпг
,фэнтези
,эпическая фантастика
.
5.50