Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Лекарь Империи 8
8. Лекарь Империи
Фантастика
:попаданцы
,городское фэнтези
,аниме
.
5.00
рейтинг книги
Геном хищника. Книга четвертая
4. Я - Легенда!
Фантастика
:боевая фантастика
,рпг
,попаданцы
.
5.00
рейтинг книги
Система Возвышения. (цикл 1-8) - Николай Раздоров
Система Возвышения
Фантастика
:боевая фантастика
.
4.65
рейтинг книги
Тихие ночи
2. Глэрд
Фантастика
:фэнтези
,боевая фантастика
,попаданцы
.
5.00
рейтинг книги
Глэрд IX: Легионы во Тьме
9. Глэрд
Фантастика
:боевая фантастика
,попаданцы
,фэнтези
.
5.00
рейтинг книги
Телохранитель Генсека. Том 4
4. Медведев
Фантастика
:попаданцы
,альтернативная история
.
6.00
рейтинг книги
Кодекс Охотника. Книга XIX
19. Кодекс Охотника
Фантастика
:фэнтези
.
5.00
рейтинг книги
Ветер перемен
5. Сын Петра
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Держать удар
11. Девяностые
Фантастика
:попаданцы
,альтернативная история
.
5.00
рейтинг книги
Точка Бифуркации IV
4. ТБ
Фантастика
:героическая фантастика
,городское фэнтези
,попаданцы
.
5.00
рейтинг книги
Золотой ворон
5. Все ради игры
Фантастика
:зарубежная фантастика
.
5.00
рейтинг книги
Маленькая женщина Большого
5. Наша
Любовные романы
:эро литература
,современные любовные романы
.
5.00
рейтинг книги
Отмороженный 11.0
11. Отмороженный
Фантастика
:боевая фантастика
,рпг
,попаданцы
,фантастика: прочее
,фэнтези
.
5.00
рейтинг книги
Мастер порталов
8. Гибрид
Фантастика
:боевая фантастика
,попаданцы
,технофэнтези
,аниме
,фэнтези
.
5.00
рейтинг книги
Адвокат Империи 6
6. Адвокат империи
Фантастика
:городское фэнтези
,аниме
,дорама
,попаданцы
.
5.00
рейтинг книги
Третий Генерал: Том IX
8. Третий Генерал
Фантастика
:городское фэнтези
,аниме
,попаданцы
.
5.00
рейтинг книги
Долг
7. Другая сторона
Фантастика
:боевая фантастика
.
5.56