Тег: Hadoop

Новые шаблоны автоустановки для выделенных серверов

PR-1600-6

Новость для пользователей услуги «Выделенный сервер»: мы расширили список доступных шаблонов авто-установки ОС. Непосредственно из панели управления теперь можно установить новейшие версии популярных дистрибутивов Linux (Ubuntu 15.10, Debian 8, Fedora 23). Также в автоустановку добавлены ОС Windows и VMWare ESXi (без активации лицензии). Появились у нас и шаблоны с предустановленным ПО: Proxmox и Cloudera Hadoop.
Читать далее

Hadoop, часть 3: Pig, обработка данных

des-48-5

В предыдущей публикации мы подробно рассмотрели процесс сбора данных при помощи специализированного инструмента Flume. Но чтобы полноценно работать с информацией, мало ее просто собрать и сохранить: ее нужно обработать и извлечь из нее нечто нужное и полезное.

Для обработки данных в Hadoop используется технология MapReduce.
Читать далее

Hadoop, часть 2: сбор данных через Flume

Hadoop

В предыдущей публикации мы подробно рассмотрели процесс развертывания кластера Hadoop на базе Cloudera. В этой статье мы хотели бы подробно рассказать о методах и инструментах для сбора данных в Hadoop. Загрузить данные в систему можно как с помощью простого копирования в HDFS, так и с помощью специальных инструментов.
Читать далее

Hadoop, часть 1: развертывание кластера

hadoop

Непрерывный рост данных и увеличение скорости их генерации порождают проблему их обработки и хранения. Неудивительно, что тема «больших данных» (Big Data) является одной из самых обсуждаемых в современном ИТ-сообществе.

Материалов по теории «больших данных» в специализированных журналах и на сайтах сегодня публикуется довольно много. Но из теоретических публикаций далеко не всегда ясно, как можно использовать соответствующие технологии для решения конкретных практических задач.
Читать далее