Оглавление:

1. Что такое Apache NiFi .

2. Установка и настройка Apache NiFi.


Что такое Apache NiFi

Apache NiFi - это визуальная среда разработки, предназначенная для передачи и обработки данных.

Название NiFi происходит от «Niagara Files». Проект в течение восьми лет разрабатывался агентством национальной безопасности США, а в ноябре 2014 года его исходный код был открыт и передан Apache Software Foundation в рамках программы по передаче технологий (NSA Technology Transfer Program).

NiFi — мощный инструмент, который умеет работать с большим количеством источников данных. Вы можете получать данные из Интернета по HTTP (есть даже отдельный модуль для работы с Твиттером) или FTP, можно читать данные из локальных и даже распределенных (HDFS) каталогов или баз данных. Полученные данные можно обрабатывать, модифицировать, есть даже свой встроенный язык (Expression Language). Затем данные можно сохранить либо в файл, либо распределенное хранилище, либо базу данных. Особенно радует поддержка большого числа различных технологий и протоколов передачи и хранения данных: HDFS, Hive, HBase, Solr, Cassandra, MongoDB, ElastcSearch, Kafka, RabbitMQ, HTTPS, SFTP и другие.

Так же важной особенностью NiFi является кросплатформенность, он одинаково удобно устанавливается и работает в Windows и Linux системах.


Установка и настройка Apache NiFi.

Установка NiFi предельно проста. Сначала качаем нужную версию с официального сайта, на данный момент это файл nifi-1.11.4-bin.tar.gz. У меня уже установлена версия 1.9.0, поэтому далее в статье я буду оперировать командами под эту версию. Архив большой (1.2 ГБ), поэтому придется подождать.

После успешной загрузки файла его необходимо распаковать в необходимую директорию, у меня это /usr/local. На этом установка завершена, следует отметить, что для Windows абсолютно такая же последовательность действий, только качать удобнее архив zip.

Для работы в NiFi применяется web-интерфейс, доступный по адресу: http://Адрес_сервера:8080/nifi

Адрес_сервера - это на локальном компьютере localhost, на удаленном - IP или DNS-адрес удаленной машины.

8080 - порт, настроен по умолчанию.

У меня уже этот порт занят, поэтому изменим его. Для этого нужно войти в каталог conf в установочной директории NiFi:

cd /usr/local/nifi-1.9.0/conf

И отредактировать файл nifi.properties

sudo gedit nifi.properties

Далее в редакторе найти строку nifi.web.http.port и присвоить необходимое значение, у меня 1111.

Теперь все готово к запуску. В Linux это делается командой:


sudo /usr/local/nifi-1.9.0/bin/nifi.sh start


Для Windows в каталоге bin запустить двойным щелчком run-nifi.bat/

Запускается NiFi долго, несколько минут. Для работы необходимо запустить браузер, и набрать в адресной строке строку, указанную выше. Для моего примера так: http://Адрес_сервера:1111/nifi

Если все успешно прошло, вы увидите рабочую область, все готово к работе, но об этом поговорим далее.

Комментарии

Комментировать могуть только зарегистрированные пользователи

Мы в социальных сетях
Перевести страницу (translate page)
Реклама