Centralize Loggining with Kibana/Logstash/Elasticsearch

Я раніше писав про установку та налаштування серверу централізованого збору логів в основі якого лежав Rsyslog з бекендом LogAnalyzer, та сервер із Syslog-ng. Основним недоліком LogAnalyzer є відсталість його інтерфейсу. Тому якщо цей недолік для вас є основним - раджу спробувати Kibana/Logstash зі зберіганням данних в Elasticsearch.

Kibana/Logstash не є вузькоспеціалізованим продуктом, що призначений лише для збирання логів програм. За його допомогою можна також візуалізувати власні дані за допомогою різноманітних графіків та діаграм, наприклад, статистику використання браузерів чи найбільш популярні сторінки власного сайту та ін.

Спочатку розберемось щодо складових частин серверу збору логів та їхнього призначення.

Logstash читає логи або отримує їх від клієнтів за допомогою Logstash-forwarder, розбирає їх по полям відповідними драйверами та записує їх до Elasticsearch, потім, за допомогою Kibana, можна переглядати логи і будувати різноманітні діаграми чи графіки.

Дистрибутив, що я буду використовувати - Ubuntu 14.04. Навіть для тестів краще брати машину як мінімум із 2 ГБ RAM та 2 CPU.

Почнемо з установки серверної частини. Logstash та Elasticsearch потребують Java 7 для роботи, для чого підійде як Oracle Java 7, так і OpenJDK.

# add-apt-repository -y ppa:webupd8team/java
# apt-get update
# apt-get -y install oracle-java7-installer

Для production середовища, можливо, краще скористатись джавою що надає Oracle на власному сайті та зібрати власний пакет:

# apt-get install java-package

# wget http://download.oracle.com/otn-pub/java/jdk/7u75-b13/server-jre-7u75-linux-x64.tar.gz?AuthParam=1423217016_530b51c9d6c77e8237c6a2f2288d7657 -O jre-7u75-linux-x64.tar.gz

# make-jpkg jre-7u75-linux-x64.tar.gz

# dpkg -i oracle-j2re1.7_1.7.0+update75_amd64.deb

# update-alternatives --auto java

Mailserver with Postfix and Dovecot on Debian 7

Мабуть у вас колись виникало бажання створити свій власний мейл-сервер із купую можливостей та гарним доменним іменем. Тому, можливо, ця стаття - для вас.

Буде встановлено та налаштовано:

Postfix - агент передачі пошти (MTA - mail transfer agent), відправляє та доставляє електронні листи. SMTP-сервер.

Dovecot - агент доставки пошти (MDA - mail delivery agent),  реалізує доступ до пошти. IMAP і POP3-сервер.

SpamAssassin - спам-фільтр, написаний на Perl. Працює із Postfix за допомогою демону spamass-milter.

ClamAV - антивірус. Підключається до SMTP-сервера через clamav-milter. Сканер листів на віруси.

Graylist - базовий спам-фільтр. Спосіб автоматичного блокування спаму, заснований на тому, що «поведінка» програмного забезпечення, призначеного для розсилки спаму, відрізняється від поведінки звичайних серверів електронної пошти. Якщо поштовий сервер одержувача відмовляється прийняти лист і повідомляє про «тимчасової помилку», сервер відправника зобов'язаний пізніше повторити спробу. Спамерське програмне забезпечення в таких випадках, зазвичай, не намагається цього робити.

AlterMIME - невелика програма, яка використовується для зміни mime-частин поштових вкладень (може додавати описи, видаляти при певних умовах вкладення чи їх заміняти). За допомогою AlterMIME ми будемо додавати до листів автоматичний підпис.

Vacation - скрипт для управліннями попередженнями щодо відпустки/відсутності на роботі. Його робота, установка попереджень про відсутність на робочому місці чи редагування повідомлення, буде керуватись через Postfix Admin.

Sieve/ManageSieve - мова опису правил фільтрації пошти, Sieve працює на стороні сервера і розкладає пошту в залежності від логіки, що задає користувач.

Postfix Admin - веб-панель адміністрування поштових скриньок.

RoundCube + plugins - поштовий веб-клієнт зі зручним інтерфейсом та деякі плагіни для нього.

Установка Redmine (Nginx у якості frontend)

Відносно нещодавно я писав як установити систему управління проектами та відстежування помилок Atlassian Jira. Проте ймовірно вона влаштовує не всіх, адже як кожна річ вона має свої недоліки та і ліцензія на цей програмний продукт коштує зовсім не дешево. Тому як альтернативу я пропоную Redmine, open source рішення на ruby, що є повністю безкоштовним і розповсюджується під ліцензією GPL v2. Варто також зауважити, що Redmine має клієнти під ОС Android та Iphone.

У цій статті піде мова про установку системи управління проектами та відстежування помилок Redmine, що працюватиме під ОС Ubuntu 13.04, у якості веб-серверу будемо використовувати Nginx та Thin (веб-сервер для Ruby).

Почнемо із установки Redmine. Сирці можна скачати багатьма способами: через Git/SVN/Mercurial репозиторій, чи просто як tar.gz чи zip-архів із RubyForge. Подробиці тут http://www.redmine.org/projects/redmine/wiki/Download.

1. Скачаємо Redmine і розпакуємо:

# wget http://rubyforge.org/frs/download.php/77138/redmine-2.3.3.tar.gz
# tar xvfz redmine-2.3.3.tar.gz
# mv redmine-2.3.3 /var/www/

2. У якості бази даних будемо користуватись MySQL. Установлюємо його та переходимо до створення користувача і самої бази:

mysql> CREATE DATABASE redmine CHARACTER SET utf8;
mysql> GRANT ALL PRIVILEGES ON redmine.* TO 'redmine'@'localhost' IDENTIFIED BY 'my_password';

Налаштування Puppet

Рано чи пізно мережева інфраструктура розшириться і налаштування кожної системи власноруч забиратиме дуже багато часу. У такому випадку хтось починає писати скрипти, а хтось - задумується про використання систем управління конфігураціями. Про другий варіант надалі і піде мова.

Puppet - кроссплатформове клієнт-серверне програмне забезпечення, котре дозволяє централізовано керувати конфігурацією операційних систем та програм, встановлених на групі серверів. Puppet написаний на мові програмування Ruby.

Puppet має клієнт-серверну архітектуру: puppet master (сервер) та puppet agent (клієнт):

Агент з певною частотою запитує дані в Puppet master. Сервер перевіряє адресу агента і, враховуючи конфіги (наявні маніфести, класи), надсилає необхідні запити на агент. Агент, в свою чергу, виконує перевірку стану ресурсів (права на файли, наявність пацюючого сервісу і т.д.) і змінює їх, якщо це необхідно, тобто слідує за правилами, котрі описано в маніфестах Puppetmaster.

Nginx as reverse proxy for Apache

Усім відомо, що Apache є стандартом де-факто для веб-серверів. Розробники деяких CMS взагалі рекомендують користуватись саме Apache, і для налаштування їх під інший веб-сервер іноді необхідно попотіти. Але також ні для кого не є секретом, що Apache - важкий і ресурсоємкий сервер і на великих проектах від себе показує, м'яко кажучи, не дуже.

Тож одним із самих швидких варіантів оптимізації буде використання веб-серверу Nginx, як фронтенду до Apache. Тобто Nginx буде обробляти всю статику (запити на картинки, джаваскрипти, css і тд), а у випадку якщо відбудеться запит на php-скрипт чи щось таке (динамічний контент) - запит буде відправлено на обробку нашому "жирному" другу Apache-у.

Як показує практика такий варіант значно (!) економить ресурси серверу, адже запущених дочірніх процесів apache буде менше, з левовою часткою запитів буде справлятись Nginx.

Перейдемо до конфігурації.

1) Встановлюємо Apache (чи щось інше що буде у вас бекендом) та nginx з усіма запропонованими залежностями.

2) Конфігуруємо Nginx, щоб він слухав стандартний 80-порт і віддавав всю статику напряму, якщо буде запрошено динамічний контент  - запит буде відсилано Apache-y.

cat /etc/nginx/nginx.conf

# Використовуємо користувача від якого працює сервер Apache

user www-data;

# Кількість дочірніх процесів, обирають за к-тю ядер CPU

worker_processes 4;

worker_rlimit_nofile 8192;

# Місцезнаходження логу помилок і pid-файлу

error_log /var/log/nginx/error.log;

pid /var/run/nginx.pid;

events {

  worker_connections 1024;

  use epoll;

  accept_mutex off;

}

http {

  server_names_hash_bucket_size 64;

  include /etc/nginx/mime.types;

  default_type application/octet-stream;

  access_log /var/log/nginx/access.log;

  sendfile on;

  tcp_nopush on;

  keepalive_timeout 65;

  # Опції reverse proxy

  proxy_redirect off;

  proxy_set_header Host $host;

  proxy_set_header X-Real-IP $remote_addr;

  proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

  # Опції gzip компресії.

  gzip on;

  gzip_http_version 1.0;

  gzip_comp_level 6;

  gzip_min_length 0;

  gzip_buffers 16 8k;

  gzip_proxied any;

  gzip_types text/plain text/css text/xml text/javascript application/xml application/xml+rss application/javascript application/json;

  gzip_disable "MSIE [1-6]\.";

  gzip_vary on;

  # Включення додаткових конфігураційних файлів

  include /etc/nginx/sites-enabled/*.conf;

}