Highlighter

четверг, 19 апреля 2012 г.

Готовим NFS в домашних условиях

Получилось так, что у меня есть ноутбук с довольно современным железом и приличным винтом, и которым я совершенно не пользуюсь.
Чтобы ноут не простаивал, было принято волевое решение поставить туда генту без иксов и без всякого мусора и получить бесшумную и энергоэффективную торрентокачалку. В будущем поставлю туда nagios, настрою музыку при проблемах и смогу немножко поспать во время ночных дежурств :)

К сожалению, мой роутер не умеет DNS, поэтому имена серверов пришлось проприсывать в /etc/hosts. Соответственно, у меня сейчас два домашних сервера: torrents и media. Так как на обоих серверах стоит Gentoo, то я решил сделать им общий /usr/portage, чтобы по десять раз не качать одно и то же. Ну, и какой-нибудь /media/disk на 650 ГБайт, чтобы доступ был откуда нужно.

Как оказалось, настройка NFS элементарна:
  • Нужно проверить, что в ядре включена поддержка
  • Нужно на сервере указать, кто может получать доступ и к чему
  • Нужно на клиенте примонтировать разделы
Это не считая того, что можно вообще корень держать на сетевой шаре. Или иметь общий /usr на NFS. Правда в таком случае придётся делать initramfs, ибо сейчас идёт интеграция с новым udev и systemd.

Итак, укажем на сервере, что экспортировать. Для этого есть файл /etc/exports

# /etc/exports: NFS file systems being exported.  See exports(5).
/usr/portage 192.168.2.254(async,rw,no_subtree_check)
/media/disk 192.168.2.1/24(ro,no_subtree_check)
/media/disk 192.168.2.254(rw,no_subtree_check)

Получается что к /usr/portage и /media/disk будет иметь полный доступ 192.168.2.254. А 192.168.2.1-192.168.2.254 будут спобны только читать /media/disk. Также можно использовать имя сервера вместо IP. То есть у меня прописано так:

/usr/portage media(async,rw,no_subtree_check)

И сервер media сможет получить доступ к шаре (в данном случае имя прописано в /etc/hosts).
Список опций, что указаны в скобках можно получить тут.

Теперь осталось прописать монтирование. Делается это банально - в fstab добавляется строчка вроде следующей:

torrents:/usr/portage           /usr/portage    nfs             defaults        0       0

после этого добавляем nfsmount в автозапуск на клиенте, nfs на сервере и радуемся.

Но и это ещё не всё. В Windows, начиная с 7 появилась возможность монтирования NFS-шар. Для этого нужно доустановить Services for NFS и можно монтировать раздел.

mount \\torrents\media\disk z:

И иметь доступ к файлам.
 

вторник, 10 апреля 2012 г.

Собираем RPM пакет в CentOS

Ставить из исходников в бинарном дистрибутиве при помощи make install как-то неправильно. Это очень успешно засоряет систему и мешает обновлениям. Поэтому будем разбираться, как собрать пакет в CentOS.

Если у вас не подключен репозиторий EPEL, то придётся это сделать путём установки этого пакета. После этого нужно установить инструменты для сборки

yum install -y rpmdevtools

Ну и естественно, то что требуется для сборки конкретного пакета (make, gcc и прочее).
Теперь создадим пользователя, чтобы не делать потенциально опасные операции под рутом и залогинимся под ним.

useradd rpmbuild
su - rpmbuild
cd

Теперь нужно создать структуру каталогов для сборки.

rpmdev-setuptree

Идём в папку SOURCE и качаем туда приложение, которое будем собирать. В моём случае это pgpool-II. Выдернем из архива pgpool.spec - это файл, где и описана сборка rpm-пакета. Вот его и будем использовать. Посмотрев в него, видно, что он слегка неактуален, поэтому будем исправлять, структура простая.

Сначала идёт заголовок, поля которого говорят сами за себя, тут нам достаточно прописать нужную версию (у нас 3.1). Ещё хочется обратить внимание на то, что можно указывать на несколько исходных файлов и патчей и на то, как это делается. Так как они описаны в этих полях, то их тоже нужно достать из архива и положить в папку SOURCE.
Ссылки на пути даются в виде переменных, например, ссылка на скачивание выглядит так:
Source0:    http://pgfoundry.org/frs/download.php/2423/%{name}-%{version}.tar.gz
Соответственно, тут %{name} = pgpool-II, а %{version} = 3.1 и ссылка получается http://pgfoundry.org/frs/download.php/2423/pgpool-II-3.1.tar.gz

Далее идёт описание, сборка и установка. О том, какие разделы есть, можно почитать в интернете, например тут. Также стоит обратить внимание, что есть секции devel - в них описаны параметры сборки -devel пакета, как можно догадаться.

Теперь попытаемся собрать пакет

rpmbuild -bb pgpool.spec

Затем установим зависимости и опять попытаемся собрать. Затем закомментируем патч (который изменяет настройки по-умолчанию - всё равно будем под себя настраивать) и опять попытаемся собрать. Затем добавим новые появившиеся файлы в секцию %files и наконец-то всё соберётся. Как видите, ничего особо сложного - главное читать, на что ругнётся rpmbuild. В результате у нас получилось два пакета: pgpool-II-3.1-3.el6.x86_64.rpm  pgpool-II-devel-3.1-3.el6.x86_64.rpm, которые можно устанавливать и использовать.

Теперь давайте попробуем написать минимальный spec с нуля. Соберём пакет c uwsgi. Его сборка представляет собой просто выполнение команды make. К сожалению, ни spec, ни даже make install они не предоставляют. Поэтому будем делать всё руками. К счастью, vim при создании нового spec-файла подставил заготовку с пустыми полями.

Вот, что у меня вышло:

Name:        uwsgi
Version:    0.9.9.2
Release:    1%{?dist}
Summary:    uWSGI application server

License:    GPL
URL:        http://projects.unbit.it/uwsgi
Source0:    http://projects.unbit.it/downloads/%{name}-%{version}.tar.gz
BuildRoot:    %(mktemp -ud %{_tmppath}/%{name}-%{version}-%{release}-XXXXXX)

# Всё, кроме chrpath взято из их гайда по сборке
BuildRequires:    libxml2-devel python-devel chrpath
Requires:    libxml2

%description
uWSGI is a fast, self-healing and developer/sysadmin-friendly application container server coded in pure C.

%prep
%setup -q

%build
make %{?_smp_mflags}

%install
# следующие две строчки - костыль, так как по умолчанию папки /usr/bin и /etc будут
install -d $RPM_BUILD_ROOT%{_bindir}
install -d $RPM_BUILD_ROOT%{_sysconfdir}

# Устанавливаем файлы uwsgi и uwsgi.xml в /usr/bin и /etc соответственно.
install %{name} $RPM_BUILD_ROOT%{_bindir}
install uwsgi.xml $RPM_BUILD_ROOT%{_sysconfdir}

# А вот это довольно важная команда. При линковке uwsgi были жёстко прописаны пути
# к библиотекам, что плохо, так как нужно пользоваться динамическим линкером.
# Поэтому это безобразие нужно убрать, для чего используется следующая команда.
# Подробней можно почитать тут.
chrpath --delete $RPM_BUILD_ROOT%{_bindir}/%{name}

%clean
rm -rf $RPM_BUILD_ROOT

%files
%defattr(-,root,root,-)
%doc
%{_bindir}/%{name}
%{_sysconfdir}/uwsgi.xml


Думаю, этого достаточно, чтобы разобраться и попробовать самому. Самое главное - установка, обновление и удаление будут происходить намного безопасней.

среда, 4 апреля 2012 г.

Linux ate my RAM.

Господа.
К сожалению, многие толковые люди не умеют пользоваться командой free.

$ free -m
             total       used       free     shared    buffers     cached
Mem:          1504       1491         13          0         91        764
-/+ buffers/cache:        635        869
Swap:         2047          6       2041

Так вот, количество свободной памяти нужно смотреть во второй строке.
В первой строке знаечение не учитывает, что буферы и кеши могут освобождать память, если программа затребует больше памяти. То есть для программы свободно 869 Мбайт в данном примере.

И хорошая ссылка напоследок: http://www.linuxatemyram.com/

Как работает OOM Killer

Когда приложение пытается сделать memory allocation, а доступная память закончилась, в linux запускается процесс OOM Killer. Как можно понять из названия, он создан для того, чтобы УБИВАТЬ!11.

Но, естественно, убивает он не всё подряд, а подчиняясь определённым правилам:
  • Мы должны потерять минимум работы
  • Мы должны освободить много памяти
  • Мы не должны убивать невиновных в пожирании большого количества памяти
  • Мы хотим убить как можно меньше процессов (в идеале - один)
  • Результат работы должен быть предсказуемым
Далее идёт подсчёт очков виновности процессов и процессы (или потоки), набравшие больше всего баллов, жестоко убиваются.

Вот так идёт подсчёт очков:
  1. Считаем RSS процесса
  2. Добавляем RSS всех дочерних процессов
  3. Если процесс долго живёт, то значение уменьшается
  4. Если у процесса niceness больше 0, то значение увеличивается.
  5. Если есть флаги CAP_SYS_ADMIN или CAP_SYS_RAWIO, результат уменьшается
  6. Смотрится знаечение /proc/<pid>/oom_adj, которое может задавать пользователь, чтобы повышаться сопротивляемость OOM Killer'у. Вроде как это уже deprecated и нужно использовать oomscore_adj.
Естественно, это не точный алгоритм, цель написанного - дать представление, от чего зависит выбор кандидата на убийство