Суть данного решения

Решение проблемы:

1. Грузим инсталятор с флехи
2. Практический в любой момент жмем shift+f10, попадаем в командную строку
3. Запускаем diskpart.exe (что писать в командной строке дальше пишу жирным)
4. В этой программе выполняем следующие действия:
   1. select disk=0. Подразумевается, что диск 0 это то, куда Вы ставите винду и там нет ничего полезного. Иначе 10 раз подумайте и почитайте справку по утилите diskpart.
   2. create partition primary size=xxx, где ххх это не залить раздел картинками с голыми тётями, а размер будущего диска С, куда Вы будете ставить ОС.
   3. select partition=1
   4. active (сделали раздел активным)
   5. format fs=ntfs quick (быстрое форматирование в NTFS)
   6. assign. Сделали на винте диск, подключили его и готовы с ним дальше работать
   7. exit, вышли из программы diskpart.
5. Идем на флешку (привод), где у нас дистрибутив винды. В моем случае это “cd d:“.
6. Копируем все, что там есть, на наш краснознаменный диск С:. xcopy d: c: /e /h /k
7. Идем в подкаталог boot дистрибутива винды. cd boot
8. Используем утилиту bootsect для создания загрузочного кода на диске С, так: bootsect /nt60 c:. Что мы сделали? Мы сделали… мнэ… инсталяционный жесткий диск с Windows.
9. Вытаскивает флешку и ребутим комп. Ставим винду. С диска С: на диск С:. Потом дистрибутивные файлы можно будет потереть.
10. После установки уберем лишний пункт с меню загрузки (Windows Setup)
    1. Запускаем cmd.exe от имени администратора
    2. Смотрим список пунктов меню загрузки bcdedit
    3. Находим Windows Setup и копируем его identifier
    4. Запускаем bcdedit /delete {identifier}

Готово. Приятного использования!

Итак, какие логи ведёт MySQL?
Это:
1. бинарный лог (binary log)
2. лог ошибок (error log)
3. лог медленный запросов (slow query log)
4. лог запросов (general query log)
5. лог репликаций (relay log)

Каждый из них по-своему полезен.

Бинарный лог

В первую очередь полезен с точки зрения репликаций. Можно его бэкапить, можно использовать для восстановления данных на более точное время при использовании бэкапов. Лог содержит все команды изменений базы данных, выборки (select, show) не сохраняет, для таблиц, поддерживающих транзакции (BDB, InnoDB) запись в лог выполняется только после выполнения команды COMMIT. Для лога можно указывать список баз данных, которые надо логировать и список баз данных, которые не надо логировать. В более ранних версиях вместо бинарного лога использовался лог обновлений. Использование бинарного лога снижает производительность базы данных, однако его польза настолько велика, что крайне не рекомендуется его отключать. Рекомендуется защищать бинарный лог паролем, так как он может данные также о паролях пользователей. При достижении максимально разрешённого размера (1 гиг по умолчанию) создаётся следующий файл. Каждый новый файл имеет порядковый номер после имени.

Содержание бинарного лога можно посмотреть с помощью утилиты mysqlbinlog.

Основные настройки в my.cnf

Местоположение лога:
log_bin = /var/log/mysql/mysql-bin.log

Максимальный размер, минимум 4096 байт, по умолчанию 1073741824 байт (1 гигабайт):
max_binlog_size= 500M

Сколько дней хранится:
expire_logs_days = 3

Наиболее часто использующиеся команды

Повторение действий после операции восстановления:
shell> mysqlbinlog log_file | mysql -h server_name

Удаление логов до определённого файла:
PURGE BINARY LOGS TO ‘mysql-bin.000′;

Удаление логов до определённой даты:
PURGE BINARY LOGS BEFORE ‘YYYY-MM-DD hh:mm:ss';

Лог ошибок

Особенно полезен в случаях сбоев. Лог содержит информацию об остановках, запусках сервера, а также сообщения о критических ошибках. Может содержать сообщения с предупреждениями (warnings).

Основные настройки в my.cnf

Местоположение лога:
log_error = /var/log/mysql/mysql.err

Флаг, указывающий стоит ли записывать в лог в том числе предупреждения (записываются, если значение больше нуля):
log_warnings = 1

Наиболее часто использующиеся команды

Переход к новому файл лога:
shell> mysqladmin flush-logs

Копирование старой части лога (необходимо, так как в случае повторного выполнения fluch он будет удалён):
shell> mv host_name.err-old backup-directory

Лог медленных запросов

Если есть подозрение, что приложение работает медленно из-за неэффективных запросов к базе, то в первую очередь следует проверить лог медленных запросов. В случае оптимизации запросов этот лог поможет выяснить, что необходимо оптимизировать в первую очередь.

Основные настройки в my.cnf

Местоположение лога:
log_slow_queries = /var/log/mysql/mysql_slow.log

Со скольки секунд выполнения запрос считается медленным, минимальное значений — 1 секунда, по умолчанию 10 секунд:
long_query_time = 10

Если надо логировать запросы, которые не используют индексы, надо добавить строку:
log-queries-not-using-indexes

Если надо вести лог медленных команд, таких как OPTIMIZE TABLE, ANALYZE TABLE и ALTER TABLE:
log-slow-admin-statements

Лог всех запросов

Лог содержит информацию о подключениях и отключениях клиентов, а также все SQL запросы, которые были получены. Фактически, это временный лог. Обычно лог удаляется автоматически сразу после выполнения всех команд (т.е. как только он стал ненужным). Лог ведётся в соответствии с очередность поступления запросов. Этот лог содержит все запросы к базе данных (независимо от приложений и пользователей). Так что если есть желание (или необходимость) проанализировать, какие необходимы индексы, какие запросы могли бы оптимизированы, то этот лог как раз может помочь в таких целях. Лог полезен не только для случаев, когда необходимо знать, какие запросы выполняются с базой данных, но и в случаях, когда ясно, что возникла ошибка с базой данных, но неизвестно, какой запрос был отправлен к базе данных (например, в случае генерации динамического SQL-а). Рекомендуется защищать лог запросов паролем, так как он может данные также о паролях пользователей.

Основные настройки в my.cnf

Местоположение лога:
log = /var/log/mysql/mysql.log

Наиболее часто использующиеся команды

В отличии от других логов, перезагрузка сервера и команда fluch не инициирует создание нового лога. Но это можно сделать вручную:
shell> mv host_name.log host_name-old.log
shell> mysqladmin flush-logs
shell> mv host_name-old.log backup-directory

Лог репликаций

Здесь логируются изменения, выполненные по инициации сервера репликаций. Как и бинарный лог, состоит из файлов, каждый из которых пронумерован.

Основные настройки в my.cnf

Местоположение лога:
relay-log = /var/log/mysql/mysql-relay-bin.log

Максимальный размер:
max_relay_log_size = 500М

Наиболее часто использующиеся команды

Начать новый файл лога можно только при остановленном дополнительном (slave) сервере:
shell> cat new_relay_log_name.index >> old_relay_log_name.index
shell> mv old_relay_log_name.index new_relay_log_name.index

Команда flush logs инициирует ротацию лога.

log_format main ‘$remote_addr — $remote_user [$time_local] «$host» «$request» ‘
‘$status $body_bytes_sent «$http_referer» ‘
‘»$http_user_agent» «$http_x_forwarded_for» -> $upstream_response_time';

Что на выходе дает что-то вроде такой строки:

188.142.8.61 — — [14/Sep/2014:22:51:03 +0400] «www.mysite.ru» «GET / HTTP/1.1» 200 519 «6wwro6rq35muk.ru/» «Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.191602; .NET CLR 3.5.191602; .NET CLR 3.0.191602» «-» -> 0.003

1. tail -f /var/log/nginx/nginx.access.log | cut -d ‘ ‘ -f 1 | logtop

Позволяет получить общую картину: распределение уникальных IP, с которых идут запросы, кол-во запросов с одного IP и т.д.
Самое ценное — что все это работает в режиме реального времени и можно мониторить ситуацию, внося какие-либо изменения в конфигурацию (например просто забанить ТОП 20 самых активных IP через iptables или временно ограничить географию запросов в nginx через GeoIP http://nginx.org/ru/docs/http/ngx_http_geoip_module.html).

Покажет (и будет обновляться в режиме реального времени) что-то вроде:

3199 elements in 27 seconds (118.48 elements/s)
1 337 12.48/s 95.65.66.183
2 308 11.41/s 122.29.177.10
3 304 11.26/s 122.18.251.54
4 284 10.52/s 92.98.80.164
5 275 10.19/s 188.239.14.134
6 275 10.19/s 201.87.32.17
7 270 10.00/s 112.185.132.118
8 230 8.52/s 200.77.195.44
9 182 6.74/s 177.35.100.49
10 172 6.37/s 177.34.181.245

Где в данном случае колонки означают:

• 1 — порядковый номер
• 2 — количество запросов с данного IP
• 3 — количество запросов в секунду с данного IP
• 4 — собственно сам IP

Вверху показывается суммарная статистика по всем запросам

В данном случае мы видим, что с IP 95.65.66.183 идет 12,48 запросов/секунду и за последние 27 секунд было сделано 337 запросов. По остальным строкам аналогично.

Разберем по частям:
tail -f /var/log/nginx/nginx.access.log — в непрерывном режиме считываем конец лог-файла

cut -d ‘ ‘ -f 1 — разделяем строку на «подстроки» разделителем, указанным в флаге -d. (в данном примере указан пробел).
Флаг -f 1 — показываем только поле с порядковым номером «1» (в данном случае это поле будет содержать IP, с которого идет запрос)

logtop — считает количество одинаковых строк (в данном случае IP), сортирует их в порядке убывания и выводит списком, попутно добавляя статистику (в Debian ставится через aptitude из стандартного репозитория).

2. grep «&key=» /var/log/nginx/nginx.access.log | cut -d ‘ ‘ -f 1 | sort | uniq -c | sort -n | tail -n 30 — покажет распределение какой-либо строки по IP в логе.

В моем случае мне нужно было собрать статистику как часто один IP использует в запросе параметр &key=….

Покажет что-то вроде такого:

31 66.249.69.246
47 66.249.69.15
51 66.249.69.46
53 66.249.69.30
803 66.249.64.33
822 66.249.64.25
912 66.249.64.29
1856 66.249.64.90
1867 66.249.64.82
1878 66.249.64.86

• 1 — число вхождений строки (в данном случае IP)
• 2 — собственно сам IP

В данном случае мы видим, что с IP 66.249.64.86 суммарно пришло 1878 запросов (и потом, если посмотрим в Whois — увидим что этот IP принадлежит Google и не является «зловредным»)

Разберем по частям:

grep «&key=» /var/log/nginx/nginx.access.log — находим все строки в логе, содержащие подстроку «&key=» (не важно в какой части строки)
cut -d ‘ ‘ -f 1 — (см. предыдущий пример), выведем IP
sort — отсортируем строки (нужно для корректной работы следующей команды)
uniq -c — покажем уникальные строки + подсчитаем количествово вхождений этих строк (флаг -с)
sort -n — отсортируем используя числовой режим сортировки (флаг -n)
tail -n 30 — выведем 30 строк с наибольшим количеством вхождений (флаг -n 30, можно указать произвольное число строк)

Все запросы выше приведены для Debian или Ubuntu, но думаю в других Linux дистрибутивах команды будут иметь похожий вид.

Моя подборка, лет 5 назад откуда-то скопировал, часто выручают и логи не требуются:

Cколько коннектов на 80 порт: netstat -na | grep «:80\ » | wc -l
На какой домен чаще всего идут запросы: tcpdump -npi eth0 port domain
С какого ip сколько запросов netstat -ntu | awk ‘{print $5}’| cut -d: -f1 | sort | uniq -c | sort -nr | more
Нагрузка на канал ftop -i eth0 -B

Использование Netstat для определения DoS/DDoS.

Отображение количества подключений на каждый IP-адрес в состоянии ESTABLISHED
netstat -naltp | grep ESTABLISHED | awk ‘{print $5}’ | awk -F: ‘{print $1}’ | sort -n | uniq -c
или
netstat -nalpt | grep ESTABLISHED | awk ‘{print $5}’ | cut -d: -f1| sort | uniq -c | sort -rn

Отобразить все активные Интернет-подключения на 80 порт сервера с их сортировкой
Полезно для определения большого количества запросов с одного IP-адреса(DoS)
netstat -na | grep :80 | sort

Подсчет количества подключений с каждого Ip-адреса на 80-порт сервера.
netstat -npla | grep :80 | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort –rn

Определение количества запросов на соединение было получено из сети.

Число должно быть достаточно низким(менее 5).Во время DoS/DDoS-атаки такое количество может иметь высокое значение.Однако значение всегда зависит от системы(высокое значение на одном сервере может быть средним на другом)
netstat -np | grep SYN_RECV | wc –l

Список всех IP-адресов, с которых поступают соединения со статусом SYN_RECV
netstat -np | grep SYN_RECV | awk ‘{print $5}’ | awk -F: ‘{print $1}’

Подсчет количества подключений с каждого IP-адреса
netstat -ntu | awk ‘{print $5}’ | cut -d: -f1 | sort | uniq -c | sort –rn

Подсчет количества подключений с каждого IP-адреса по протоколу TCP или UDP.
netstat -nap | grep ‘tcp\|udp’ | awk ‘{print $5}’ | cut -d: -f1| sort | uniq -c | sort –rn

Процессоры и оперативная память сервера 1C:
В организациях небольшого размера с количеством пользователей в системе не более семи человек база данных, как правило, невелика (обычно не более 1ГБ) и платформа 1С:Предприятие работает на пользовательском компьютере в файловом режиме. Для решения таких задач применяются классические файл-серверы. В таком случае можно порекомендовать установку процессоров Intel Xeon E3-12xx, в случае сильно ограниченного бюджета можно обойтись даже Intel Core i3. Объем оперативной памяти необходимо установить из расчета 4 ГБ на нужды операционной системы и 4 ГБ для системного файлового кэша.
При количестве пользователей от 7 до 25 размер базы данных больше, обычно до 4ГБ. В таком случае с нагрузкой могут справиться четырехъядерный процессор Intel Xeon E3-12xx или AMD Opteron 4хх. В случае такого количества пользователей объем оперативной памяти также должен быть более 4ГБ для работы операционной системы, от 2 до 8 ГБ для работы «1С: Предприятие 8.2 Сервер приложений» и столько же для кэша MS SQL Server. При этом следует помнить, что для баз данных небольшого объема лучше кэшировать не часть базы данных, а весь объем.
Таким образом, для одновременного обслуживания от 7 до 25 пользователей в системе рекомендуется около 16-24 ГБ оперативной памяти. Известно, что иногда при выгрузке операционной системой «1С:Предприятие 8.2. Сервер приложений» на жесткий диск в файл подкачки, может быть потерян отклик. Поэтому по возможности следует иметь запас свободного места в оперативной памяти.
Этим требованиям отвечают стоечные серверы HP Proliant DL320e, DELL PowerEdge R320, DELL R420, IBM System x3250 M4, Fujitsu Primergy RX100 и Primergy RX200. В напольном (tower) исполнении это серверы: HP Proliant ML310e, ML350e, DELL PowerEdge T110, DELL T420, IBM System x3200 M4.
В более крупных организациях для доступа к приложению используется терминальный режим (режим удаленного доступа Remote Desktop). Обычно при количестве пользователей от 10 до 100 с базой данных объемом от 1 ГБ и выше сервер приложений 1С:Предприятие 8.2 и пользовательская часть работают на одном и том же сервере.
Рассмотрим, какие процессорные решения подходят для обслуживания таких задач. В силу внутренней архитектуры процессоров одно физическое ядро способно эффективно обслуживать около 8-12 потоков пользовательских терминальных сессий. Из практики известно, что для работы с 1С:Предприятие в режиме Remote Desktop серверные процессоры с низкими частотами из младших линеек малопригодны. В случае небольшого числа пользователей (до 20) будет достаточно четырехъядерного процессора из серии Intel Xeon E3-12xx. При этом распределение нагрузки будет выглядеть следующим образом: два ядра для нужд операционной системы и терминальных пользователей, одно ядро для «1С: Предприятие 8.2 Сервер приложений» и одно ядро для обслуживания SQL Server. В случае, если пользователей больше 20, либо если объем базы данных составляет более 4 ГБ, придется рассмотреть двухпроцессорные системы на базе Intel Xeon E5-26xx или AMD Opteron 62xx.
При расчете требуемого объема памяти следует учесть, что 4ГБ будут использоваться операционной системой, еще 4 ГБ и более – в качестве кэша MS SQL Server, и от 2 до 8 ГБ — для обслуживания «1С: Предприятие 8.2 Сервер приложений». При этом еще необходима память для работы терминальных сессий.
В зависимости от конфигурации в приложениях «Бухгалтерский учет» и «Торговля и склад» для работы одного терминального пользователя необходимо от 200 до 240 МБ, в приложениях «Зарплата и Управление персоналом» и «Управление торговым предприятием» — от 240 до 320 МБ, в приложении «Управление предприятием» до 480 МБ. При этом, если пользователь дополнительно запускает на сервере иные приложения, например, приложения MS Office, то на каждое такое приложение необходимо около 200 МБ. Таким образом, нижний порог объема оперативной памяти для сервера терминалов составит 24 ГБ.
В качестве примера приведем расчет конфигурации для сервера 1С с полным пакетом программного обеспечения в конфигурации «Управление Торговым Предприятием» с базой данных объемом 8 ГБ и 50-ю терминальными пользователями. Здесь оптимальным вариантом будут два процессора Intel Xeon E5-2650 (или аналогичные им) с тактовой частотой 2 ГГц и восемью ядрами в каждом. Минимальный необходимый объем оперативной памяти составит 36 ГБ, а лучше от 48 до 64 ГБ.
Для обслуживания этих задач (до 100 пользователей 1С:Предприятие 8.2, объем БД от 1Гб), когда и сервер приложений 1С:, и пользовательская часть могут обслуживаться на одной серверной машине. Отлично подойдут решения на базе серверов HP Proliant DL360p, DL380p, DL385p, DELL PowerEdge R620, R720, IBM System x3550 M4, IBM x3650 M4, Fujitsu Primergy RX300 и RX350.

Дисковая подсистема для систем 1C:
Многие проблемы, связанные с медленной работой серверов 1С: Предприятие вызваны неправильной конфигурацией дисковой подсистемы. Правильно выбранная дисковая подсистема обеспечивает высокий уровень производительности сервера. Особенно актуальным вопрос выбора дисковой подсистемы является для пользователей нагруженных баз данных, где основной проблемой является блокировка таблиц при одновременной работе многих пользователей.
Система 1С: Предприятие работает с пятью потоками данных для дисковой подсистемы: таблицы базы данных, индексные файлы, лог-файлы SQL, временные файлы tempDB, лог-файл пользовательских приложений 1С.
Основной особенностью данных в системе 1С является объектно-ориентированная структура. В системе представлено множество объектов и связей. Поэтому исключительно важна способность дисковой подсистемы выполнять большое количество операций чтения и записи в единицу времени (IOPS), поскольку даже небольшая база данных объемом 200-300 МБ и 4-5 пользователями может требовать скорости до 400-600 операций чтения-записи в секунду. Потоковая скорость передачи данных, как правило, имеет меньшее значение. Более объемные базы данных могут требовать до 18000 операций чтения и записи в секунду.

Приведем примерные требования производительности в зависимости от нагрузок:

База объемом до 300 МБ, 3-5 пользователей – 400-600 IOPS
База объемом до 800 МБ, 10-15 пользователей – 1500-2500 IOPS
База объемом до 4 ГБ, 40-50 пользователей – 5000-7500 IOPS
База объемом до 20 ГБ, до 100 пользователей – до 18000 IOPS.

При выборе конфигурации дисковой подсистемы важно учитывать именно пиковые нагрузки на оборудование, например, в период обмена данными с распределенной подсистемой, автоматическими загрузками или перепроведения некоторого периода.

Приведем основные характеристики современных носителей:

HDD 7200 об/мин, SATA: чтение 100-120 IOPS / запись 80-100 IOPS
HDD 15000 об/мин, SAS: чтение 200-220 IOPS / запись 180-200 IOPS
SSD Intel 320 160GB: чтение 35 000 IOPS / запись 600-8600 IOPS
SSD Intel 710 200GB: чтение 35 000 IOPS / запись 2400-8600 IOPS
SSDIntel 910 400GB: чтение 90 000 IOPS / запись 38 000 IOPS

При анализе данных, приведенных в таблице видно, что запись является узким местом как для жестких дисков, так и для твердотельных накопителей. Твердотельные носители SSD обгоняют традиционные жесткие диски по скорости чтения на несколько порядков. Разница в производительности при выполнении операции записи конечно меньше, однако и здесь твердотельные накопители выигрывают по скорости в несколько десятков раз. Наибольшую производительность в операциях чтения и записи дают твердотельные накопители класса Intel 910 или LSI WarpDrive.

Приведенные характеристики относятся к одиночным дискам, однако в базах данных чаще всего используются RAID-массивы, поэтому для более точного расчета производительности дисковой подсистемы необходимо принять во внимание потери производительности (в IOPS), которые несет группа носителей в составе RAID-массива.

Из таблицы следует, что при использовании RAID 10 на основе 6 дисков, на каждую запись в 1 IOPS фактически будет потрачено 2 IOPS. Поэтому при расчете возможностей дисковой группы на запись необходимо сложить IOPS всех накопителей, входящих в RAID-массив, а затем разделить их на число из таблицы. Например, при использовании RAID1 на основе двух жестких дисков с интерфейсом SATA и скоростью вращения 7200 об/мин обеспечат на запись (100 IOPS*2)/2=100 IOPS. Другой пример: при объединении в RAID5 четырех жестких дисков SATA 7200 можно ожидать производительности записи (100 IOPS*4)/4=100 IOPS. При объединении этих же накопителей в RAID10 будет достигнута производительность (100 IOPS *4) / 2 = 200 IOPS. Этот пример хорошо доказывает, что для хранения баз данных, для которых как правило отношение операций чтения к операциям записи составляет 68/32, лучше выбирать RAID 10.

Из приведенных выше данных очевидно, что двух жестких дисков SATA 7200, объединенных в RAID1 серверу будет явно недостаточно. В моменты пиковых нагрузок очередь обращений к диску будет слишком велика.
Чтобы увеличить производительность дисковой подсистемы на запись можно увеличить количество дисков в RAID-массиве, выбрать RAID с меньшим штрафом на запись, установить носители с большей производительностью. Увеличить производительность также помогает кэширование RAID-контроллером с активированным режимом отложенной записи Write back. В этом случае данные сначала попадают в кэш контроллера, а затем в упорядоченном виде в пакетном режиме записываются на диски. С помощью такого решения удается поднять производительность записи на 30-100%.
В случае малонагруженных или небольших баз данных можно использовать гибридный RAID-массив из комбинации жестких дисков и твердотельных накопителей. Для малых баз данных (до 20 ГБ) на 3-15 пользователей в распределенной структуре организации (например сеть кафе или СТО) этого вполне достаточно.
Если речь идет об обслуживании крупных баз данных (200 ГБ и более) или нескольких объемных баз данных увеличения скорости дисковых операций можно добиться с помощью технологий LSI CacheCade 2.0 или Adaptec MaxCache 3.0 (SSD-кэширование). С помощью указанных технологий можно добиться увеличения скорости дисковых операций на 20-50% в задачах, решаемых 1С, без существенных изменений в инфраструктуре и относительно недорого.

Самые высокие скорости обеспечивают RAID-массивы на основе серверных SSD (как с использованием SAS RAID-контроллера, так и с использованием PCIe SSD). К сожалению, существенными недостатками такого подхода являются необходимость существенно изменять структуру хранения, а также достаточно высокая цена.
Следует отметить, что индексные файлы базы данных обновляются очень редко, примерно один раз в сутки, однако постоянно читаются. Поэтому такие данные лучше хранить на SSD-носителях, которые отличаются высокой производительностью при выполнении операций чтения. Файлы TempDB используются для хранения временных данных и как правило невелики по объему. Однако они требовательны к скорости записи. В связи с тем, что потеря индексных файлов и файлов TempDB не приведет к потере реальных данных, удобнее всего размещать эти файлы на отдельном SSD-носителе.
Для повышения надежности и быстродействия для хранения TempDB имеет смысл выделить массив RAID1 на основе SSD с обязательным выключением всех кэшей на запись. Для этих целей отлично подходят и накопители типа дисков Intel серии 520. Благодаря выделению этих данных из общей системы хранения на отдельную подсистему с высокими скоростными характеристиками, удается повысить производительность системы в целом, особенно в моменты пиковых нагрузок.

Иногда возникает необходимость вынести временные файлы на RAMDrive. Такое решение имеет смысл, при необходимости решать сложные расчетные задачи, например задачи складской или транспортной логистики, и если есть возможность обеспечить максимально быструю реакцию при сбоях. Такой подход позволяет увеличить общую производительность системы на 4-12%. Однако следует иметь ввиду, что в случае рестарта сервера может потребоваться запуск RAMDrive вручную, если не произойдет автоматического запуска.

Еще одним важным компонентом системы являются лог-файлы. При пиковых нагрузках быстродействие сервера 1С может существенно снизиться из-за постоянного потока мелких обращений на запись со стороны лог-файлов. Поэтому решением этой проблемы может стать перенос лог-файла на отдельный физический носитель, необязательно с высокими показателями IOPS, на который будет вестись почти линейная запись. При необходимости для этих же целей может быть создано зеркало из недорогих дисков SATA/NL SAS или из десктопных SSD (например носители серии Intel 520).

Таким образом, можно сказать, что благодаря применению SSD носителей в серверах появились отличные возможности для увеличения производительности массовых серверов. Это достигается благодаря многоуровневому хранению данных и правильному конфигурированию дискового ввода/вывода.

В идеале дисковая подсистема сервера 1С может выглядеть следующим образом:

1. Для хранения таблиц базы данных используются RAID 10 (для баз данных небольшого объема RAID1) на основе надежных серверных SSD-накопителей с обязательным использованием аппаратного RAID-контроллера. В случаю высоких требований к производительности можно использовать вариант PCIe SSD. При наличии объемных баз данных эффективным может оказаться SSD-кэширование массивов HDD. В случае не слишком высоких требований к IOPS и малом количестве пользователей вполне можно обойтись и традиционным массивом из жестких дисков SAS 15K rpm.
2. Индексные файлы базы данных хранятся на отдельном, быстром и недорогом SSD-носителе, временные файлы – на SSD-носителей, массиве RAID1 на основе SSD носителей или на RAMDrive.
3. Для хранения лог-файлов SQL и, по возможности, 1С выделяется отдельный том, представленный одиночным диском или RAID1 на основе жестких дисков SATA/NL SAS или дешевых SSD. В качестве альтернативы может использоваться логический диск на RAID-массиве, который используется для размещения операционной системы и пользовательских данных.
4. Для размещения операционной системы и пользовательских данных используется RAID1 на основе жестких дисков или твердотельных накопителей.

В случае использования виртуализированной IT-инфраструктуры желательно устанавливать SQL Server непосредственно на физический сервер, без использования виртуальной машины. Это обеспечит увеличение производительности дисковой подсистемы от 15 до 35% (в зависимости от характеристик оборудования, драйверов, способов подключения и программного обеспечения). В случае использования SQL-сервера в виртуализированной среде, обязательно подключение томов с таблицами базы данных, индексными и временными файлами к виртуальной машине в монопольном режиме с использованием Direct Access.

Но важно понимать, что наибольшую производительность, вне зависимости, используется виртуализация или нет, можно получить все же в случае использования систем хранения данных в качестве дисковой подсистемы, и правило: «чем больше дисков – тем быстрее» не потеряло своей актуальности. Между тем, лишь некоторые серверы, например, DELL PowerEdge R720xd, DELL T620, HP Proliant DL380p позволяют установить сравнительно большое количество дисков в один физический сервер (до 24 HDD SAS 2.5 дюйма), что, конечно, накладывает некоторые ограничения. Кроме того, контроллеры систем хранения данных априори быстрее и надежней (благодаря возможности дублирования) RAID-контроллеров, устанавливаемых в серверах, и имеют большую кеш-память, и, главное, могут использоваться при построении отказоустойчивых кластеров серверов SQL, ORACLE или 1С. Впрочем, об отказоустойчивости еще пойдет речь ниже.

Сетевые интерфейсы систем 1C:

Одним из важных аспектов, которые следует учитывать при развертывании систем 1С:Предприятие 8 в малых и средних организациях, являются потери на сетевых операциях через интерфейс Ethernet. Для минимизации таких потерь идеальным решением будет обслуживание SQL Server, 1С:Предприятие и пользовательских сессий 1С с использованием Remote Desktop на одном физическом сервере. Такой вариант позволяет использовать оборудование и программное обеспечение по максимуму, однако является достаточно спорным с точки зрения отказоустойчивости. Проблема безопасности в таком случае может быть частично решена с помощью виртуализации и «повторяемости среды» на другом оборудовании.

Сетевой интерфейс неизбежно будет создавать задержки при передаче данных из-за необходимости упаковки данных в относительно небольшие блоки для передачи. Особенностью платформы 1С:Предприятие является то, что достаточно большие объемы информации передаются для обработки и отображения по всей цепочке SQL-сервер – Сервер приложений 1С:Предприятие 8 – пользовательская сессия 1С:Предприятие8. При непосредственной передаче информации от одного процесса другому через оперативную память одного сервера (в случае использования варианта без виртуализации) или через виртуальный сетевой интерфейс (так же в рамках одного физического сервера), задержки оказываются намного ниже. Современные двухпроцессорные серверные системы с большим объемом оперативной памяти и дисковой подсистемой на основе SSD отлично справляются с обслуживанием базы данных 1С на 100-150 активных пользователей.

К сожалению, в случае баз данных с высокой нагрузкой использование нескольких физических платформ неизбежно, поэтому крайне желательно использовать для соединения всех серверов технологию Ethernet 10 Gb. В случае, если это невозможно, хотя бы два-четыре агрегированных соединения Ethernet1Gb с аппаратным ускорением TCP/IP и поддержкой виртуализации на аппаратном уровне.

Наиболее часто от потерь производительности на портах Ethernet страдают бюджетные решения. Как правило, сетевые адаптеры 1Гб используемые на сетевых материнских платах не предназначены для поддержки интенсивного сетевого трафика. Даже в случае, когда плата укомплектована двумя или тремя портами GbE, они часто реализованы на десктопных чипах. Они, как правило, порождают дополнительные накладные расходы по обслуживанию сетевого обмена, особенно в виртуализированных средах. В таких случаях передача информации через такие чипы приводит к использованию ресурсов процессора, оперативной памяти и внутренних шин. Поэтому ускорения передачи IP-трафике не происходит, каждый передаваемый и принимаемый пакет требует отдельного прерывания. В случае использования виртуализации снижение производительности сетевого интерфейса могут составлять до 30%. К сожалению, очень часто средства мониторинга не отображают перегрузку именно сетевого интерфейса. Основная проблема здесь в том, что центральный процессор загружается решением задачи обслуживания трафика, а если не работает, то простаивает в ожидании ответа от сетевой карты. Поэтому по возможности порты на десктопных чипах необходимо исключить из потока данных в виртуализированных средах. Их отлично можно использовать для решения задачи управления сервером. Для обслуживания интенсивного сетевого трафика имеет смысл добавить дискретную сетевую карту на серверном чипсете.

Отказоустойчивость или допустимое время простоя серверов и СХД для 1С:?
Вопрос производительности сервера всегда сопряжен с обсуждением из надежности. Обеспечение должного уровня отказоустойчивости сопряжено с дополнительными затратами, особенно при обслуживании непрерывных производственных процессов. В случае с 1С вопрос соотношения производительности и надежности решается в разных плоскостях: производительность стараются повысить за счет оптимизации аппаратных решений, а надежность системы – за счет организации процессов и процедур. В случае умеренно критических приложений основное внимание уделяется снижению времени простоя все инфраструктуры, а не средствам индивидуальной защиты серверов.

Для организаций с большим числом одновременно работающих пользователей (от 25 до 150) при размещении всех приложений на одном сервере обязательным является использование источников бесперебойного питания, избыточных блоков питания в самих серверах, элементов с возможностью горячей замены и RAID-массивов с горячим резервированием. Обязательным является также плановое резервирование данных, поскольку при наличии ежедневной резервной копии и оперативного файла с полным логом SQL, база данных 1С может быть восстановлена достаточно быстро.
Для малых и средних предприятий допустимым уровнем аварийности является 1-2 аварийных случая в месяц продолжительностью 1-4 часа. Для быстрого рестарта необходимы образы всех виртуальных и физических серверов в виде виртуальных машина на отдельном томе (используются для восстановления самой инфраструктурной части на резервном сервере). Обязательно должно выполняться ежедневное резервное копирование на отдельное физическое устройство и сохраняться Full SQL log, для тех случаев, когда потеря данных с начала рабочего дня имеет критическое значение и трудновосстановима вручную.
Резервное копирование данных производится как на жесткие диски в серверах или СХД, так и на ленточные носители. Оба подхода имеют свои плюсы и минусы. Резервное копирование на жесткие диски значительно дороже, чем на ленточные носители, но значительно быстрее, с точки зрения ввода данных из бекапа в работу.

Ленточные носители, в свою очередь, дешевле жестких дисков и долговечнее их, а использование автозагрузчиков и ленточных библиотек (HP MSL 2024, IBM TS3100, TS3200, TS3500, Fujitsu ETERNUS LT40 S2 LT60 S2, DELL PowerVault ML6010, PowerVault TL4000) делает резервное копирование на ленту вполне удобным и технологичным.

Отдельно следует упомянуть, что большинство производителей серверного оборудования предлагают так же и специальные устройства для резервного копирования (DELL PowerVault DL4000, Dell DR4100, HP StoreOnce 6500 Backup, HP StoreOnce 4700, HP StoreOnce 2700), имеющие такой важный функционал, как дедупликация данных. Использование таких устройств в конечном итоге вполне оправдывает затраты на их приобретение.
При наличии резервного оборудования и выполнении указанных выше условий, работоспособность системы может быть восстановлена за 1-2 часа. В случаях, когда есть потребность в поддержке непрерывной работы круглые сутки семь дней в неделю, основной задачей будет выбор подходящей архитектуры, оборудования с минимальным числом точек отказа и полноценных технологий кластеризации.
В этом случае интересны решения типа DELL VRTX или Fujitsu PRIMERGY CX400 S2, Fujitsu PRIMERGY CX400 S1, Fujitsu Server PRIMERGY CX420 S1, когда 2 или 4 сервера с общей дисковой подсистемой собраны в рамках одного устройства.

При использовании виртуализации и/или при построении серверных кластеров отказоустойчивых систем 1С обычно используют несколько физических серверов и общую для них систему хранения данных. В системах средней производительности используются достаточно скромные (с точки зрения IOPS и возможностей тиеринга данных) системы хранения данных, например, HP MSA 2040, DELL MD3620, IBM Storwize V3700 и д.р.
Для высокопроизводительных сверхотказоустойчивых и катастрофоустойчивых решений используют СХД большой производительности, имеющих функционал синхронной репликации данных между двумя и более СХД, зачастую расположенных в разных ЦОД (DELL Compellent, HP 3PAR, IBM Storwize V7000, Fujitsu ETERNUS DX100, DX200, DX500 DX600, HITACHI HUS130, HUS150). Так же для таких систем характерно использование либо мощных многопроцессорных серверов (например, DELL R820, IBM x3750 M4, x3850 X5, HP DL560 Gen8, DL980 G7, Fujitsu RX500 S7, RX900 S2 ) либо кластеров на базе блейд-серверов, установленных в блейд-шасси (IBM HS23, HX5, DELL M620, M820, HP BL660c Gen8, Hitachi Compute Blade 2000).

Если часто жмете что-то gzip’ом, то он использует только одно ядро процессора, и жмет долго.
Чтобы получить максимум производительности от своего сервера при сжатии — ставьте многопоточный pigz!

На FreeBSD pigz ставится так:
cd /usr/ports/archivers/pigz && make install clean

он становится в систему, и понимает все ключи gzip’а.

Как сжать каталог со всем содержимым в .tar.gz при помощи pigz:

tar cvf — katalog | pigz -9 > archive.tar.gz

Как сделать дамп всех баз MySQL на сервере, каждая в отдельный файл? Создаем выполняемый файлец с таким содержимым:

for i in `mysql -pmegapass -e’show databases;’ | grep -v information_schema | grep -v Database`; do mysqldump -pmegapass $i > `date +%Y-%m-%d`-$i; gzip -9 `date +%Y-%m-%d`-$i;done

также это можно жать и вышеупомянутым pigz’ом:

for i in `mysql -pmegapass -e’show databases;’ | grep -v information_schema | grep -v Database`; do mysqldump -pmegapass $i > `date +%Y-%m-%d`-$i; pigz -9 `date +%Y-%m-%d`-$i;done

Как потереть файлы безвозвратно (чтобы их нельзя было восстановить) ?

Сначала удаляете файло, а потом создаёте на этом разделе огромный файл с нулями. На размер всего свободного места на диске. Когда файл съест всё свободное место на диске — можно его удалить.

cat /dev/zero > /usr/home/zeros.tmp

Как найти во вложенных папках файлы, к-рые были созданы/изменены за последние 3 дня ?

find /usr/home -type f -mtime -3

Как примонтировать общую папку Windows во FreeBSD ?

mount_smbfs -I <ip_сервера> //<имя_юзера>@<имя сервера>/<общий ресурс> /mnt/<каталог_монтирования>

…будет еще…

Рассматривается переход с версии 8.2 на 9.0.

Во FreeBSD имеется две ветки разработки: FreeBSD-CURRENT и FreeBSD-STABLE. FreeBSD-CURRENT является последними рабочими версиями исходных кодов FreeBSD и предназначена в первую очередь для разработчиков, тестеров и просто интересующихся людей. В отличие от FreeBSD-CURRENT ветка FreeBSD-STABLE является разработкой, из которой делаются основные релизы. Соответственно для использования на ответственных серверах рекомендуется FreeBSD-STABLE.Для того чтобы иметь самые последние версии исходных текстов системы необходимо провести синхронизацию с любым из серверов проекта FreeBSD. Для этих целей воспользуемся утилитой cvsup с sup-файлом stable-supfile из каталога /usr/share/examples/cvsup. Это наиболее рекомендуемый метод, так как он позволяет вам загрузить набор исходных текстов один раз полностью, а затем загружать только произошедшие изменения. Если интернет трафик ограничен, то имеет смысл перенести исходные тексты с установочного диска и затем провести синхронизацию.

Копируем stable-supfile и приводим его содержание к следующему виду:

# cp /usr/share/examples/cvsup/stable-supfile /etc/
# vi /etc/stable-supfile

Выбираем cvsup сервер. Кому какой ближе. Для российских пользователей: cvsup2.ru.FreeBSD.org или cvsup3.ru.FreeBSD.org

*default host=cvsup2.ru.FreeBSD.org
*default base=/var/db
*default prefix=/usr

Загружаем исходные тексты 9.0 ветки. Если необходимо 5, 4, 3 или 2.2, то меняем на «RELENG_5″, «RELENG_4″, «RELENG_3″, «RELENG_2_2″ соответственно.
Если не указывать версию в ветке (RELENG_9_0), то будут скачиваться исходники последней доступной версии, которая не обязательно может быть STABLE. На момент правки статьи это 9.0).

*default release=cvs tag=RELENG_9_0
*default delete use-rel-suffix
# Включаем сжатие трафика
*default compress
# Качаем полное дерево исходников
src-all

Запускаем cvsup и ждем пока закончится обновление.

server# cvsup -g -L2 /etc/stable-supfile

Переходим в /usr/scr и начинаем процесс обновления. Запаситесь терпением, так как это занимает 1-2 часа на Core2Duo.

# cd /usr/src/
# rm -rf /usr/obj
# make -j4 buildworld

Где j4 — компилировать в 4 потока. Рекомендуется для однопроцессорных машин, т.к. компиляция в большей степени требовательная к системе ввода-вывода, а не процессору. Для многопроцессорных это значение можно увеличить.

!!!ВАЖНО!!! Не используйте опцию -j для слабых машин (менее 300МГц). Это может привести к ошибкам при компиляции.

Для настройки системы можно использовать make.conf. Пример смотрите здесь /usr/share/examples/etc/make.conf

# make -j4 buildkernel KERNCONF=MYKERNEL

Где MYKERNEL — ваше ядро. Без KERNCONF=MYKERNEL собирается с ядром GENERIC. В следующей строке поступаем соответственно.

# make installkernel KERNCONF=MYKERNEL

Перезагрузимся

# reboot

Перейдем в однопользовательский режим. При загрузке жмем 4, либо из основного режима следующей командой:

# shutdown now

Монтируем разделы файловой системы.

# mount -u /
# mount -a
# mergemaster -p

Устанавливаем мир

# cd /usr/src
# make installworld

Удаляем временные файлы

# make delete-old

# mergemaster

Несколько слов о работе этой утилиты. Она сравнивает уже установленные файлы конфигурации с теми которые предлагаются новой версией FreeBSD. Если есть отличия, то на экране появляется сообщение об этом. Первой строкой в нем идет имя файла, который не соответствует новым требованиям, а ниже сами отличия. Знаком «-» помечаются строки, которые утилита собирается удалить, а «+» — которые будут добавлены.

В конце предлагаются следующие варианты:
d — удалить предлагаемый вариант и оставить старый;
i — установить предлагаемый вариант, удалив старый;
m — сравнить построчно старый и предлагаемый вариант;
v — посмотреть отличия в файлах снова.

Чаще всего можно жать i, но иногда это может привести к замене ваших настроек на дефолтные. Так что будте внимательны. Например, у меня установлен exim, а mergemaster предложил вернуть файл /etc/mail/mailer.conf в первоначальное состояние. Это мне не нужно, поэтому выбираю m.
Начинается построчное сравнение файлов. Экран делится на две части, слева строки из старого файла, а справа из предлагаемого. При нажатии на «Enter» выводятся возможные варианты последующих действий:
l — использовать вариант слевой стороны;
r — использовать вариант справой стороны;

и т.д.

В моем случае, чтобы оставить старые настройки жмем «l». После того как сравнение кончилось, предлагаются следующие варианты:
i — установить получившийся файл;
r — повторить сравнение снова;
v — просмотреть получивщийся файл.

Возможен так же вариант, когда с новой версией системы появляются новые файлы, которых до этого не было. В таком случае предлагается только 2 варианта:
d — удалить предлагаемый вариант и оставить старый;
i — установить предлагаемый вариант, удалив старый.
И в таком же духе сравниваются все файлы.

Перезагрузимся

# reboot
# cd /usr/src/
# make delete-old-libs

Все. Проверяем.

# uname -a
...9.0-RELEASE FreeBSD 9.0-RELEASE #0...

До обновления было FreeBSD 8.2-RELEASE

Для создания материала использована страница: http://www.lissyara.su/articles/freebsd/tuning/make_buildworld/

Локальное и удаленное обновление FreeBSD

Написал краткую справку об обновлении локальных и удаленных серверов в пределах одной ветки.

Обновление csup

Сначала вам нужно обновить исходные коды системы, и мы будем использовать штатные средства операционной системы csup. Конфигурационный файл готов, его необходимо скопировать и изменить, он находится в директории:

# cd /usr/share/examples/cvsup/
# ls
README           gnats-supfile    refuse.README    www-supfile
cvs-supfile      ports-supfile    stable-supfile
doc-supfile      refuse           standard-supfile

Укажем нужную версию операционной системы.
В существующем конфигурационном файле стоит текущая версия.

# cat standard-supfile | grep default
*default host=CHANGE_THIS.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_7_1
*default delete use-rel-suffix
*default compress
src-all

Скопируем файл и немного изменим:

# cp standard-supfile standard-supfile-RELENG_8_2
# cat standard-supfile-RELENG_8_2 | grep default
*default host=CHANGE_THIS.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_8_2
*default delete use-rel-suffix
*default compress
src-all

Теперь нам необходимо синхронизировать src делается просто:

# /usr/bin/csup -h cvsup4.ru.freebsd.org -g -L 2 \
/usr/share/examples/cvsup/standard-supfile-RELENG_8_2

Когда синхронизация завершилась, приступим к обновлению системы (не забываем прочитать файл UPDATING чтобы все прошло гладко). Предупреждаю, что сначала мы будем устанавливать, ядро GENERIC и если все пройдет гладко и вы протестируете хотя бы один день сервер то можете, скомпилируйте свое ядро.
Очистим директории, от предыдущего мусора соберем мир и ядро и установим ядро:

# cd /usr/obj  ;chflags -R noschg * ;rm -rf *
# cd /usr/src
# make -j4 buildworld
# make -j4 buildkernel KERNCONF=GENERIC
# make installkernel KERNCONF=GENERIC

Теперь начинаются различия обновления локального и удаленного серверов. Рассмотрим два этих варианта:

Локальный сервер

Для безопасного и корректного обновления необходимо ввести машину в single mode можно сделать двумя способами:

• Перезагрузкой и выбором в стартовом меню загрузку в single mode (номер 4).

  # shutdown -r now

• Или напрямую активировать данный режим:

  # shutdown now

Удаленный сервер

При удаленном обновлении вы не должны вводить машину в single mode, если вы случайно это сделаете, то потеряете связь с машиной.
В виду вышесказанного необходимо действовать так:

• Отключить в /etc/rc.conf все службы, в которых нет необходимости для запуска системы это СУБД, FTP, Apache и т.д. (sshd не выключать!)
• Перезагрузить сервер

Можно и самим остановить эти службы без перезагрузки системы.

Продолжаем обновление

При запуске системы в нашем случае это локальный сервер необходимо смонтировать корневой каталог и остальные разделы, а при удаленном сервере нет необходимости в монтировании каталогов. А так же запустим mergemaster для создания начальной точки работы:

# /sbin/mount -u /
# /sbin/mount -a
# csh
# su
# mergemaster -p

Установим мир и удалим старые файлы.

# cd /usr/src
# make installworld
# make delete-old

Для автоматизации удаления старых версий выполните:

# yes | make delete-old

mergemaster

Запустим mergemaster для синхронизации файлов, библиотек, конфигурационных файлов с новыми версиями.

# mergemaster -cv (c-контекстный diffs вместо унифицированного)

mergemaster сравнивает существующие конфигурационные файлы с теми, которые предлагаются новой версией FreeBSD. И если существуют отличия, то появляется сообщение об этом. Первой строкой в нем идет имя файла, который не соответствует новым требованиям, а ниже сами отличия.
Знаки:

• - — этим знаком помечаются строки, которые mergemaster собирается удалить.
• + — этим знаком помечаются строки, которые будут добавлены.

Есть несколько вариантов управления и в низу mergemaster предлагают следующие варианты работы с текущим файлом:

• d — удалить предлагаемый вариант оставить старый.
• i — установить предлагаемый вариант, удалив старый.
• m — сравнить и объединить при необходимости построчно старый и новый вариант.
• v — посмотреть отличия в файлах снова.

При построчном сравнивании экран делится на две части, слева строки из старого файла, а справа из предлагаемого. При нажатии на «Enter» выводятся возможные варианты последующих действий:

• l — использовать вариант с левой стороны.
• r — использовать вариант с правой стороны.

и т.д.

После того как сравнение файла закончилось, предлагаются следующие варианты:

• i — установить получившийся файл.
• r — повторить сравнение снова.
• v — просмотреть получившийся файл.

Бывает, что с новой версией системы появляются новые файлы, которых до этого не было. В таком случае предлагается 2 варианта:

• d — удалить предлагаемый вариант и оставить старый.
• i — установить предлагаемый вариант, удалив старый.

И так сравниваются все файлы.

Завершение

Когда закончите, объединять файлы перезапустите систему и удалите старые библиотеки, а так же проверьте версию системы:

# shutdown -r now
# cd /usr/src/
# make delete-old-libs
# uname -a
FreeBSD bsd.ampul.local 8.2-RELEASE FreeBSD 8.2-RELEASE #1: Tue May 19 09:55:51 MSD 2009
Raven2000@bsd.ampul.local:/usr/obj/usr/src/sys/MYKERNEL i386

Обновление портов FreeBSD

# 
/usr/bin/csup -h cvsup4.ru.freebsd.org -g -L 2 /usr/share/examples/cvsup/ports-supfile \
&&  cd /usr/ports/ && make fetchindex

Обновление по крону

# crontab -l | grep csup
1  8  *  *  *  (/usr/bin/csup -h cvsup4.ru.freebsd.org -g -L 2 \
/usr/share/examples/cvsup/ports-supfile \
&&  cd /usr/ports/ && make fetchindex) >/dev/null 2>&1

Проблемы

В. Не запускаются программы требуют старые библиотеки
О. Есть два варианта. Пересобрать ПО или установить библиотеки нужной версии ОС:

# /usr/ports/misc/compat
compat3x/ compat4x/ compat5x/ compat6x/ compat7x/

Мем о KDE2 появился давно и сразу стал популярным. Интернетчики додумались спрашивать не только сисадминов, но и президентов. «Пострадали» Ющенко, Назарбаев и даже Путин! Последний, правда, отвечать не стал. Чтобы понять, о чем речь, нужно знать, что FreeBSD – это свободная юниксоподобная операционная система. А KDE (не важно, о какой версии речь) – оконный менеджер, который запускается поверх графической оболочки.

Но даже обладая специальными знаниями, пропатчить KDE2 под FreeBSD вы всё равно не сможете. Почему? Об этом телеканалу SLTV рассказал эксперт, который почти в прямом эфире «поднял» непростую операционную систему и показал, «как это работает». Подробности смотрите в видеосюжете.

Когда вышла FreeBSD 9.0, я задался целью установить данную систему на только что оформленный у «Hetzner» сервер. И хотя в открытую они не предлагают и не дают установить FreeBSD, однако, это вполне возможно сделать через Rescue System. Но, как выяснилось, так можно установить только FreeBSD 7.4 и FreeBSD 8.2.

После связи с службой поддержки «Hetzner» они ответили, что за дополнительную плату готовы вставить диск с данным программным обеспечением. Конечно это ни в бюджет ни в планы не входило.

В сети Интернет много советов по обновлению FreeBSD с версии 8 до версии 9, но они либо не полностью отражают суть проблемы, либо вообще ничего не позволяют обновить так как это нужно. Я потратил много времени, прежде чем мне удалось это сделать, поэтому я и решил написать данную статью, которая поможет сэкономить время.

Итак, приступим.

1. Установка версии FreeBSD от «Henzner»
Старт Rescue системы

Для начала нужно активировать Rescue System и зайти по ssh на сервер, как написано в инструкции у «Hetzner».

Для начала установки выполним следующую команду

# installimage

Затем укажем параметры и запустим установку. Вся установка занимает всего несколько минут в результате чего мы получаем следующее
Hetzner Online AG — installimage

Your server will be installed now, this will take some time

You can abort at any time with CTRL+C …

Deleting selected harddrive(s)… DONE

Creating a file system and extracting the image… DONE

Copying kernel… DONE

Configuring rc.conf… DONE

Configuring loader.conf… DONE

Enabling SSH login for root… DONE

Configuring resolv.conf… DONE

Congratulations! The configuration has been completed successfully.

You can now use ‘reboot’ to boot your newly installed FreeBSD system.

После установки перезагружаемся
# reboot

2 Настройка данных для обновления

Обновлять систему будем через sup. На мой взгляд, самый простой и правильный способ обновления системы.
sup входит в штатные средства операционной системы FreeBSD.

Переходим в каталог
# cd /usr/share/examples/cvsup/

Проверяем
# ls
README gnats-supfile refuse.README www-supfile
cvs-supfile ports-supfile stable-supfile
doc-supfile refuse standard-supfile

Теперь нужно указать новую версию операционной системы.
По умолчанию стоит текущая версия.

Выполняем копирование файла конфигурации
# cp standard-supfile standard-supfile-UPDATE_9

Отредактируем его
# ee standard-supfile-UPDATE_9

*default host=CHANGE_THIS.FreeBSD.org
*default base=/var/db
*default prefix=/usr
*default release=cvs tag=RELENG_9_0
*default delete use-rel-suffix
*default compress

src-all

Выполняем синхронизацию исходных кодов src, новой операционной системы
# /usr/bin/csup -h cvsup4.ru.freebsd.org -g -L 2 \

#? /usr/share/examples/cvsup/standard-supfile-UPDATE_9

После того как все файлы скопированы, нужно прочитать файл /usr/src/UPDATING (Чтобы небыло проблем)

Теперь нужно включить генерацию профилирующего кода (прописать NO_PROFILE=true в файле /etc/make.conf).

И там же нужно установить значение CFLAGS во -O2 -pipe.

-pipe позволяет компилятору использовать для связи вместо временных файлов программные каналы,
что уменьшает обращение к диску (за счет оперативной памяти).
# ee /etc/make.conf
NO_PROFILE=true
CFLAGS= -O2 -pipe

Также нужно добавить в make.conf строчку: KERNCONF=MYKERNEL, чтобы не писать при сборке и установке ядра
# make build kernel KERNCONF=MYKERNEL

а просто
# make build kernel

Отредактируем файл /etc/src.conf
# ee /etc/src.conf
WITHOUT_BLUETOOTH=TRUE
WITHOUT_GAMES=TRUE

Вообще конфиг make.conf можно дополнить многими параметрами, это зависит от того какие параметры компиляции Вам нужны.

Мой конфиг make.conf

CPUTYPE?=nocona
CFLAGS= -O2 -fno-strict-aliasing -pipe
# CXXFLAGS= -O2 -pipe # Осторожнее многие приложения могут не компилироваться если это прописать.
COPTFLAGS= -O2 -pipe -funroll-loops -ffast-math -fno-strict-aliasing
OPTIMIZED_CFLAGS=YES
KERNCONF=GARPIX
BUILD_OPTIMIZED=YES
WITH_CPUFLAGS=YES
WITHOUT_DEBUG=YES
WITH_OPTIMIZED_CFLAGS=YES
NO_PROFILE=YES
BUILD_STATIC=YES
WITHOUT_X11=YES
DWITH_SLANG=YES
DLLVM_HOSTTRIPLE=»x86_64-garpix-freebsd9.0″
STRIP=
CFLAGS+=-fno-omit-frame-pointer
WITH_CTF=1
# added by use.perl 2012-02-07 19:02:35
PERL_VERSION=5.12.4
Получаем исходники ядра
# svn checkout svn://svn.freebsd.org/base/releng/9.0 /usr/src

Переходим в каталог с ядром
# cd /usr/src/sys/amd64/conf

Копируем конфиг с ядром в созданный за ранее каталог
# mkdir /root/kernels
# cp GENERIC /root/kernels/MYKERNEL
# ln -s /root/kernels/MYKERNEL

Теперь нужно провести конфигурацию ядра под Ваш компьютер
Подробнее об этом можно почитать на официальном сайте FreeBSD

Мой конфиг ядра

cpu HAMMER
ident MYKERNEL

makeoptions DEBUG=-g # Build kernel with gdb(1) debug symbols
makeoptions WITH_CTF=1
makeoptions MODULES_OVERRIDE=»zfs opensolaris dtrace cyclic nfsclient krpc nfs_common nfslock»

options SCHED_ULE # ULE scheduler
options PREEMPTION # Enable kernel thread preemption
options INET # InterNETworking
options INET6 # IPv6 communications protocols
options IPFIREWALL # Firewall IPFw
#options IPFIREWALL_DEFAULT_TO_ACCEPT # Accept to Firewall
options IPFIREWALL_VERBOSE # Enable Logs from Firewall
#options IPFIREWALL_VERBOSE_LIMIT=10 # Limit logs from Firewall
options DUMMYNET # Speed Traffic to Firewall
options SCTP # Stream Control Transmission Protocol
options FFS # Berkeley Fast Filesystem
options SOFTUPDATES # Enable FFS soft updates support
options UFS_ACL # Support for access control lists
options UFS_DIRHASH # Improve performance on big directories
options UFS_GJOURNAL # Enable gjournal-based UFS journaling
options MD_ROOT # MD is a potential root device
options NFSCL # New Network Filesystem Client
options NFSD # New Network Filesystem Server
options NFSLOCKD # Network Lock Manager
options NFS_ROOT # NFS usable as /, requires NFSCL
options CD9660 # ISO 9660 Filesystem
options PROCFS # Process filesystem (requires PSEUDOFS)
options PSEUDOFS # Pseudo-filesystem framework
options GEOM_PART_GPT # GUID Partition Tables.
options GEOM_LABEL # Provides labelization
options SCSI_DELAY=5000 # Delay (in ms) before probing SCSI
options KTRACE # ktrace(1) support
options STACK # stack(9) support
options SYSVSHM # SYSV-style shared memory
options SYSVMSG # SYSV-style message queues
options SYSVSEM # SYSV-style semaphores
options _KPOSIX_PRIORITY_SCHEDULING # POSIX P1003_1B real-time extensions
options PRINTF_BUFR_SIZE=128 # Prevent printf output being interspersed.
options KBD_INSTALL_CDEV # install a CDEV entry in /dev
options HWPMC_HOOKS # Necessary kernel hooks for hwpmc
options AUDIT # Security event auditing
options MAC # TrustedBSD MAC Framework
options KDTRACE_FRAME # Ensure frames are compiled in
options KDTRACE_HOOKS # Kernel DTrace hooks
options DDB_CTF # all architectures — kernel ELF linker loads CTF data
options INCLUDE_CONFIG_FILE # Include this file in kernel
options KDB # Kernel debugger related code
options KDB_TRACE # Print a stack trace for a panic
options COMPAT_FREEBSD8 # Compatible with FreeBSD8
options P1003_1B_SEMAPHORES # POSIX-style semaphores
options DEVICE_POLLING # Polling Network Enabled

# Settings for max connections = 256options SEMMNI=512
options SEMMNS=1024
options SEMUME=64
options SEMMNU=512

# Make an SMP-capable kernel by default
options SMP # Symmetric MultiProcessor Kernel

# CPU frequency control
device cpufreq

# Bus support.device acpi
device pci

# ATA controllers
device ahci # AHCI-compatible SATA controllers
device ata # Legacy ATA/SATA controllers
options ATA_CAM # Handle legacy controllers with CAM
options ATA_STATIC_ID # Static device numbering
device mvs # Marvell 88SX50XX/88SX60XX/88SX70XX/SoC SATA
device siis # SiliconImage SiI3124/SiI3132/SiI3531 SATA

# ATA/SCSI peripherals
device scbus # SCSI bus (required for ATA/SCSI)
device ch # SCSI media changers
device da # Direct Access (disks)
device sa # Sequential Access (tape etc)
device cd # CD
device pass # Passthrough device (direct ATA/SCSI access)
device ses # SCSI Environmental Services (and SAF-TE)

# RAID controllers interfaced to the SCSI subsystem
device hptrr # Highpoint RocketRAID 17xx, 22xx, 23xx, 25xx

# atkbdc0 controls both the keyboard and the PS/2 mouse
device atkbdc # AT keyboard controller
device atkbd # AT keyboard
device psm # PS/2 mouse

device via # VGA video card driver

# sys cons is the default console driver, resembling an SCO console
device sc
options SC_PIXEL_MODE # add support for the raster text mode

# Serial (COM) ports
device uart # Generic UART driver

device put # Multi I/O cards and multi-channel UARTs

# PCI Ethernet NICs.
device bxe # Broadcom BCM57710/BCM57711/BCM57711E 10Gb Ethernet>
device de # DEC/Intel DC21x4x («Tulip)>
device em # Intel PRO/1000 Gigabit Ethernet Family>
device igb # Intel PRO/1000 PCIE Server Gigabit Family>
device ixgbe # Intel PRO/10GbE PCIE Ethernet Family>
device le # AMD Am7900 LANCE and Am79C9xx PCnet>
device ti # Alteon Networks Tigon I/II gigabit Ethernet>
device txp # 3Com 3cR990 («Typhoon)>
device vx # 3Com 3c590, 3c595 («Vortex)>

# PCI Ethernet NICs that use the common MII bus controller code.>
# NOTE: Be sure to keep the ‘device minibus’ line in order to use these NICs!>
device minibus # MII bus support>
device ae # Attansic/Atheros L2 FastEthernet>
device age # Attansic/Atheros L1 Gigabit Ethernet>
device alc # Atheros AR8131/AR8132 Ethernet>
device ale # Atheros AR8121/AR8113/AR8114 Ethernet>
device bce # Broadcom BCM5706/BCM5708 Gigabit Ethernet>
device bfe # Broadcom BCM440x 10/100 Ethernet>
device bge # Broadcom BCM570xx Gigabit Ethernet>
device dc # DEC/Intel 21143 and various workalikes>
device et # Agere ET1310 10/100/Gigabit Ethernet>
device fxp # Intel EtherExpress PRO/100B (82557, 82558)>
device jme # JMicron JMC250 Gigabit/JMC260 Fast Ethernet>
device leg # Level 1 LXT1001 gigabit Ethernet>
device msk # Marvell/SysKonnect Yukon II Gigabit Ethernet>
device nfe # nVidia nForce MCP on-board Ethernet>
device nge # NatSemi DP83820 gigabit Ethernet>
device pcn # AMD Am79C97x PCI 10/100 (precedence over ‘le’)>
device re # RealTek 8139C+/8169/8169S/8110S>
device rl # RealTek 8129/8139>
device sf # Adaptec AIC-6915 («Starfire)>
device sge # Silicon Integrated Systems SiS190/191>
device sis # Silicon Integrated Systems SiS 900/SiS 7016>
device sk # SysKonnect SK-984x & SK-982x gigabit Ethernet>
device ste # Sundance ST201 (D-Link DFE-550TX)>
device stge # Sundance/Tamarack TC9021 gigabit Ethernet>
device tl # Texas Instruments ThunderLAN>
device tx # SMC EtherPower II (83c170 «EPIC)>
device vge # VIA VT612x gigabit Ethernet>
device vr # VIA Rhine, Rhine II>
device wb # Winbond W89C840F>
device xl # 3Com 3c90x («Boomerang, «Cyclone)>

# Pseudo devices.
device loop # Network loopback
device random # Entropy device
device ether # Ethernet support
device vlan # 802.1Q VLAN support
device tun # Packet tunnel.
device pty # BSD-style compatibility pseudo ttys
device md # Memory «disks»
device gif # IPv6 and IPv4 tunneling
device faith # IPv6-to-IPv4 relaying (translation)
device firmware # firmware assist module

# The `bpf’ device enables the Berkeley Packet Filter.
# Be aware of the administrative consequences of enabling this!
# Note that ‘bpf’ is required for DHCP.
device bpf # Berkeley packet filter

# USB support
options USB_DEBUG # enable debug msgs
device uhci # UHCI PCI->USB interface
device ohci # OHCI PCI->USB interface
device ehci # EHCI PCI->USB interface (USB 2.0)
device xhci # XHCI PCI->USB interface (USB 3.0)
device usb # USB Bus (required)
device uhid # «Human Interface Devices»
device ukbd # Keyboard
device ulpt # Printer
device umass # Disks/Mass storage — Requires scbus and da
device ums # Mouse
После того как ядро сконфигурировано, переходим в каталог с исходниками /usr/src
# cd /usr/src

Чуть не забыл, нужно добавить в свой конфиг ядра следующую опцию
options COMPAT_FREEBSD8 # Compatible with FreeBSD8

Теперь редактируем следующие файлы добавляя строки
# ee /usr/src/sys/conf/NOTES
# Enable FreeBSD8 compatibility syscalls
options COMPAT_FREEBSD8
# ee /usr/src/sys/conf/options
COMPAT_FREEBSD8 opt_compat.h

Переходим к компиляции мира и ядра системы
# cd /usr/src
# make kernel-toolchain

ждем пока процесс не закончится

Теперь компилируем ядро
# make build kernel

Когда ядро скомпилировано, устанавливаем его
# make install kernel

Теперь нужно скомпилировать мир
# make build world

Мир компилируется очень долго, придется подождать

Смотрим вывод date и если вывод некорректный, то нужно обязательно прочитать статью

Теперь выполняем следующее
# adjkerntz -i
# cd /usr/src

Устанавливаем конфигурационные файлы
# mergemaster -a -p

Если появляются вопросы то всегда нужно нажимать i
i и [Enter]

Иногда нужно нажать d если других вариантов нет
d и [Enter]

i — Установить новые конфигурационные файлы
d — Удалить временные конфигурационные файлы

Теперь удаляем каталог rc.d
# rm -rf /etc/rc.d

Продолжаем устанавливать конфиги
# mergemaster -i -p
# mergemaster -p

Устанавливаем мир
# make install world

После того как мир установлен, копируем конфиги мира
# mergemaster -a
# mergemaster -i
# mergemaster

Выполнять нужно по очереди, не забывая про параметры i и d, вопросов будет много.

На этом все, новая система установлена но пока перезагружать компьютер нельзя

Меняем пароль у root пользователя
# passwd

Теперь нужно настроить SSH а то в систему будет не зайти

# ee /etc/ssh/sshd_config
PermitRootLogin yes

Проверяем все ли встало как надо
Всмысле какие демоны запущены? Читаем /etc/rc.conf, есть ли службы, которые запускаются альтернативными способами, можно узнать, посмотрев
# sockstat -l

Так же там же, в /etc/rc.conf, сетевые настройки
# less, tail, cat — чем нравится, тем и смотрите.

Содержимое /var/run/dmesg.boot расскажет всё об используемом железе
# pciconf -lv

Покажет всё железо, как используемое, так и не используемое
# atacontrol list

Выдаст список ATA устройств
# camcontrol devlist

Выдаст список USB устройств
# usbconfig list

Теперь устанавливаем временную зону
# cp /usr/share/zoneinfo/Europe/Moscow /etc/localtime
# date

или
# setenv TZ Europe/Moscow-04:00
# date

Установка локали
По умолчанию в FreeBSD установлена кодировка koi8-r (на мой взгляд это прошлый век, меняем на utf-8)
#ee /etc/login.conf
russian|Russian Users Accounts:\
:charset=UTF-8:\
:lang=ru_RU.UTF-8:\
:tc=default:
# cap_mkdb /etc/login.conf
# pw usermod -n $username -L russian

Дополнительно к вышеприведенному способу, можно прописать переменные в используемом shell
#ee /etc/csh.cshrc
setenv LANG ru_RU.UTF-8
setenv LC_CTYPE ru_RU.UTF-8
setenv LC_COLLATE POSIX
setenv LC_ALL ru_RU.UTF-8

Опционально, для тех кто любит bash
# ee /etc/profile
LANG=»ru_RU.UTF-8″; export LANG
LC_CTYPE=»ru_RU.UTF-8″; export LC_CTYPE
LC_COLLATE=»POSIX»; export LC_COLLATE
LC_ALL=»ru_RU.UTF-8″; export LC_ALL
# ee /root/.cshrc
setenv LANG ru_RU.UTF-8
setenv LC_CTYPE ru_RU.UTF-8
setenv LC_COLLATE POSIX
setenv LC_ALL ru_RU.UTF-8

Далее просто набираем в консоли
# setenv LANG ru_RU.UTF-8
# setenv LC_CTYPE ru_RU.UTF-8
# setenv LC_COLLATE POSIX
# setenv LC_ALL ru_RU.UTF-8

Прописываем параметры настроек в sysctl
# ee /etc/sysctl.conf

Внимание данные настройки для моего сервера, они зависят от многих параметров, железа компьютера, количества оперативной памяти, типа процессора, нагрузки на сервер и других тд и тп.

# $FreeBSD: src/etc/sysctl.conf,v 1.8.40.1.2.1 2011/11/11 04:20:22 kensmith Exp $
#
# This file is read when going to multi-user and its contents piped thru
# «sysctl to adjust kernel values. «man 5 sysctl.conf for details.
#

# Uncomment this to prevent users from seeing information about processes that
# are being run under another UID.
#security.bsd.see_other_uids=0

kern.ipc.shmall=2048000
kern.ipc.shmmax=4461780992
kern.ipc.semmap=16000

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
# kern.ipc.nmbclusters=65536
kern.ipc.somaxconn=32768
kern.ipc.maxsockets=204800
kern.ipc.maxsockbuf=262144
kern.ipc.shm_use_phys=1
kern.maxfiles=256000
kern.maxfilesperproc=230400
net.inet.ip.portrange.first=1024
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.randomized=0
net.inet.tcp.maxtcptw=40960
net.inet.ip.intr_queue_maxlen=4096

net.inet.tcp.msl=40000
net.inet.tcp.finwait2_timeout=40000
net.inet.tcp.syncookies=1

# In Large Load sent ansver selective
net.inet.tcp.delayed_ack=0
net.inet.tcp.sack.enable=0
net.inet.tcp.msl=30000
net.inet.tcp.nolocaltimewait=1
net.inet.tcp.fast_finwait2_recycle=1
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.inet.ip.redirect=0
net.inet.ip.fw.enable=1
net.inet.flowtable.enable=0
net.inet6.ip6.fw.enable=1
net.inet6.ip6.redirect=0
net.inet6.ip6.accept_rtadv=1
net.inet.tcp.sendspace=16384
net.inet.tcp.recvspace=8192
net.inet.tcp.recvbuf_auto=0
net.inet.tcp.sendbuf_auto=1
net.inet.tcp.sendbuf_inc=8192
net.inet.tcp.sendbuf_max=131072
net.link.ether.inet.max_age=1200
net.inet.tcp.maxtcptw=102400
net.inet.tcp.nolocaltimewait=1
net.inet.tcp.syncookies=1
net.isr.direct=0
kern.polling.enable=1
kern.polling.burst_max=1000
kern.polling.each_burst=50
net.inet.icmp.icmplim=100
net.inet.tcp.rfc3465=0

# Security Jail
security.jail.sysvipc_allowed=1
security.jail.allow_raw_sockets=1
security.jail.chflags_allowed=1
security.jail.set_hostname_allowed=1

Настраиваем bootLoader (Привожу пример своего конфига, повторюсь это для моего сервера и привожу ради примера)
# ee /boot/loader.conf
zfs_load=»YES»
vfs.root.mountfrom=»zfs:garpix/root»
vfs.zfs.zio.use_uma=»0″

ahci_load=»YES»
aio_load=»YES»
geom_mirror_load=»YES»
geom_stripe_load=»YES»
geom_cache_load=»YES»
geom_label_load=»YES»
accf_http_load=»YES»
accf_data_load=»YES»
accf_dns_load=»YES»
coretemp_load=»YES»
if_em_load=»YES»
verbose_loading=»YES»
boot_verbose=»YES»

vm.kmem_size_max=»4G»
vm.kmem_size=»4G»

# HPET Enable
kern.timecounter.hardware=HPET

# Dtrace
dtraceall_load=»YES»

# Semafores
kern.ipc.semmni=1024
kern.ipc.semmns=2048
kern.ipc.semmnu=1024

kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=204800
kern.ipc.nmbclusters=204800
kern.ipc.nmbjumbop=192000
kern.ipc.somaxconn=8192
kern.ipc.shmmax=2147483648
kern.ipc.maxsockbuf=10485760
kern.ipc.nsfbufs=10240
kern.maxvnodes=200000
kern.ps_arg_cache_limit=4096

# TCP Steck
#net.inet.tcp.syncache.hashsize=1024
#net.inet.tcp.syncache.bucketlimit=100
#net.inet.tcp.syncache.cachelimit=65536
#net.inet.tcp.hostcache.cachelimit=1966080
#net.inet.tcp.tcbhashsize=32768

vm.pmap.shpgperproc=2048
vm.pmap.pg_ps_enabled=1

hw.bge.allow_asf=1

loader_logo=»MYLOGO»
Настройки RC.CONF
# ee /etc/rc.conf

Привожу для примера свой конфиг rc.conf (media 100BaseTX mediaopt full-duplex,flag0 зависят от датацентра «Hetzner»), это нужно уточнить у службы поддержки так как на другом сервере в другом датацентре у меня было media autoselect Также привожу настройки IPv6 от Hetzner, не буду подробно описывать это тема для отдельной статьи но по примеру можно сделать и будет работать.

hostname=»garpix»
sshd_enable=»YES»
sendmail_enable=»YES»
zfs_enable=»YES»

# IPv4 inet config
ntpd_enable=»YES»
ifconfig_re0=»inet xxx.xxx.xxx.xxx netmask xxx.xxx.xxx.xxx media 100BaseTX mediaopt full-duplex,flag0″
defaultrouter=»xxx.xxx.xxx.xxx»

# IPv6 inet6 config
ipv6_network_interfaces=»re0″
ifconfig_re0_ipv6=»inet6 2a01:4f8:141:54c3::2 prefixlen 64 accept_rtadv»
ipv6_default_interface=»re0″
ipv6_static_routes=»gw defgw»
ipv6_route_gw=»2a01:4f8:141:54c0:: -prefixlen 59 -iface re0″
ipv6_route_defgw=»default 2a01:4f8:141:54c0::1″

# Firewall
firewall_enable=»YES»
firewall_script=»/etc/rc.ipfw»
Ну и самое важное, теперь нужно настроить Firewall
# ee /etc/rc.ipfw

RC.IPFW
#!/bin/sh
ipfw -q -f flush

oif=»re0″
cmd=»ipfw -q add »
ks=»keep-state»

tcp_out=»20,21,22,25,80,110,137,138,139,143,443,445,2802,3306,5190,6667,8080,9000″
tcp_in=»20,21,22,80,443,8080,5432″
tcp6_in=»::80,::443″
ftp_high=»21,1024-65535″
udp_out=»53,999,1234″
udp_in=»1234″

# allow all
#$cmd 00100 pass all from any to any

# deny all
$cmd 00100 pass all from any to any via lo0
$cmd 00101 deny all from any to 127.0.0.0/8
$cmd 00102 deny all from 127.0.0.0/8 to any

$cmd 00500 check-state

$cmd 00502 deny all from any to any frag
$cmd 00501 deny tcp from any to any established
$cmd 00600 allow tcp from any to any out via $oif setup $ks
$cmd 00601 allow udp from any to any out via $oif $ks
# IPv6
$cmd 00701 allow ip6 from any to any $tcp6_in via $oif setup $ks
# tcp Out
$cmd 00702 skip to 10000 tcp from any to any $tcp_out out via $oif setup $ks
# Ftp
$cmd 00703 allow tcp from any to any via $oif established
$cmd 00704 allow tcp from me to any via $oif setup $ks
$cmd 00705 allow tcp from any to me $ftp_high via $oif setup $ks
$cmd 00706 skip to 10000 tcp from any to any $ftp_high out via $oif setup $ks
# Udp out
$cmd 00707 skip to 10000 udp from any to any $udp_out out via $oif $ks
# Udp in
$cmd 00708 skip to 10000 udp from any to any $udp_in in via $oif $ks
# tcp In
$cmd 00709 allow tcp from any to me $tcp_in in via $oif setup $ks
# ping
$cmd 02000 allow icmp from any to any icmptype 8
$cmd 02001 allow icmp from any to any icmptype 0
# IPv6
$cmd 02004 allow ipv6-icmp from any to any

Делаем скрипт выполняемым
# chmod 0755 /etc/rc.ipfw

Теперь перезагружаемся
# reboot

Если все сделано правильно то все должно работать как «часы»

Насчет всяких make delete-old и make delete-old-libs каждый решает для себя сам.

В моем конфиге ядра я прописал DTrace, если Вы сделали также то проверяем все ли работает
# trace -l | head

Правим make.conf для поддержки Dtrace на уровне пользователя
STRIP=
CFLAGS+=-fno-omit-frame-pointer

Теперь нужно установить порты

Получаем список портов
# portsnap fetch

Извлекаем порты
# portsnap extract

Переходим в каталог с портами и устанавливаем индекс
# cd /usr/ports
# make fetch index

Все готово, теперь система полностью рабочая, с портами и всем, что требуется для нормальной работы. Можно ставить приложения, которые Вам нужны, mc, ftp, nginx и т.д. и т.п.

P.S. Если нашли неточности или замечания, пишите – исправлю, материал набирал из гугла и с хабра, описал все подробно, чтобы можно было использовать как инструкцию. Конечно, многое тут элементарно, но некоторым пользователям это, я надеюсь, поможет сэкономить время.

Такая картина — суровая реальность. Естественно, что софтовый RAID в таком режиме не живет. Статус выглядит как-то так:

Чтобы не искать каждый раз 2 команды для восстановления массива решение на сторонних сайтах, делаю себе пометку в этом блоге.

Сначала приказываем системе «забыть» про массив. Далее добавляем «потерянного бойца» в ряды, так сказать РККА.
Сбор массива — дело не одной минуты, сервер будет мучаться примерно сутки для дисков размером 2 ТБайта. Еще бы, ведь он просто копирует диски.

Полка 3 ошибки, молча собираем массив. Вот будет 30, тогда можно создать тикет в саппорт.

Для начала, я не буду рассказывать про пользу обновлений операционной системы, обновление ПО, правильная настройка фаервола и т.д. и т.п. Это Вы и так должны понимать.

Для начала, поиграемся с sysctl.conf

vi /etc/sysctl.conf
net.inet.tcp.blackhole=2 # Это превращает машину в черную дыру при попытке подключиться к портам, которые не обслуживаются вашим сервером.
net.inet.udp.blackhole=1
kern.ps_showallprocs=0 # только пользователь root может видеть все запущенные процессы

/etc/rc.d/sysctl restart

Теперь поиграемся с правами доступа к крону

chmod 0600 /etc/crontab # только пользователь root должен иметь доступ к файлу настройки cron

Права доступа к файлам.

При помощи команды chmod 600, мы разрешаем доступ только пользователю root на запись и чтение файла.  При помощи команды chmod 700, мы также даем возможность пользователю root возможность запускать файл.

chmod 0700 /root
chmod 0600 /etc/syslog.conf
chmod 0600 /etc/rc.conf
chmod 0600 /etc/newsyslog.conf
chmod 0600 /etc/hosts.allow
chmod 0600 /etc/login.conf
chmod 0700 /usr/home/*

Console Access (доступ к консоли)

Запомните что хоть мы и блокируем доступ от неавторизованного доступа в однопользовательском режиме, это не обеспечивает полную защиту вашего сервера. Некто с плохими намерениями может снять жесткий диск с вашего сервера и установить его на другом компьютере. Если сервер не защищен физически, то никакие программные настройки, вас не спасут от взлома вашей системы. Изменение прав доступа к первой консоли означает что вы не сможете войти в систему в однопользовательском режиме, не зная пароля пользователя

vi /etc/ttys
console  none   unknown   off   insecure  # запрашивать пароль пользователя root в однопользовательском режиме.
ttyv0   “/usr/libexec/getty Pc”  cons25   on   insecure
# Virtual terminals
ttyv1   “/usr/libexec/getty Pc”  cons25   on   insecure
ttyv2   “/usr/libexec/getty Pc”  cons25   on   insecure
ttyv3   “/usr/libexec/getty Pc”  cons25   on   insecure
ttyv4   “/usr/libexec/getty Pc”  cons25   on   insecure
ttyv5   “/usr/libexec/getty Pc”  cons25   on   insecure
ttyv6   “/usr/libexec/getty Pc”  cons25   on   insecure
ttyv7   “/usr/libexec/getty Pc”  cons25   on   insecure

Некоторые данные, которые необходимы в rc.conf

vi /etc/rc.conf
inetd_enable=”NO” # Better ways to run your daemons
syslogd_enable=”YES” # Конечно мы хотим вести регистрацию событий. Если вы планируете настроить
# удаленную регистрацию событий, тогда пропустите следующую строку.
# Если файлы регистрации событий будут расположены на локальном диске,
# убедитесь что у вас смонтирован раздел /var.
syslogd_flags=”-ss” # Этим мы закроем 514 udp порт если мы не хотим использовать удаленную
# регистрацию событий на или с этого сервера. Естественно не нужно добавлять
# эту строчку, если вы планируете настроить удаленную регистрацию событий.
icmp_drop_redirect=”YES” # Отключаем прием и отправку переадресовующих ICMP пакетов.
icmp_log_redirect=”YES” # Регистрировать переадресовующие ICMP пакеты в журнальном файле
clear_tmp_enable=”YES” # Очищать директорию /tmp при загрузке.
portmap_enable=”NO” # Если не используется NFS
icmp_bmcastecho=”NO” # Предотвращает springboarding и smurf атаки, запрещая серверу отвечать
# на широковещательные ping-пакеты.
fsck_y_enable=”YES” # При ошибках файловой системы на этапе загрузки утилита fsck будет
# запущена с флагом -y (man fsck)
update_motd=”NO” #Не обновлять файл с сообщением дня /etc/motd
tcp_drop_synfin=”YES” # Отбрасывать synfin пакеты. Смотри ниже, необходимые изменения в ядре.
log_in_vain=”YES” # Установите эту опцию, если вы хотите записывать все попытки подключения
# к закрытым портам вашего сервера.
sshd_enable=”YES” # Это позволит сделать удаленный доступ к серверу более защищенным.

quit и exit

используются для выхода из программы

more

основное средство для постраничного вывода на экран текста (содержимое файла или вывода команды). Синтаксис more файл. См. также less и cat.

grep

фильтр для отображения текста и результатов вывода другой программы. Может использовать регулярные выражения. См. также fgrep и egrep

find

программа поиска файла. Пример поиска файла crontab рекурсивно по всем директориям, начиная с корневого каталога: find / -name crontab

locate

быстрый поиск файла по предварительно сформированной базе данных. См. также updatedb

updatedb

обновляет базу данных о файлах для работы команды locate. В новой версии FreeBSD 7.2 для обновления базы данных служит скрипт /usr/libexec/locate.updatedb

man

система справки по командам. Синтаксис man [раздел] команда или man команда. Раздел указывается в виде номера.

pwd

показывает текущую директорию (каталог)

ls

показывает список содержимого директории (каталога). Позволяет просматривать права и владельцев, делать мягкие ссылки (soft или symbolic link) на файлы и папки. Синтаксис ls [-опции] [каталог]. Примеры опций: -F, -laF, -s, -l. См. также команду ln.

ln

делает жесткие ссылки (hard link), а также мягкие (с опцией -s) ссылки. См. также команду ls.

cd

меняет текущую директорию. Синтаксис cd каталог. В качестве каталога может быть также / (корневой каталог), .. (родительский каталог), . (текущий каталог, хотя его указывать для команды cd нет смысла).

halt

команда для остановки системы. Команда halt -n подавляет системный вызов sync приостанове.

shutdown

команда для остановки системы. Примеры: shutdown -h now (выключить компьютер сейчас), shutdown -r 09:30 “Reboot for maintenance”(перегрузить в 9.30 и разослать сообщение пользователям)

reboot

команда для перезагрузки. Аналог shutdown -h now

echo

вывод содержимого переменной или сообщения. Частый гость в скриптах.

dmesg

выдаёт список сообщений загрузки. Очень полезно для просмотра в консоли ssh тех сообщений, которые вываливаются по умолчанию на tty при подключении новых устройств (например USB)

clear

очищает экран консоли

vi

де-факто текстовый редактор. Не для простых пользователей, только для фанатов. Намного приятнее использовать mcedit или на худой конец cat. См. также ee и touch

boot0cfg

конфигуратор начального загрузчика FBSD

ifconfig

конфигурирование параметров сетевого интерфейса, получение параметров сетевых интерфейсов (имени, состояния, MAC-адреса)

dhclient

DHCP клиент. Его вызов без параметров пытается переконфигурировать все сетевые интерфейсы. Чтобы не поломать систему, в качестве параметра нужно как минимум указывать имя сетевого интерфейса (их узнать можно командой ifconfig без параметров).

fsck

проверка дисков

cp — копирование, mv — перемещение файла, rm — удаление файла, папки или группы файлов и папок, rmdir — удаление пустого каталога (-p с подкаталогами).

touch

создание пустого нового файла, или изменение даты/времени последнего доступа для существующего файла, или модификация существующего файла.

wc

подсчёт в файле строк, слов и символов

sort

сортировка текстового файла

tr

замена/удаление символов в файле (строки, к сожалению, менять нельзя)

cut

вывод частей строк из текстовых файлов. Пример вырезания только второго поля из строки, разделитель полей — пробел: cut -f2 –delimiter=” ” file1.txt > file2.txt

fmt

простое форматирование и обработка текста. Более сложная обработка текста — sed и awk.

uniq -c file1

подсчёт в файле file1 одинаковых строк и вывод только разных строк с количеством их вхождений

uniq nouniq.txt > uniq.txt

оставляет в файле uniq.txt только уникальные строки (только при условии, если он предварительно отсортирован, например командой sort)

chmod

изменение прав на файлы

killall

посылка сигналов демонам и программам. См. также kill

pkg_add

установка пакета. См. также pkg_info, pkg_delete

ftp

ftp-клиент

make

программа для сборки и установки пакетов

whereis

поиск пакетов и приложений. См. также which и locate

which

показывает, прописана ли программа в переменной среды PATH

mount

монтирование файла устройства в нужную папку. См. также mount_cd9660

smbclient

подключение к общим сетевым папкам Windows (Samba-клиент)

cmp

сравнение файлов. См. также diff

uname

выводит версию операционной системы

tcpdump

снифер. См. также tethereal

tail

вывод хвоста файла. Чрезвычайно удобно следить за изменениями файла, например, логами. Пример: tail -f файл. См. также head

head

вывод первых строк файла

mail

консольный почтовый клиент. Часто используется для чтения системной почты с разными предупреждающими сообщениями, которую FreeBSD отправляет пользователю root

dd

клонирование дисков

df

просмотр смонтированных дисков. Пример просмотра сколько осталось свободного места: df -m. См. также du

mkdir

создает папку

ssh

ssh-клиент

telnet

telnet-клиент

perl

запуск скриптов на выполнение на языке Perl (расширение .pl)

ps

просмотр запущенных процессов. Опция -ax выводит также список запущенных демонов. Команду ps -ax удобно использовать совместно с grep или more

top

просмотр запущенных процессов, а также сколько они занимают места в памяти. Программа top после выполнения остается загруженной, и постоянно обновляет список процессов. Кроме того, программа показывает загруженность процессора, использование памяти, использование swap-файла.

script

сохранить в файл работу в консоли

ping

определение доступности хоста по IP

traceroute

построение маршрута до хоста по IP

fdformat

форматирование floppy-дисков

bash

более удобный командный интерпретатор, чем использующийся по умолчанию, стандартный sh

hostname

позволяет узнать имя текущей машины

sockstat -4

показывает открытые TCP сокеты

history

просмотр листинга ранее введённых в консоли команд

du

просмотр статистики по использованию диска. Например (-h показать в человеческом формате с глубиной подпапок 2): du -h -d2 | more

passwd

смена пароля. Команда chpass запускает vi с открытым файлом информации для root

tar

объединение файлов и каталогов в один файл (обычно для архивирования или записи на ленту)

gzip

архиватор, см. также bzip2

netstat

просмотр информации по сетевой подсистеме. Часто используется для просмотра маршрутов и состояния сетевых интерфейсов. Например, netstat -a показывает статистику сетевых соединений, с адресами и портами. С опцией netstat -na без символьных имен (работает намного быстрее). Просмотр маршрутов netstat -rn.

route

управление маршрутами

date

получение текущей даты и/или времени. Часто используется в скриптах для генерации уникального имени файла, или имени, содерщего информации о дате

mc

Midnight Commander — аналог файлового менеджера Norton Commander. Для новичка — это первейшая программа, которую следует установить

mcedit

удобный текстовый редактор, который устанавливается вместе с Midnight Commander

host

несет в себе функции nslookup от Windows.

nslookup

проверка работы серверов DNS — можно посылать DNS запросы в интерактивном режиме

nmap

сканер портов и хостов. Это вторая программа, которую стоит поставить.

mpd

демон, обслуживающий PPP-соединения. Позволяет устанавливать VPN-соединения, например, с провайдерами Интернет.

logger

средство для занесения записей в syslog с командной строки

sysctl

нужна для просмотра и установки переменных системы

ipnat

утилита, реализующая подсистему NAT

who

посмотреть, кто работает и за какими консолями

whoami

посмотреть, под каким именем я залогинен

su

средство смены логина. Обычно используется для перехода к выполнению административных функций

w

посмотреть, кто залогинен, когда, с какого IP, какая программа выполняется в консоли

time

позволяет измерить время работы скрипта или программы

iconv

мощный перекодировщик (из одной кодировки в другую) текстовых файлов

cat

мощная команда как для вывода файлов на экран (альтернатива more), так и для создания новых файлов. Намного удобнее, чем паленый текстовый редактор vi.

ldd full_path_to_binary_program_file

показывает зависимости для программы — какие библиотеки или модули использует программа, и где они находятся

adduser

добавление нового пользователя в систему

rmuser

удаление пользователя из системы

service

скрипт в Red Hat Linux, который позволяет посмотреть статус сервисов (service –status-all), а также остановить, запустить и перезапустить их (например service smb restart). Под сервисами понимаются демоны.

scp

secure copy program — утилита для защищенного копирования файлов по протоколу SSH.

tee

перенаправление клавиатурного ввода в файл. Удобная замена текстовому редактору в том случае, когда нужно в putty что-то скопировать из буфера обмена Windows в файл на *nix. Пример: tee имя_файла.txt, после чего жмем Ctl+V (вставка из буфера обмена в консоль putty) и потом Ctrl+C (окончание работы для tee). В результате получаем в текущем каталоге файл имя_файла.txt с содержимым буфера обмена.

chgrp chown chmod

три команды, меняющие у файлового объекта (файла, папки, вложенных папок и файлов) соответсвенно группу (group), владельца (owner), прав доступа (mode). Для того, чтобы команда применялась на вложенные файлы и папки, нужно вызывать команды с опцией -R. Пример смены группы: chgrp -R <группа>. Напомню, что права, группу и владельца на файлы и каталоги можно посмотреть командой ls -l

Для начала публикую вид который имеет программа в рабочем состоянии :

Mon Dec 13 09:33:51 2010                                                 0:01:12

%pkts  total    %size   total   sz/pkt    bit/s                          type

100.00%        100.00%   21.7k     148     2.8k  21.7k.0    total

100.00%        100.00%           148     2.8k               `-ipv4

97.31%         97.73%           149     2.8k                 |-tcp

97.31%         97.73%           149     2.8k                 | `-ssh

2.68%          2.26%           125     0.0                  `-udp

2.68%          2.26%           125     0.0                    `-domain

Как видно из примера – программа имеет иной вывод в отличии от рассмотренных нами iftop и tafshow. Но она тоже весьма информативна, но вывод ее ближе к netstat чем к упомянутым утилитам. Как по мне – по выводу этой утилиты проще отслеживать текущую активность по портам что иногда бывает крайне ценно.   На примере можно отследить общую скорость передачи данных и проценты которые из нее занимают разные порты.  В такой подачи информации есть плюсы именно тогда когда речь идет о противодействии и определению DOS атак.

В установке и использовании программа предельно проста, находиться в портах FreeBSD:

ifreebsd#/>cd /usr/ports/net-mgmt/nettop

ifreebsd#…ports/net-mgmt/nettop>make install clean

Запускать можно с ключом указания интерфейса, например так :

ifreebsd#…ports/net-mgmt/nettop>nettop -i xl0

Удачи. Остались вопросы, добро пожаловать в комментарии.

Возможно кому-то будет полезным. Также можно распечатать и повесить возле рабочего места.

Очень коротко описываем как запустить freeBSD в Linux используя KVM.

Обязательно ! Поддержка виртуализации вашем процессором, используется аппаратная виртуализация.

Установка :

aptitude update && aptitude upgrade && aptitude install kvm libvirt-bin virtinst

shutdown -r now

Проверка —

Удачи

Установка :

поиск

Сначала Linux пример, ниже netbsd и в конце freebsd настройка ntp

Пример Debian 6.
смотреть текущее время
date
Настраиваем правильную временную зону –
тут находим необходимую
/usr/share/zoneinfo/
делам на нее ссылку —
Пример :
ln -sf /usr/share/zoneinfo/Europe/Kiev /etc/localtime
Далее настраиваем синхронизацию :

установим
apt-get install ntpdate

запустим ( пример )
ntpdate 194.186.254.22 195.2.64.5

На постоянной основы это можно сделать двумя способами :
способ раз –
Настроить команду
ntpdate 194.186.254.22 195.2.64.5
на исполнение в cron
способ два –
устанавливаем сервер ntp server ( он будет при каждой загрузке синхронизироваться ).

apt-get install ntp

настройка сервера производится через редактирование /etc/ntp.conf
но default настройки рабочие их и оставим.

На NetBSD.

ln -sf /usr/share/zoneinfo/Europe/Kiev /etc/localtime

На NetBSD ntp клиент и сервер установлены вместе с системой.

синхронизируем время.
ntpdate -b ntp1.inrim.it ntp2.inrim.it

Для того чтобы сервер делал это с перезагрузкой – добавим в rc.conf

ntpdate=YES ntpdate_hosts=”ntp1.inrim.it”

На FreeBSD :

команда идентичная другим Unix собратьям для установки временной зоны :

ln -sf /usr/share/zoneinfo/Europe/Kiev /etc/localtime

синхронизируем

ntpdate -b ntp1.inrim.it ntp2.inrim.it

Добавляем чтобы поднять сервер

ntpdate_enable=”YES” в файл /etc/rc.conf.

файл настройки /etc/ntp.conf – дефалтный вполне рабочий.

Удачи.

Хотя это также справедливо и для других видов серверов под FreeBSD c небольшими изменениями. Вообщем все что из ядра выбрасываю описываю почему поэтому можно использовать как информацию к размышлению при сборке собственного ядра. В самом конце будет опубликовано то что у меня получилось одним куском.

Поехали :

Убираем поддержку IPV6 из ядра ( не вижу в ней необходимости в текущих реалиях и на несколько ближайших лет ) тем более что задача данного сервера таки NAT.

Также  SCTP опция работает только с IPV6.

#options        INET6                   # IPv6 communications protocols

#options        SCTP                    # Stream Control Transmission Protocol

Отключаем опцию debug  ( не планируем использовать gdb для отладки .)

#makeoptions    DEBUG=-g

Эта файловая система нам скорее всего не понадобится :

#options        MSDOSFS                 # MSDOS Filesystem

SCSI устройств нету – опрашивать нечего

#options        SCSI_DELAY=5000         # Delay (in ms) before probing SCSI

Трассировка процессов не понадобится.

#options        KTRACE                  # ktrace(1) support

#options        STACK                   # stack(9) support

AUDIT на этой машинке не понадобится убираем

#options        AUDIT

Далее все зависит от того что именно у вас за железо,  у меня получилось так :

не забывайте – всегда можно глянуть dmesg на предмет ваших устройств и исходя из них удалить не нужное.

# Floppy drives

#device         fdc

Полностью комментируем # SCSI Controllers

В ATA контроллерах я убрал :

# ATA controllers

#device         mvs             # Marvell 88SX50XX/88SX60XX/88SX70XX/SoC SATA

#device         siis            # SiliconImage SiI3124/SiI3132/SiI3531 SATA

Рад комментариям

mount_smbfs -N -I <ip_адрес_сервера> //<имя_пользователя>@<имя_сервера>/<общий ресурс> <каталог_монтирования>

N – указывает, что учетные данные берутся из файла настроек

I  – позволяет задать адрес сервера, без разрешения по имени

Соответсвенно задать учетные данные можно в /etc/nsmb.conf. Либо в пользовательском каталоге в ~/.nsmbrc.

Формат простой:

[ИМЯ СЕРВЕРА:ПОЛЬЗОВАТЕЛЬ]
password=пароль

Самые главные грабли – имя пользователя должно быть задано прописными буквами. В противном случае, например, если написать backup, вместо BACKUP, можно долго и упорно пытаться понять, почему же выдается ошибка авторизации (вида – mount_smbfs: unable to open connection: syserr = Authentication error  ).

Детальное описание:

http://www.freebsd.org/cgi/man.cgi?query=nsmb.conf&apropos=0&sektion=0&manpath=FreeBSD+8.2-RELEASE&arch=default&format=html

http://www.freebsd.org/cgi/man.cgi?query=mount_smbfs&apropos=0&sektion=0&manpath=FreeBSD+8.2-RELEASE&arch=default&format=html

pbzip2 -z file.iso # or —compress, it will archieve file.iso file
pbzip2 -d file.tbz # or —decompress, it will unarchive file.tbz into file.iso

If you want to use pbzip2 with tar ( instead of bzip2) you have the following choices:
1. create an alias from tar to tar —use-compress-prog=pbzip2
alias tar tar —use-compress-prog=pbzip2

2. move bzip2 binary and create a symlink to pbzip2
mv /usr/bin/bzip2 /usr/bin/bzip2.old
ln -s /usr/local/bin/pbzip2 /usr/bin/bzip2

3. use pipe
tar -cf — . | pbzip2 > ../file.tbz

4. use —use-compress-prog parameter of tar (which will also pipe to pbzip2
tar —use-compress-prog=pbzip2 -cf file.tbz .

There is also pigz — parallell gzip — multi thread gzip compression utility.

Моя дисковая система выглядит так

hotfreebsd# df -h
Filesystem            Size    Used   Avail Capacity  Mounted on
/dev/mirror/gm0s1a    1.9G    589M    1.2G    32%    /
devfs                 1.0K    1.0K      0B   100%    /dev
/dev/mirror/gm0s1d     19G    1.5G     16G     9%    /cache
/dev/mirror/gm0s1h     26G    786M     23G     3%    /home
/dev/mirror/gm0s1g    4.8G     20K    4.5G     0%    /tmp
/dev/mirror/gm0s1e     29G    1.3G     25G     5%    /usr
/dev/mirror/gm0s1f     58G    967M     53G     2%    /var
devfs                 1.0K    1.0K      0B   100%    /var/named/dev

Собран RAID1 при помощи gmirror. У вас картина может быть другой, например что-то вроде

hotfreebsd# df -h
Filesystem     Size    Used   Avail Capacity  Mounted on
/dev/da0s1a    989M    183M    728M    20%    /
devfs          1.0K    1.0K      0B   100%    /dev
/dev/da0s1d     12G    8.2G    2.5G    76%    /cache
/dev/da0s1f    989M     26K    910M     0%    /tmp
/dev/da0s1g     13G    4.5G    7.3G    38%    /usr
/dev/da0s1e    4.8G    976M    3.5G    21%    /var
devfs          1.0K    1.0K      0B   100%    /var/named/dev

Это другая машина, где просто 1 SCSI HDD. Для SATA/PATA диск прсото будет не
/dev/da0s1a
а
/dev/ad0s1a

В создании резервных копий нам поможет старая, но вполне рабочая утилита dump.

Создадим папку для резервных копий. Вообще резервные копии необходимо хранить в идеале в другом физическом месте, или хотя бы на другом компьютере. Но например при возникновении пожара вы можете потерять оба компьютера и данные вам восстановить будет неоткуда.
Поэтому решайте сами насколько ценные данные у вас хранятся.

Для простоты я создал папку на этом же диске

mkdir /home/backup/

в неё и буду складывать резервные копии, там они всеравно не задержатся и будут перемещены. В общем не будем усложнять пример. С полученой резервной копией вы сможете сделать что хотите – утащить на другой комп, записать на внешний HDD или записать DVD диск.

По моему первому варианту (с массивом gmirror)

Я написал простенький скриптик

#!/bin/sh
# резервное копирование основных разделов за исключением home
echo 'Начал копирование корневого раздела'
DATE=`date +%Y.%m.%d`
 echo 'Начато копирование корневого раздела'
dump -0 -L -f - / | gzip -9  >  /home/backup/root.${DATE}.img.gz
 echo 'Корневой раздел скопирован, жду 4 секунды'
sleep 4
dump -0 -L -f - /usr | gzip -9  >  /home/backup/usr.${DATE}.img.gz
 echo 'Раздел usr скопирован, жду 4 секунды'
sleep 4
dump -0 -L -f - /var | gzip -9  >  /home/backup/var.${DATE}.img.gz
 echo 'Раздел var скопирован. Все задачи резервного копирования выполнены.'

поместил это в отдельный файлик

/root/backup.sh

даю права на выполнение

chmod 700 /root/backup.sh

и просто его запускаю (в системе как root)
hotfreebsd# ~/backup.sh

и жду пока все скопируется.

Можно запустить и руками.

Например строка в скрипте

dump -0 -L -f - /usr | gzip -9  >  /home/backup/usr.${DATE}.img.gz

Примечание: эта строка в shell не сработает, для запуска команды в консоли нужно набрать

dump -0 -L -f - /usr | gzip -9  >  /home/backup/usr.`date +%Y.%m.%d`.img.gz

запускает утилиту dump для раздела /usr с полным копирование данных (-)
-L говорит о том, что это “живая файловая система” т.е. она смонтирована в режиме запись/чтение
-f запись копии в файл (по умолчанию dump пишет данные на стример – это такой накопитель внешний для резервных копий, нам нужно в файл, поэтому опцию нужно указать)

Затем мы передаем результат работы dump на вход утилите сжатия gzip с параметром сжатия -9 (максимальное сжатие) и потом идет сама запись в файл по пути /home/backup/usr.${DATE}.img.gz
Переменная ${DATE} превратится в текущую дату. Сжатие наверное у меня чрезмерное, но компьютер достаточно мощный, и я не спешу, если не хотите сжимать резервную копию, то можете сразу в файл писать или поставьте степень сжатия поменьше, например gzip -2.

Для второго варианта (без массива gmirror)

Подойдет что-то вроде

hotfreebsd# dump -0 -L -f - /dev/da0s1a > /home/backup/root.`date +%Y.%m.%d`.img

В этом примере я не сжимаю резервную копию, соответственно и расширение у конечного файла просто img

Восстановить данные можно при помощи другой программы – restore

В случае, если у вас применялось gzip сжатие образа при создании, то работает конструкция вроде

Внимание! Опасная команда!

hotfreebsd# gzip -d  /home/backup/root.2009.05.06.img.gz  | ( cd / ; restore -rf - )

Что происходит при запуске этой команды
— мы запускаем gzip с параметром -d (это значить распаковать архив)
— мы указываем файл, который содержит резервную копию
— переходим в раздел, в который нужно восстановить нашу копию (в этом примере восстанавливаем корневой раздел)

или вот так для восстановления /usr

gzip -d  /home/backup/usr.2009.05.06.img.gz  | ( cd /usr ; restore -rf - )

Если даные не сжаты, то делаем так (восстановление /usr)

cat /home/backup/usr.2009.05.06.img.gz  | ( cd /usr ; restore -rf - )

Внимание! Существующие данные при восстановлении уничтожаются! Поэтому экспериментируйте осторожно. Важно освоить этот простой механизм резервного копирования и восстановления в спокойной, штатной обстановке, чтобы потом быть уверенным в том, что вы все делаете правильно, и ваши резервные копии действительно работают.

/etc/login.conf:

russian|Russian Users Accounts:\
:charset=UTF-8:\
:lang=ru_RU.UTF-8:\
:tc=default:

# cap_mkdb /etc/login.conf
# pw usermod -n $username -L russian

Собственно, этого достаточно — вот так все просто
Альтернативно, либо дополнительно к вышеприведенному способу, можно прописать переменные в используемом шеле:
/etc/csh.cshrc:

setenv LANG ru_RU.UTF-8
setenv LC_CTYPE ru_RU.UTF-8
setenv LC_COLLATE POSIX
setenv LC_ALL ru_RU.UTF-8

/etc/profile: (опционально, для тех кто любит баш.)

LANG="ru_RU.UTF-8"; export LANG
LC_CTYPE="ru_RU.UTF-8"; export LC_CTYPE
LC_COLLATE="POSIX"; export LC_COLLATE
LC_ALL="ru_RU.UTF-8"; export LC_ALL

/root/.cshrc: (руту русификации не положены)

setenv LANG C
setenv LC_CTYPE C
setenv LC_COLLATE POSIX
setenv LC_ALL C

/etc/fstab:

# NTFS data
/dev/ad0s4      /mnt/data2 ntfs-3g  default,rw,locale=ru_RU.UTF-8 0 0

Из консоли можно так:

# mount_ntfs -C UTF-8 /dev/ad0s4 /mnt/winda # ro mount
# mount_ntfs-3g /dev/ad0s4 /mnt/winda -o deafult,rw,locale=ru_RU.UTF-8 # right way; portinstall sysutils/fusefs-ntfs

update 280609:
Хотел сказать что вышеприведенный спрособ руссификации не затрагивает системную консоль, но этого достаточно, чтобы в юзерском шеле был utf8
Также о процессе перевода и системной консоли на utf8 можно посмотреть тут: http://www.opennet.ru/tips/info/1448.shtml

Переключение раскладки клавиатуры в X11:

/etc/X11/xorg.conf:
(в принципе, можно обойтись и без этого, если вы настроите переключение в соотвествующем оконном менеджере, но данный вариант более универсален.)

Section "InputDevice" 
Identifier "Keyboard0" 
Driver "keyboard" 
Option "XkbModel" "microsoftpro" 
Option "XkbLayout" "us,ru" 
Option "XkbOptions" "grp:ctrl_shift_toggle,grp:lwin_switch,grp_led:scroll" 
Option "XkbVariant" ",winkeys" 
EndSection

Переключение раскладки клавиатуры в KDE:

Тут можно все сделать через kcontrol типа (Пуск -> Настройка -> Региональные и спец.настройки -> Настройка клавиатуры) но это не по джидайски. Посему идем классическим unix way:

~/.kde/share/config/kdeglobals должна быть строчка

Switch to Next Keyboard Layout=Ctrl+Shift_L;

Вообще я крайне рекомендую поизучать и сохранять этот файл. Потом настроить рабочую среду на другом компе — дело 2 минут.

xxkb индикатор раскладки c привязкой к приложению:

~./.kde/share/config/kxkbrc

[Layout]
DisplayNames=
EnableXkbOptions=true
IncludeGroups=ru(winkeys):us
LayoutList=us,ru(winkeys)
Model=pc104
Options=grp:lctrl_lshift_toggle,grp_led:scroll
ResetOldOptions=true
ShowFlag=true
ShowSingle=false
StickySwitching=false
StickySwitchingDepth=2
SwitchMode=WinClass
Use=true

Usefull links:

http://www.lissyara.su/?id=1444 FreeBSD как десктопная система
http://community.livejournal.com/ru_linux/1147523.html русификация аудиопроигрывателей (конвертация mp3 тегов).

http://pcbsd.ru/doc/statyi/article21-2008-03-23.html PC-BSD 1.5: установка, настройка, русификация. (utf-8)
http://www.pcbsd.ru/forum/index.php/topic,93.0.html Руссификация компонентов системы
http://forum.pcbsd.org.ua/viewtopic.php?t=120 Русификация системы (koi8-r)

О том, как собирать и устанавливать ядро в FreeBSD я уже писал не один раз, со всякими приметками и конфигурациями. Главное о чём я хочу написать в статье — это, как себя обезопасить — если вы это делаете удалённо.

Для этого нужно всего лишь что бы под рукой был KVM свич или кто-либо имел возможность физически нажать на сервере ‘reset’.

Идея в заголовке этой статьи — это сборка и установка ядра в «песочнице» или простыми словами, которые более правильно объясняют идею — это установка в отдельную директорию, не затрагивающую нынешнее «рабочее» ядро с последующей попыткой загрузки с него. А в случае неудачи — после ‘reseta’ — возвратом на старое ядро.

Итак, на этапе команд:

# cd /usr/src
# make buildkernel KERNCONF=MYKERNEL

Следующей командой будет создание тестовой директории и установка ядра в неё:

# mkdir /boot/test_kernel
# make -s installkernel KERNCONF=MYKERNEL DESTDIR=/boot/test_kernel

Теперь, после того как тестовое ядро установлено, нужно сделать так что бы система единоразово загрузилась с него при следующей загрузке. Для этого выполним такую команду:

# nextboot -k test_kernel/boot/kernel

!!! Обратите внимание на то, что в использовании команды nextboot — необходимо вводить путь относительно каталога /boot/.

После чего производим перезагрузку системы:

# shutdown -r now

Проверим имя ядра:

# uname -i
MYKERNEL

Далее, смотрим на стабильность новоиспеченного ядра. Гоняем, тестируем.
Если всё, ок — Бекапим рабочее ядро. И подсовываем на место основного ядра — тестовое:

# mv /boot/kernel /boot/kernel_work
# mv /boot/test_kernel/boot/kernel /boot/kernel
# reboot

После загрузки — у нас по умолчанию будет загружено наше бывшее «тестовое» ядро, как основное ядро которое будет загружаться всегда.

Зачем необходимо пересобирать собственное ядро?

Вопрос вполне вменяем, ведь с развитием системы — чем дальше, тем она динамичнее и более самодостаточна, но всё же. Представим ситуацию, когда у нас есть старенькое железо например:

CPU: 200Mhz
Memory: 128Mb
HDD: 4Mb
на борту есть 3 PCI слота в которые установлены две супер модные
и современные сетевые карты. Одна (на входе) - оптическая, вторая
(на выходе) - под витую пару в домашний супер свич.

Мы все это железо хотим использовать для домашнего роутера, а точнее шлюза, но….

когда мы инсталлируем систему, карточки не определяются.
Благо, производители железа побеспокоились о драйверах и написали их для широкого круга людей с инструкцией по их установке.

Вот и получается, что нам теперь нужно вкомпилить драйвера в нашу свежую систему, и попутно убрать из ядра неиспользуемое железо, что бы не забирало лишнюю память.

Кроме того, заранее планируем использование netgraph и включим firewall.

Приступим к нашей затее.

Первым делом, нам нужно убедится в наличии исходных кодов ядра в папке /usr/src

# ls -la /usr/src/
total 4
drwxr-xr-x   22 root  wheel     512 Oct 29 13:22 .
drwxr-xr-x   18 root  wheel     512 Oct 29 14:20 ..

Пусто. Значит у нас есть задача сюда положить исходники ядра. Данную операцию можно выполнить как минимум 2мя способами, в нашем случае — это будет через меню sysinstall из диска, так как сети у нас еще нет.

#sysinstall

далее:
Configure, Distributions, src, здесь выбираем «sys» (/usr/src/sys) и выходим из меню, выходим еще раз и у нас спросят откуда ставить — выбираем CD/DVD и жмем «OK»

Второй вариант, занести их через флешь 
Но можно и ухитрится, временно поставить какую-нибудь попроще сетевую карточку, что бы появилась сеть и воспользоваться утилитой cvsup (а вдруг уже добавили наше железо в исходники  ):

Создаем файл supfile-src-sys

# cat /other/work/supfile-src-sys
#
# Kernel source supfile
#
  *default host=cvsup5.FreeBSD.org
  *default base=/var/db
  *default prefix=/usr
  *default release=cvs tag=RELENG_6_3_0_RELEASE
  *default delete use-rel-suffix
  *default compress
  src-sys

PS. На наше железо стала версия 6.3, если на вашем другое — то tag= должно быть другое.

Запустим:

# cvsup -g -L 2  /other/work/supfile-src-sys

и спустя несколько минут (5-25), всё зависит от машинки и скорости интернета с узла cvsup5.FreeBSD.org.

перепроверим еще раз папку и /usr/src и убедимся, что теперь она не пуста.

# ls -la /usr/src/
total 5
drwxr-xr-x   22 root  wheel     512 Oct 29 13:22 .
drwxr-xr-x   18 root  wheel     512 Oct 29 14:20 ..
drwxr-xr-x   56 root  wheel    1024 Oct 28 10:12 sys

Теперь можем приступать к конфигурации нашего ядра.
Заходим:

# cd /usr/src/sys/i386/conf/
также можно зайти по симлинку, кому как удобнее
# cd /sys/i386/conf/

# ls -l | grep GENERIC
-rw-r--r--  1 root  wheel  12472 Oct 28 10:12 GENERIC
-rw-r--r--  1 root  wheel   1745 Oct 28 10:12 GENERIC.hints

далее, делаем копию GENERIC во что нибудь свое.

PS. ВНИМАНИЕ!!!! GENERIC ПРАВИТЬ НЕ НУЖНО. На форумах часто встречаются глупые вопросы, я правлю GENERIC и почему вот у меня нифига не получается. Ругань и прочее..

# cp GENERIC MYKERNEL

И уж потом правим MYKERNEL

# mcedit MYKERNEL

Вспоминая нашу изначальную задачу — заставить нашу железку работать с суперновыми сетевыми картами, дописываем на диск в наше залитое ядро файлы, которые предоставил производитель. И добавляем соответствующие строки в MYKERNEL (соблюдая инструкцию от производителя)

Попутно, оптимизируем — добавляя необходимое и убирая лишнее..

machine i386        # Тип платформы. 
cpu I586_CPU       # Тип процессора, с которыми будет работать ОС. 
cpu I686_CPU       # Здесь можно указать несколько значений. 
ident	   MYKERNEL # Название файла который мы правим :)
maxusers 32         # Максимальное число пользователей. 

Коментим лишнее
#options 	INET6 # Я обычно коменчу, пока что мы не юзаем IPv6 протокол
#options 	NFSSERVER # Я не собираюсь на такой тачке делать NFSSERVER

options EXT2FS    # Включаем поддержку файловой системы Ext2 (Linux)
device apm0        # Поддержка автоматического управления питанием 
(меняем c #device apm0 at nexus? disable flags 0x20 )

Добавляем стандартный набор, как правило для нашего домашнего роутера он будет выглядеть так:

options         EXT2FS
options         DEVICE_POLLING
options         HZ=1000
#options         IPFILTER
#options         IPFILTER_LOG
options         IPFIREWALL
options         IPFIREWALL_VERBOSE
options         IPFIREWALL_VERBOSE_LIMIT=200
options         IPFIREWALL_DEFAULT_TO_ACCEPT
options         IPFIREWALL_FORWARD
options         IPFIREWALL_NAT
options         DUMMYNET
options         IPDIVERT
options         QUOTA
options         LIBALIAS
options         ROUTETABLES=2
options         ACCEPT_FILTER_DATA
#options         TCP_DROP_SYNFIN
#options         ICMP_BANDLIMIT
#options         TCP_RESTRICT_RST
#####NETGRAPH##### Эту часть не обязательно добавлять, мы ее добавляем 
#только в том случае, если будем использовать NETGRAPH.
options         NETGRAPH
options         NETGRAPH_PPP
options         NETGRAPH_PPPOE
options         NETGRAPH_PPTPGRE
options         NETGRAPH_BPF
options         NETGRAPH_ETHER
options         NETGRAPH_IFACE
options         NETGRAPH_VJC
options         NETGRAPH_SOCKET
options         NETGRAPH_KSOCKET
options         NETGRAPH_TEE
options         NETGRAPH_RFC1490
options         NETGRAPH_MPPC_ENCRYPTION
#######Если у Вас на этой машинке есть пишущий привод, то сразу добавим:
device          atapicam
###В секцию: # SCSI peripherals

Коментим по описанному принципу лишнее, только не переусердствуйте (что бы не получилось как у меня в первый раз, я совсем все лишнее отключил  )

Но если всё таки вы переусердствуете, и у вас ничего не запуститься после перезапуска системы — не переживайте, всё нормально, жизнь на этом не остановилась.. У нас есть выход:
Жмем RESET и на этапе загрузчика жмакаем на ESC.
появится запрос, мы в него напишем:
boot kernel.old и нажмем ENTER, тем самым загрузив старое ядро.
PS. Важно знать!!! После каждой пересборки ядра — в ее процессе создается директория /boot/kernel.old которая за каждым разом заменяется файлами из /boot/kernel. Поэтому, рекомендую сделать такую хитрость: скопируйте себе сразу же рабочее ядро например в директорию /boot/generic:

# cd /boot
# cp -r kernel.old generic

Тем самым вы обезопасите себя, если у вас и во второй раз не заведется система, вы просто наберете boot /boot/generic

Теперь вернемся к нашему процессу сборки.
Проверяем, убеждаемся что броде бы все правильно, лишнее убрано, недостающее — дописано. Переходим к процессу компиляции.

Сейчас рекомендуют делать так:

# cd /usr/src
# make buildkernel KERNCONF=MYKERNEL
# make installkernel KERNCONF=MYKERNEL
# shutdown -r now

Раньше было так:

# cd /sys/i386/conf/
# config MYKERNEL #При этом вам выдадут дальнейшие инструкции,
 и подскажут о ваших ошибках (если они есть)
# cd ../compile/MYKERNEL
# make cleandepend; make depend && make install && reboot
И ждем...

После сборки нового ядра, перезагружаемся и смотрим, завелось или нет, если нет — читаем примечание выше, если да — радуемся и попиваем пивко.

PS. Если вам нужно чего-то еще добавить в ядро, можем пройтись еще раз по уже накатанной дороге, но можем сделать и немного по другому.. Мы можем подгрузится модулем ядра:
(попутно вспомнил анекдот:
— Любимый, ты борщ умеешь варить?
— секундочку… kldload borsh, теперь да!!!!)

так вот, для того что бы подгрузить модуль можно пользоваться утилитой kldload, для того что бы просмотреть уже подгруженное: kldstat, а для того что бы отгрузить модуль (забыть про то как варить борщ): kldunload borsh.

Также можно дописать в файл лоадера, что подгружать ядром (не будем же мы всё время ручками это делать)

# cat /boot/loader.conf
accf_http_load="YES"
bridge_load="YES"
snd_driver_load="YES"

Удачного и стабильного вам ядра…

Источник: http://noted.org.ua/255