Блог ни о чём, заметки с тегом: сисадминство

Проброс событий в ClickHouse с использованием Vector

Tue, 01 Jul 2025 16:23:41 +0300

От устройства снаружи ИС на фронтальные балансировщики приходят сообщения в локейшн

/<device_location>/status

Файл журнала

/var/log/<device_access_log_file_path>.status.access.log

разбирается с помощью vector, пересылающий события на внутренний балансировщик. Между фронтальными и внутренними балансировщиками есть сетевая связность по порту TCP

<port>

Конфиг vector на фронтальных балансировщиках: Показать

sources:
  device-status:
    type: "file"
    max_line_bytes: 1638400
    include:
      - /var/log/<device_access_log_file_path>.status.access.log

transforms:
  device-status_filter:
    type: "filter"
    inputs:
      - device-status
    condition:
      .message != ""

  device-status_transform:
    type: "remap"
    inputs:
      - device-status_filter
    source: |
      .message = parse_jsonI(.message)
      .message.traffic_source = .host
      . = .message

sinks:
  sink_clickhouse:
    type: "clickhouse"
    inputs:
      - device-status_transform
    endpoint: "http://<inner_BGP_IP>:<port>"
    format: "json_as_string"
    healthcheck:
        enabled: false
    auth:
      strategy: "basic"
      user: "<clickhouse_DB_user>"
      password: "<clickhouse_DB_password>"
    database: "<clickhouse_DB>"
    table: "<clickhouse_table>"

Конфиг внутреннего балансировщика, пробрасывающего события в clickhouse: Показать

stream {
include /etc/<path_to_balancer_config>/log-format-s.conf;

upstream clickhouse8123 {
    server <clickhouse_BGP_IP>:8123;
    server <clickhouse_node1_IP>:8123 backup;
    server <clickhouse_node2_IP>:8123 backup;
}

server {
    listen <port>;
    proxy_pass clickhouse8123;
    access_log /var/log/<access_log_file_path> main_json_mini_s;
    error_log /var/log/<error_log_file_path>;
}
}

Команды clickhouse для создания БД, таблиц и представлений: Показать

# Создание БД
CREATE DATABASE vector ON CLUSTER <cluster_name>;

DROP TABLE IF EXISTS vector.device_status_logs ON CLUSTER <cluster_name>;
# Создание таблицы
CREATE TABLE vector.device_status_logs ON CLUSTER <cluster_name> (
        'message' String
)
ENGINE = ReplicatedReplacingMergeTree('/сlickhouse/{cluster}/tables/validator_status_logs','{replica}')
ORDER BY tuple();

DROP VIEW IF EXISTS vector.device_status_logs_view ON CLUSTER <cluster_name>;
# Создание представления
CREATE MATERIALIZED VIEW vector.device_status_logs_view ON CLUSTER <cluster_name> (
        'time_stamp' DateTime,
        'req' String,
        'req_body' String
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/{cluster}/tables/device_status_logs_view','{replica}')
ORDER BY time_stamp
SETTINGS index_granularity = 8192
AS SELECT
        parseDateTimeBestEffortOrNull(JSONExtractString(message, 'timestamp')) AS time_stamp,
        simpleJSONExtractRaw(message, 'req') AS req,
        simpleJSONExtractRaw(message, 'req_body') AS req_body
FROM (
        SELECT message
        FROM vector.device_status_logs
);

Полезное: БД Postgres

Wed, 25 Jun 2025 11:57:37 +0300

#postgresql #owner #create #delete

DROP DATABASE {db} with (FORCE);
CREATE DATABASE {db} WITH OWNER {user|role};
...<импорт БД>...
SELECT concat ('ALTER TYPE ' , typname, ' OWNER TO {user|role};') from pg_type where typtype ='e' and typnamespace =(select oid from pg_catalog.pg_namespace where nspname ='checkpoint' );
SELECT concat ('ALTER TABLE ' , {db} , ' OWNER TO {user|role};') from information_schema."tables" t where table_schema = 'checkpoint' ;
ALTER SCHEMA checkpoint OWNER TO {user|role};

#включение сбора статистики на кластере PostgreSQL+patroni
Имя кластера смотрится командой

patronictl -c /etc/patroni/patroni.yml list

На лидере кластера выполнить команду

/usr/local/bin/patronictl -c /etc/patroni/patroni.yml edit-config

В разделе postgresql: -> parameters: добавить строку

shared_preload_libraries: pg_stat_statements

Согласиться на применение изменений. Перезагрузить кластер командой

/usr/local/bin/patronictl -c /etc/patroni/patroni.yml restart <имя кластера>

Затем от пользователя postgres запустить psql

sudo su postgres
psql

и выполнить команду

CREATE EXTENSION pg_stat_statements;

Проверка, существует ли вьюшка pg_stat_statements:

select * from pg_stat_statements;

#изменение количества соединений в кластерной БД:
На лидере кластера выполнить команду

/usr/local/bin/patronictl -c /etc/patroni/patroni.yml edit-config

в строке max_connections: <число> изменить число на необходимое и согласиться на применение изменений. Перезагрузить кластер командой

/usr/local/bin/patronictl -c /etc/patroni/patroni.yml restart <cluster_name>

В файле /etc/haproxy/haproxy.cfg поменять все вхождения строки

maxconn <число>

и перегрузить сервис haproxy

systemctl restart haproxy

#аптайм БД

select pg_postmaster_start_time();

Игры с keepalived

Sun, 25 Dec 2022 22:00:09 +0300

В продолжение поста о системном демоне Keepalived, позволяющем организовать отказоустойчивость сервиса и балансировку нагрузки. Возник вопрос — как узнать, какая нода в каком состоянии запущена? Для этого я создал две ВМ, к примеру:
d1 IP=172.16.32.31/24
d2 IP=172.16.32.32/24

Конфигурация d1: Показать

global_defs {
   notification_email { root@localhost }
   router_id PD
    vrrp_garp_master_refresh 30
    vrrp_garp_master_refresh_repeat 2
}
vrrp_instance TEST {
    state MASTER
!    state BACKUP
    interface <интерфейс>
    virtual_router_id 101
    priority 103
!    priority 102
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass <пароль>
    }
    virtual_ipaddress { 172.16.32.30/24 dev <интерфейс> label <интерфейс>:vrrp }
    notify /opt/notify.sh
}

Конфигурация d2: Показать

global_defs {
   notification_email { root@localhost }
   router_id PD
    vrrp_garp_master_refresh 30
    vrrp_garp_master_refresh_repeat 2
}
vrrp_instance TEST {
!    state MASTER
    state BACKUP
    interface <интерфейс>
    virtual_router_id 101
!    priority 103
    priority 102
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass <пароль>
    }
    virtual_ipaddress { 172.16.32.30/24 dev <интерфейс> label <интерфейс>:vrrp }
    notify /opt/notify.sh
}

Для контроля текущей конфигурации (состояния) демона keepalived используется скрипт /opt/notify.sh: Показать

#!/bin/bash
echo $1 $2 is in $3 state > /var/run/keepalive.$1.$2.state

Ещё полезный скрипт-однострочник:: Показать

conf=/etc/keepalived/keepalived.conf && vip=$(expr "$(cat $conf)" : '.*\bvirtual_ipaddress\s*{\s*\(.*\)/*}') && vip=`expr "$vip" : '\([^ ]*\)' | sed 's/\./\\\\./g'` && if ip addr | grep -q "$vip"; then echo Primary; else echo Secondary; fi

Команда Devuan просрочила ключ подписи репозиториев

Sat, 03 Sep 2022 22:00:00 +0300

Ключ, которым подписываются все системные обновления, выпущенный в 2017 году, был действителен до 2 сентября 2022 года. Сегодня пользователи дистрибутива столкнулись с невозможностью штатного обновления системы через apt в связи с отсутствием действительного ключа. Разработчики дистрибутива, судя по всему, узнали о просрочке из жалобы на форуме и сгенерировали новый пакет devuan-keyring, который предлагают скачать через http (поскольку apt неработоспособен) и без каких-либо проверок сразу установить.

Показать

wget http://deb.devuan.org/devuan/pool/main/d/devuan-keyring/devuan-keyring_2022.09.04_all.deb
dpkg -i devuan-keyring_2022.09.04_all.deb

Впрочем, какую-никакую проверку провести всё-таки можно, на странице пакета (по https) указан sha256-хэш deb-файла: 96c4a206e8dfdc21138ec619687ef9acf36e1524dd39190c040164f37cc3468d, который перед тем как запускать dpkg можно сравнить так:

sha256sum devuan-keyring_2022.09.04_all.deb

Старый ключ:

/etc/apt/trusted.gpg.d/devuan-keyring-2017-archive.gpg
------------------------------------------------------
pub   rsa4096 2017-09-04 [SC] [просрочен с: 2022-09-03]
      E032 601B 7CA1 0BC3 EA53  FA81 BB23 C00C 61FC 752C
uid         [  просрочен ] Devuan Repository (Amprolla3 on Nemesis) <repository@devuan.org>

Новый ключ:

/etc/apt/trusted.gpg.d/devuan-keyring-2022-archive.gpg
------------------------------------------------------
pub   rsa4096 2017-09-04 [SC] [   годен до: 2023-09-03]
      E032 601B 7CA1 0BC3 EA53  FA81 BB23 C00C 61FC 752C
uid         [ неизвестно ] Devuan Repository (Amprolla3 on Nemesis) <repository@devuan.org>
sub   rsa4096 2017-09-04 [E] [   годен до: 2023-09-03]

Несмотря на то, что, по-видимому, новый ключ легитимен, стоит отметить, что цепочка безопасного доверия ключей прервана, и пользователи вынуждены, при обновлении пакета, полагаться на https-сертификат сайта с информацией о пакетах, который может выпустить (поддельный) любая из огромного количества организаций, в том числе сомнительных, в доверенном списке браузера.

Источники:
https://dev1galaxy.org/viewtopic.php?id=5211
https://www.linux.org.ru/news/security/16964008

Напильник для Эгеи, часть 4

Thu, 04 Aug 2022 00:41:30 +0300

Четвёртая часть о «доводке напильником» Эгеи.

Август 2022 года:
Позавчера (02.08.2022) вынужден был переместить сайт (и блог) на домашний сервер. После переезда в тегах блога стали отображаться сообщения об ошибках: Показать

Лёгкий гугляж завёл меня на страницу Александра Токарева Эгея и красные банеры /core.php, line 2, но предлагаемый способ лечения (понизить версию PHP) оказался для меня неприемлемым. Решено было бороться радикальными методами — править код.

В файле system/core.php ищу переменную, вызвавшую сообщение об ошибке (k). Для этого в редакторе mc ищу символ k как слово целиком (whole word). Комментирую второе вхождение работы с этой переменной. После обновления страницы ошибка исчезла.

P. S. Эмпирический список пакетов, необходимых к установке для работы блога, RSS-ридера и облака:
php-mbstring php-mysql php-gd php-curl php-cli libapache2-mod-php php-xml php-zip php-intl

P. P. S. Версия Эгеи — релиз 2.7, версия 3249.

Пакеты для русской локализации старого KDE

Wed, 16 Feb 2022 18:53:49 +0300

Для целей «дистрособирательства» мне иногда нужно быстро русифицировать старые ОСи с разными рабочими столами. Иногда «родных» репозиториев для старых дистров уже нет, поэтому для KDE наскрёб несколько пакетов, пересобрал их и раскидал по архивам для будущего использования.

KDE 4 (kde4-l10n-ru.tar.gz)
KDE 3 (kde3-i18n-ru.tar.gz)
t.tar.gz
k.tgz
ru.tgz

N. B. Файлы архивов доступны также по http.

Let’s Encrypt отзывает 2 млн сертификатов

Thu, 27 Jan 2022 12:48:23 +0300

Некоммерческий удостоверяющий центр Let’s Encrypt, контролируемый сообществом и предоставляющий сертификаты безвозмездно всем желающим, объявил о досрочном отзыве около двух миллионов TLS-сертификатов, что составляет около 1% от всех активных сертификатов данного удостоверяющего центра. Отзыв сертификатов инициирован из-за выявления несоответствия требованиям спецификации в применяемом в Let’s Encrypt коде с реализацией расширения TLS-ALPN-01 (RFC 7301, Application-Layer Protocol Negotiation). Несоответствие было связано с отсутствием некоторых проверок, выполняемых в процессе согласования соединений на базе TLS-расширения ALPN, применяемого в HTTP/2. Детальная информация об инциденте будет опубликована после завершения отзыва проблемных сертификатов.

Показать

26 января в 03:48 (MSK) проблема была устранена, но все сертификаты, при выдаче которых для верификации использовался метод TLS-ALPN-01, решено признать недействительными. Отзыв сертификатов начнётся 28 января в 19:00 (MSK). До этого времени пользователям, использующим метод проверки TLS-ALPN-01, рекомендуется успеть обновить свои сертификаты, иначе они досрочно будут признаны недействительными.

Соответствующие уведомления о необходимости обновления сертификатов отправлены на email. Пользователей, применяющих для получения сертификата инструментарии Certbot и dehydrated, при использовании настроек по умолчанию проблема не затронула. Метод TLS-ALPN-01 поддерживается в пакетах Caddy, Traefik, apache mod_md и autocert. Проверить корректность своих сертификатов можно через поиск идентификаторов, серийных номеров или доменов в списке проблемных сертификатов.

Так как изменения затрагивают поведение при проверке методом TLS-ALPN-01, для продолжения работы может требоваться обновление ACME-клиента или изменение настроек (Caddy, bitnami/bn-cert, autocert, apache mod_md, Traefik). Изменения сводятся к использованию версий TLS не ниже 1.2 (клиенты теперь не смогут использовать TLS 1.1) и прекращению поддержки OID 1.3.6.1.5.5.7.1.30.1, идентифицирующего устаревшее расширение acmeIdentifier, поддерживаемое только в ранних черновиках спецификации RFC 8737 (при формировании сертификата теперь допускается только OID 1.3.6.1.5.5.7.1.31, а клиенты использующие OID 1.3.6.1.5.5.7.1.30.1 не смогут получить сертификат).

Источники:
https://www.opennet.ru/opennews/art.shtml?num=56588
https://community.letsencrypt.org/t/2022-01-25-issue-with-tls-alpn-01-validation-method/170450

Google Drive выявляет нарушения прав в файлах с одним числом

Tue, 25 Jan 2022 17:58:16 +0300

Эмили Долсон (Emily Dolson), преподаватель из Мичиганского университета, столкнулась с необычным поведением сервиса Google Drive, который стал блокировать доступ к одному из сохранённых файлов с сообщением о нарушении правил сервиса, связанных с авторскими правами, и предупреждением о невозможности запросить для данного типа блокировок ручную проверку. Интересно то, что содержимое заблокированного файла состояло только из одной цифры «1».

Изначально предполагалось, что блокировка может быть вызвана коллизиями при вычислении хэшей, но данная гипотеза была отвергнута, так как экспериментальным путём выявлено, что блокировка срабатывает не только на «1», но и на многие другие цифры, независимо от наличия символа перевода строки и имени файла. Например, при создании файлов с числами из диапазона от -1000 до 1000, блокировка была применена для чисел 0, 500, 174, 833, 285, 302, 186, 451, 336 и 173. Блокировка производится не сразу, а примерно через час после размещения файла. Представители Google сообщили, что пытаются разобраться в причинах сбоя и работают над устранением проблемы.

Источники:
https://news.ycombinator.com/item?id=30060405
http://www.opennet.ru/opennews/art.shtml?num=56574

P. S. Как тут не вспомнить Незаконное простое число...

Разница между командами выключения *nix

Thu, 20 Jan 2022 23:57:48 +0300

Техническая разница между различными командами выключениями системы.

*nix-систему можно выключить различными способами: можно использовать poweroff, shutdown, init, halt.

Результат выполнения команд выключения:

poweroff (команда выключения) посылает команду ACPI на выключение системы (как при однократном нажатии кнопки выключения питания);
shutdown (команда завершения) — позволяет выполнить отложенные операции с питанием. При этом утилита выводит оповещение всем залогинившимся пользователям о предстоящем завершении работы и может с помощью файла /run/nologin блокировать вход в систему за 5 минут до времени выключения (если указан аргумент времени) После вызываются системные и локальные {init/rc}.d-скрипты с параметром stop.. В конце вызывается тот же poweroff;
halt (команда останова) отдаёт команду аппаратному обеспечению приостановить все функции CPU, но оставляет систему включённой (в некоторых случаях использование команды без параметров полностью выключает ПК). На машинах с архитектурой x86 обычно происходит выключение, но на машинах Sun управление возвращается в «ROM monitor» для получения информации о состоянии системы. Как и reboot, команда сбрасывает кэш файловой системы на диск и посылает всем процессам сигналы TERM и KILL;
init (команда изменения уровня выполнения системы) — при переходе на уровень выполнения 0 производится остановка системы командой halt с помощью выполнения скриптов, соответствующих этому уровню.

В большинстве современных *nix-систем для обратной совместимости со старыми проприетарными ОСями эти команды выполняют одно и то же и ссылаются на один и тот же файл. Например, команды poweroff и shutdown представляют из себя символические ссылки на /bin/systemctl:

user@localhost:/sbin$ ls -l poweroff
lrwxrwxrwx 1 root root 14 Sep  5 18:01 poweroff -> /bin/systemctl
user@localhost:/sbin$ ls -l shutdown 
lrwxrwxrwx 1 root root 14 Sep  5 18:01 shutdown -> /bin/systemctl

Защита опций загрузчика GRUB паролём

Thu, 30 Dec 2021 18:42:59 +0300

Метод заключается в редактировании опций загрузчика GRUB, чтобы установить пароль на их изменение при загрузке системы. Настройка делается в текстовых конфигурационных файлах GRUB, и при физическом доступе к компьютеру с возможностью загрузки с LIVE-дистрибутива можно обойти и эту защиту. При физическом доступе всегда остаётся вариант вынуть жёсткий диск и просмотреть его содержимое в другой ОСи. То есть настоящую защиту данных обеспечивает только их шифрование или шифрование всего диска, защита в виде пароля на загрузку не является надёжной!
Показать

Настройка пароля на загрузку системы и на редактирование опций загрузки

От имени пользователя root генерируется хеш пароля:

sudo grub-mkpasswd-pbkdf2

Будет показана примерно такая строка:

Хэш PBKDF2 вашего пароля: grub.pbkdf2.sha512.10000.6B2B740048C68DCEAD7B288ED37FCC577F1FFDBFE9955A3B9CA5CC47FEF524D07A75E97D17DB4F2E53AF836FBA08DF88CA8EEB7ABF87ABDE0A327A742F8DC745.476B122C205094968098043AF0DF40B4C009AA18F454A8D38E047BA7E50C5DA809F9E3C7FEAA927EF3C0F43CE0EB46072E7303F42559170A09C96DCD37A341D7

Пример показан на рисунке 1:

Рисунок 1. Пример генерации хеша пароля загрузки.

Из выведенных данных скопировать строку «grub.pbkdf2.sha512.10000………….» (полностью) и дописать в файл /etc/grub.d/40_custom:

set superusers="<имя>"
password_pbkdf2 <имя> grub.pbkdf2.sha512.10000.6B2B740048C68DCEAD7...

Поскольку файл /etc/grub.d/40_custom содержит хеш пароля, то рекомендуется запретить его чтение и изменение всеми пользователями, кроме пользователя root:

sudo chmod 711 /etc/grub.d/40_custom

Создание нового конфигурационного файла загрузчика:

sudo grub-mkconfig -o /boot/grub/grub.cfg

После выполнения процесса перезагрузки ПК при попытке выбрать любой пункт меню будет предложено ввести имя пользователя и пароль. При вводе логина <имя> и пароля, используемого в команде grub-mkpasswd-pbkdf2, если учётные данные верны, система продолжит загрузку.

N. B. Логин <имя> в файле /etc/grub.d/40_custom можно указать любой, он никак не связан с именами пользователей в системе, главное — не забыть его в дальнейшем. Кроме того, информацию о пользователе и пароле не обязательно требуется вносить в определённый файл. Информация может быть помещена в любой файл каталога /etc/grub.d, если этот файл включён в grub.cfg. Файл /etc/grub.d/40_custom выбран потому, что он не перезаписывается при обновлении пакета GRUB.

P. S. Для возможности загрузки без пароля какого-либо пункта (или пунктов) меню их необходимо найти в файле /etc/grub.d/10_linux и добавить опцию:

--unrestricted

Пример показан на рисунке 2:

Рисунок 2. Пример добавления опции класса загрузки в файл /etc/grub.d/10_linux.

В результате загрузка системы будет выполняться как и раньше — пароль в загрузчике GRUB вводить не нужно, при выборе пункта меню GRUB продолжится обычная загрузка. Но при попытке отредактировать опции загрузчика будет предложено ввести имя и пароль. Без их ввода доступ к опциям загрузки не будет дан.

P. P. S. Если в меню загрузчика содержатся параметры для других ОСей, отличных от операционной системы по умолчанию (другие установки Linux, Mac OS, Windows и т. д.), в файле /etc/grub.d/30_os-prober вносятся изменения в опции класса загрузки соответствующей ОСи с добавлением строки

--unrestricted

Пример показан на рисунке 3:

Рисунок 3. Пример добавления опции класса загрузки в файл /etc/grub.d/30_os-prober для всех найденных типов операционных систем.