Swami Dhyan Nataraj

Как форкнуть процесс в соседний виртуальный терминал

Thu, 09 May 2024 12:06:09 GMT

Я люблю работать в консоли. Люблю автоматизацию скриптами. И если надо что-то массово параллельно обработать, то запустить все это в разных окнах tmux'а или screen'а, и любоваться процессом. И вот чего мне не хватало, так это возможности в каком-нибудь сложном скрипте наделать дочерних процессов и разложить их по разным окнам tmux'а. Кажется что естественная хотелка, а вот как сделать -- не понятно. И вот дошли руки разобраться как же такой фокус делается

Переносим процесс в другую консоль

Для начала рассмотрим более простую задачу: как вообще в принципе перенести процесс из одной консоли в другую. В древние времена эта задача решалась ручной перепривязкой потоков ввода-вывода процесса к другому tty или каким-то подобным образом. В современном линуксе для этого есть утилита reptyr которая автоматически стырит для вас процесс из соседнего терминала и привяжет его к текущему.

Предположим у вас есть программа:

    #!/usr/bin/perl

    print "My PID is $$\n"; # print current process PID;
    sleep 10;

    while(1){
      print ++$i, "\n";
      sleep 1;
    }

Эта программа выводит в консоль свой PID, и через некоторое время начинает в той же консоли считать секунды.

Если запустить эту программу в одной консоли, а в соседней консоли выполнить команду

reptyr [PID-number]

где PID-number номер процесса который напечатала наша тестовая программа в самом начале, то выполнение программы в исходной консоли прекратиться, а в новой продолжиться как ни в чем ни бывало.

Достаточно просто.

Перенос дочернего процесса в другую консоль

Однако если вы попробуете проделать тот же самый фокус не с отдельно работающей программой, а с дочерним процессом reptyr на вас наругается:

    [-] Process 739989 (test2.pl) shares 739990's process group. Unable to attach.
    (This most commonly means that 739990 has sub-processes).
    Unable to attach to pid 739990: Invalid argument

Дело в том, что когда вы делаете форк, порожденный процесс оказывается в одной группе с родительским процессом (и родительский процесс оказывается лидером группы), и по какой-то причине reptyr с такой ситуацией не справляется. Поэтому прежде чем тырить дочерний процесс, надо сначала вывести его из группы. Делается это вызовом setpgid, в котором дочерний процесс назначается сам себе лидером группы, и таким образом выходит из группы родительского процесса. После этого reptyr вполне справляется с переносом дочернего процесса в новую консоль.

    #!/usr/bin/perl

    use POSIX;

    $pid = fork();
    if ($pid)
    {
      # parent process
      print "Child PID is $pid\n";
      sleep 10;
      while (1) {print ".\n"; sleep 1};
    } else
    {
      # child process
      (setpgid($$,$$) != -1)           || die "Can't set own group: $!";
      sleep 10;
      while (1) {print ++$i,"\n"; sleep 1};
    }

Эта программа выводит на экран PID порожденного дочернего процесса, после чего спустя десять секунд, родительский процесс начинает выводить на экран точки с частотой один раз в секунду, а дочерний процесс начинает эти секунды вслух считать. Если не предпринимать никаких действий выводы обоих процессов будут смешаны в одной консоли, в которой их запустили.

Однако если в соседнем терминале запустить

reptyr [child-PID-number]

где child-PID-number -- PID дочернего процесса напечатанный нашей программой, то в результате вывод дочернего процесса (цифры) переедет в новую консоль, а вывод родительского процесса (точки) останется в той консоли в которой его изначально запустили.

Чего собственно говоря и хотелось добиться.

Материалы для раздумий

Статья в которой подробно объясняется материал групп и сессий: https://blog.nelhage.com/2011/02/changing-ctty/ Понимание этого материала помогло таки найти финальное решение
Мои попытки выспросить нужное решение на linux.org.ru: https://www.linux.org.ru/forum/development/17555795
Заметка на stackoverflow написанная по результатм: https://stackoverflow.com/questions/78428371/how-to-fork-process-into-another-virtual-terminal/78428372

comments

Выпустил релиз игры Goblin Camp v0.23

Sun, 09 Jul 2023 11:50:58 GMT

Goblin Camp — попытка создать опенсорсный клон игры Dwarf Fortress. Смысл игры в управлении поселением Гоблинов (или в оригинале Гномов), при этом управления косвенного, в игре не предусмотрено прямого управления Гоблинами/Гномами, можно лишь ставить задачи в общем виде, а вот как подопечные поведут себя в результате — вопрос мастерства организации...

https://gitlab.com/dhyannataraj/goblin-camp/-/releases/v0.23

Изначально Goblin Camp написал некто Ilkka Halila, в 2010, повозился с ней годик и забросил. Мне как любителю Dwarf Fortress, Rim World и прочих симуляторов колоний с непрямым управлением, постоянно хотелось запустить в них руки, но сильно останавливала закрытость кода. Возможность писать моды есть, но тратить свое время на разбирательство в закрытом коде, я считаю неуважением к человечеству, поэтому стараюсь избегать к этого… И вот я в какой-то момент таки нашел ту программу в которую запустить руки не зазорно.

На тот момент Gobln Camp была давно заброшена и категорически не собиралась на современных дистрибутивах. Пришлось приложить не нулевое количество усилий, чтобы оно заработало и задышало.

Этот релиз закрывает проблему с работой графических тайлов. Оригинальная версия от Ilkka Halila использовала библиотеку SDL версии 1, а сейчас доступна только SDL2. Пришлось разбираться и переделывать.

Кроме того, есть у меня подозрение, что графические тайлы там вообще никогда толком не работали: они не целиком загружались. Там были существенные проблемы с вычислением координат мышки и смещения при перетаскивании.

Самый лучший баг был такой: если устроить перетаскивание и перемещать мышь строго влево-вверх, то при отпускании кнопки мыши, оно дополнительно срабатывало как однократное нажатие левой кнопки. Если был хоть раз в процессе вильнул вниз или вправо, эффекта не возникало.

Плюс современная библиотека libtcod (которая лежит в основе движка игры) на этот старый код выдает кучу deprecation-warning’ов. Начал их постепенно зачищать…

Оригинал

comments

Еще один веселый способ выстрелить себе в ногу

Sat, 01 Apr 2023 11:35:50 GMT

Сижу, переделываю код. Есть необходимость отучить постгрес запускать разные сервисные процессы. Решил по случаю переделать это по уму...

Переделываю кусок, запускаю, проверяю, переделываю, проверяю и тут падает оконная система... Вся.

Логинюсь обратно, восстанавливаю рабочий контекст, перехожу к проверке и оконная система падает снова.

Я, матерсь, выключаю компьютер, включаю компьютер, возвращаюсь к прерванной мысли, и оконная система падает снова.

Понимая, что дальше работать несудьба, прикидывая чего такое в компе должно сдохнуть чтобы было вот так вот, в ужасе понимая, что если это проблема в железе, то вообще трындец, мне в понедельник надо выходить в онлайн, другого компа у меня нет, и на работе замену выдать не успеют, все будут на конференции, я сворачиваю работу и начинаю двигаться к следующей точке сегодняшнего дня.

Пока еду, до меня начинает доходить...

Там для порождения сервисных процессов есть спец. фабрика, которая в качестве результата возвращает pid нового процесса. Для оторванных процессов я стал возвращать -1.

Видимо по какой-то своей внутренней логике, она после запуска сразу посылала одному из процессов какой-то сигнал (имеет право). А в линуксе процесс с номером -1 — это корневой процесс (скажите sudo pkill -9 -1, только не на подакшене, плиз)

Что это был за сигнал, и почему он будучи посланным от юзера (я постгрес запускал под собой) таки доходил до системного процесса — я не знаю, и наверное не буду разбираться, просто оторву посыл сигналов задезейбленным воркерам, благо там это тоже централизовано). Но эпичность допущенной ошибки меня восхитила. Можно мерить в сатиФаустах...

PS: и да, оконная система падала по нажатию Ctrl+C. Нажимаешь Ctrl+С в консоле и исчезает всё включая консоль!

Оно при принужительном завершении основного процесса кидало сигнал завершения детям, а он вместо этого уходил корневому процессу системы

comments

Призовая игра с встраиванием питона

Thu, 28 Jul 2022 20:16:26 GMT

Я не возьмусь определять что мне более отвратительно libboost или python. Но право скажу собранные вместе в boost::python они производят на свет субстанцию непревзойденного свойства.

 #include <boost/python.hpp>
 #include <stdio.h>

int main()
{
  Py_InitializeEx(0);

  boost::python::object modMath = boost::python::import("math");
  boost::python::object cosFunc = modMath.attr("cos");

  Py_Finalize();
}

С 2.7м питоном работает нормально, с третьем падает с невнятной ошибкой при отработке хуков при выходе...

Историю с локализацией места проблемы в портируемой программе с последующим вынесением в приведенный standalone, я опущу из-за малосодержательности и нецензурности... Скажу только, что gdb плюс правильно выбранные места для breakpoint'ов рулят.

Далее в процессе плясок вокруг этого примера вдруг обнаруживаю что вот так не падает:

int main()
{
  Py_InitializeEx(0);
  {
    boost::python::object modMath = boost::python::import("math");
    boost::python::object cosFunc = modMath.attr("cos");
  }
  Py_Finalize();
}

Ага! думаю я. Оно позвало деструктор до финалайза а не после и все перестало падать... Надо сделать так же!

Но вот проблема... аналог переменной cosFunc в портируемой программе глобальная... Создается пустая, а потом после инициалайза заполняется. Можно было бы раскинуть мозгами, как запихнуть туда указатель вместо самого объекта, и сказать ему в нужный момент delete. Но менять весь остальной код очень не хотелось...

А нельзя ли так, чтобы для сложного объекта вызвался деструктор а сам объект опять заполнить пустым значением?

Оказывается можно:

int main()
{
  Py_InitializeEx(0);
  boost::python::object cosFunc;
  {
    boost::python::object modMath  = boost::python::import("math");
    cosFunc = modMath.attr("cos");
  }
  cosFunc = boost::python::object();
  Py_Finalize();
}

оно заменяет сложное значение cosFunc тривиальным, при этом для заменяемого значения вызывается деструктор.

И вот так -- тоже не падает...

P.S. Отдельно доставила рекомендация документации на 1.55 boost::python просто не вызывать Py_Finalize(), типа не надо вам это.

P.P.S. Пришел к мысли что сам питон не падает только потому что и так ползает. And you should not boost it.

P.P.P.S. Честно говоря не верил, что осилю с этим разобраться. Без знания, что буста, что питона... Ан нет, получилось...

comments

Этот ваш python течет...

Sun, 24 Jul 2022 14:37:56 GMT

#include <Python.h>

int main()
{
  Py_Initialize();
  Py_Finalize();
}

Собрать с санитайзером ASan, хоть со вторым, хоть с третьим питоном

clang-11 test.c -fsanitize=address -g -O0 -I /usr/include/x86_64-linux-gnu/python2.7 -I /usr/include/python2.7 -lpython2.7

clang-11 test.c -fsanitize=address -g -O0 -I /usr/include/x86_64-linux-gnu/python3.9 -I /usr/include/python3.9 -lpython3.9

Результат один: кучка мемори ликов. В 2.7 побольше, в 3.9 небольшая...

А если под полезной нагрузкой, так их вообще на много экранов...

И эти люди мне запрещают ковыряться в носу!

Надо позаимствовать у Витуса тег "злые люди"....

comments

СЯУ How to git ignore

Wed, 06 Jul 2022 13:44:32 GMT

TL;TR: это про .git/info/exclude, если знаете, то можно пропускать.

С постгресом у меня была вечная проблема: я пытаюсь таки перейти на разработку в vim'е (с переменным успехом, но последовательно движусь). Для того чтобы в vim'е переходить по имени функции к месту ее определения нужно созать tags-файлы при помощи утилиты ctags. Все хорошо, но потом эти tags файлы в огромном количестве болтаются в выводе git status. А если добаивть их в .gitignore то надо постоянно следить за этой незакоммиченной правкой (в апстрим ее никто не возьмет)

И вот мне это окончательно надоело и я пошел гуглить. Выяснилось, что есть еще локальный гитигнор, который называется .git/info/exclude. Работает абсолютно идентично, но в remote не попадает.

Добавил туда tags, и теперь доволен как слон... :-)

comments

perl redo: Век живы, век учись

Sun, 03 Jul 2022 19:34:27 GMT

Читая книжку по внутренностям perl'а открыл для себя оператор `redo` который позволяет повторить выполнение блока кода. В случае если этот блок -- тело цикла, то цикл на следующую итерацию при этом не переходит:

my $i=0;
foreach (1,2,3)
{
  print $_,"\n";
  $i++;
  redo if $i<2;
}

печатает

PS так, постойте... В DW был же маркдаун... Куда делася? Не вижу как включить...

comments

Structure Aware Fuzzing: синтаксическое дерево

Tue, 14 Sep 2021 21:10:53 GMT

Краткое содержание предыдущих серий:

Fuzzing -- метод тестирования когда в программу на вход подаются случайные данные.

Structure Aware Fuzzing -- данные остаются все так же случайные, но все-таки синтаксически или структурно верные. Нужно чтобы проникнуть глубже синтаксического анализатора.

LibBlobStamper -- библиотека которую я пишу, которая позволяет на основании псевдо случайных данных выдаваемых фаззером, воспроизводимо генерировать синтаксически корректные данные. https://github.com/postgrespro/libblobstamper

Вот сегодня у меня новое достижение. Я таки сумел сгенерировать данные под парсер синтаксических деревьев:

((((231 + 108) ^ ((39 - 156) ^ (((116 * 109) - (100 ^ (47 + 78))) / (206 / 166)))) ^ ((((253 - 125) + (171 * 215)) + (183 - (((162 / 178) - 23) - (199 + 10)))) - (192 * 61))) + (((((1 / 161) ^ 167) / (189 / 52)) * ((178 + 110) / ((((225 / 16) * 237) - 95) - 28))) * (((84 - 88) * (226 + 29)) - 180)))

Там все пока что еще максимально сыро, много что прибито гвоздями и даже в основной код не затащено t/320-galley-recursion-experiments.cpp. Но работает, блин!

comments

Рабочие заметки тестера по-жизни

Sun, 02 May 2021 20:05:12 GMT

Решил я инициализировать std::vector массивом из без малого 40000 слов. Ну захотелось так...
Собираться все это безобразие g++-8 решило аж полторы минуты, или clang-11 за 40 секунд.

comments

Собираем Goblin Camp

Wed, 08 Jan 2020 22:48:08 GMT

У меня внезапно случился каникулярный проект.

Вместо того чтобы нормально поработать, пока все отдыхают и от меня отстали, меня вставило, и я сделал еще один подход к попытке сборки игрушки Goblin Camp.

Это, говорят, некая подобная Dwarf Fortress игра, которую забросили в 2012 году.

Проблема с ней в том, что автор в качестве структуро-образующего фреймворка выбрал libboost, который в свою очередь оказался очень капризным и чувствительным к версиям практически всего...

Сначала я пытался подобрать дистрибутив дебиана, собрав его в chroot'е так чтобы нужная комбинация таки совпала... Я старательно пытался его ставить в разные позы с разными компиляторами, но не осилил. При этом часть проблем вылезала именно с внутренностями boost'а который был приложен к исходникам программы. Это еще в прошлый подход.

В этот подход я пришел к идее, что надо исключить из уравнения одну из переменных, или даже две. Попробовать собрать все это дело с бустом который идет в дебиане (благо к нему приложены все патчи необходимые для работы с идущим с дистрибутивом компиляторе) и выкинуть нафиг систему сборки bjam которая отдельно доставляет проблемы, и в которой вообще непонятно что происходит и собрать все нормальным cmake'ом (на который, если продолжать возиться с проектом все равно переходить)

И вот тут вот получилось. Не без проблем, libboost все равно показал себя как крайне не стабильная... мнэ... субстанция, но DuckDuckGo, StackOverfrow, strace и 83 кило упертости таки победили...

Результат экзерсисов сложил в отдельную ветку и снабдил инструкцией.

https://gitlab.com/dhyannataraj/goblin-camp/tree/cmake-build

comments

Патчи в постргес

Sat, 05 Oct 2019 13:00:44 GMT

Меня можно поздравить с тем, что у меня таки приняли мелко-патчи в постгрес.
До самого основного патча еще далеко, но уже хоть что-то.

773df883 - Support reloptions of enum type. В постгресе строковый тип опций таблиц использовался фактически как enum, всякий раз писать функцию валидации походу не правильно, лучше прямо сделать его enum'ом.
640c1986 - Add dummy_index_am to src/test/modules/ so it can be used for test purposes and as an access method example

comments

Программстское портфолио (опенсорсное)

Thu, 18 Apr 2019 10:57:22 GMT

Многое из того что я когда-то делал по программистской работе или не доступно окружающим, или уже более не используется, по независящим от меня причинам. Но еще есть опенсорс, и вот из него уж точно слова не выкинешь. В этом месте предполагается поместить сводный список моих опенсорсных достижений.

Postgres
4cb658af - Refactor reloption handling for index AMs in-core - Не надо использовать StdRdOptions для хранения опций индексов, таская за собой не используемые для дела опции heap'а
1bbd608f - Split handling of reloptions for partitioned tables - Партиционированные таблицы все равно не используют ни одной опции. Поэтому завязывать их хранение на StdRdOptions совершенно ни к чему.
39677376 - Add some assertions to view reloption macros - Дополнительная проверка перед преобразованием типа
773df883 - Support reloptions of enum type. В постгресе строковый тип опций таблиц использовался фактически как enum, всякий раз писать функцию валидации походу не правильно, лучше прямо сделать его enum'ом.
640c1986 - Add dummy_index_am to src/test/modules/ so it can be used for test purposes and as an access method example
4b95cc1d - Add more tests for reloptions - Опции таблиц как выяснилось не тестировались ранее. Перед тем как их ломать, было решено для начала научиться тестировать то что есть. Правда с поламыванием воз и ныне там...
d6061f83 - Improve pageinspect module - Модуль pageinspect позволяющий изучать страницы хранилища postgres, с помощью этого патча научился разбирать на части содержимое записи, и показывать их в человеко-читаемом виде.

xmlsec
0606b742 - Поддержка подписи GOST2012.

AFL++
3a6dea4 – расшифровка кода ошибки при получении свойств CPUs при определении количества доступных процессоров в afl-gotcpu.c
f3ec554 – Показывать в заголовке окна фаззинга "AFL" вместо "american fuzzy lop" если user-defined часть заголовка слишклм длинная. (Позволяет задавать более длинные user-defined тексты в заголовке)

LibTAP++
Библиотека для TAP-тестирования C++'ных проектов LibTAP++ оказалась заброшена, пришлось взять над ней шефство и сделать форк.
153f1d11 – правки позволяющие использовать эту библиотеку в проектах использующих современные стандарты C++

perl
свои модули
Lingua::StarDict::Writer – модуль для создания StarDict словарей

патчи
Lingua::StarDict::Gen — версия 0.09: исправил серьезную проблему с сортировкой из-за которой пропадали слова.
Template — 849569e: доработка документации: доступ к элементам хэша со "сложными" именами

Misc
subtutleeditor - 1dd00d03 - Fix building with older version of enchant - у кого-то в системе был уже enchant-2 и он послал фикс для сборки. А в дебиане до сих пор enchant без двойки, в результате собираться перестало. Сделал так чтобы собиралось в обоих случаях.

KDE networkmanagement - 99d3dbe8 - Show APN string for the APN selected by the user in Mobile Connection - чего-то оно там неправильно показывало при настройке USB-модема. Давно это было.
KDE networkmanagement - d395cfe7 - Hide non-Internet APNs in Mobile Connection Wizard.- В serviceproviders.xml начали разделять APN'ы по типам назначения (internet|mms|wap) а KDE'шный network manager об этом не знал, и показывал все в кучу.

preeny – e317826: добавил библиотеку setstdin позволяющая, через подмену системных вызовов подавать программе требуемые данные на стандартный вход. Нужен этот инструмент например при фаззинге, например AFL++'ом, когда другого способа передать какую-либо константную строку на вход исследуемой программе просто нету.

*будет пополняться*

comments

pg-dev: Налаживаемость патчей из коммитфеста

Sun, 31 Mar 2019 20:07:44 GMT

и не только налаживаемость. Но еще и компилируемость...

Для тех кто занимается разработкой постгреса. В рассылке товарищи показали интересный сервис:

http://commitfest.cputube.org/

Там для патчей текущего и предстоящего комитфеста приведена статистика того как эти патчи накладываются на текущей мастер, и собираются ли после этого. В том числе и виндой. Что чертовски полезно для нашей безвиндовой ситуации...

Чего этому сервису не хватает, так это системы оповещений. Я по всей видимости буду писать скриптик который из моих статусов (ну и не только моих, пусть в параметрах указывается) будет делать RSS-feed.

comments

Недостаточно магии...

Fri, 08 Mar 2019 13:32:35 GMT

ERROR:  incompatible library "/home/nataraj/.../lib/postgresql/dummy_index.so": missing magic block
HINT:  Extension libraries are required to use the PG_MODULE_MAGIC macro.

comments

Вопрос суровым vim'ерам про git

Sun, 17 Feb 2019 19:09:51 GMT

А кто-нибудь знает, можно ли обучить vim подсвечивать строки которые появились после коммита N?

Вот чтобы типа создал ветку, наложил патч, закоммитил, и далее видишь, какие строки приехали из мастера, какие с патчем, а какие ты сам нарисовал после и еще не закоммитил...

Было бы очень удобно... Бывает ли такое? мне чего-то не нагуглилось...

comments

Слава извращенцам

Tue, 01 Jan 2019 18:18:23 GMT

Понадобилось мне собрать пострес под винду (там какая-то MSVS-специфичная ошибка). Надо. А трогать эту субстанцию больше необходимого ну очень не хочется.
Коллега поделился образом вируталки в которой все окружение для сборки уже подготовлено, только клонируй и запусти. Спасибо коллеге...

Преодолевая трудности (нельзя просто так взять и сделать бридж для вайфайной карты) пытаюсь ее запустить у себя на ноутбуке. Ноут не тянет... Он и фейсбук в браузере не очень тянет, какая виртуалка...

Хорошо, обращаюсь к знакомому, у которого на рабочих станциях лиукс, типа дай погонять... Он говорит, что погонять не даст, но выдаст свой старый виндовый комп, который мощнее всех его линуксовых, за одно и линукс на него типа поставишь...

Преодолевая трудности (нет драйверов для сиди-рома, дебиановский лайв-сиди почему-то не видит сетевуху), перекидываю данные с самого маленького диска на остальные (их там много было) и ставлю на малый диск линукс...

Тут выясняется что на этот маленький диск образ виртуалки просто не помещается... Диск совсем маленький. Ну я в результате кладу его на диски с данными которые от винды остались, ntfs'ные...

Итого. Для того чтобы собрать постгрес под винду, я снес винду, чтобы поставить линукс, положить виртуалку на ntfs'ный диск запустить винду в виртуалке и таки собрать постгрес...

И вы еще удивляетесь что я медленно программирую...

PS поставил бы еще тег "слабоумие и отвага", но он про другое...

comments

Using vim for postgres development

Tue, 01 Jan 2019 16:07:32 GMT

I've written a wiki article about configuring vim for postgres development.

https://wiki.postgresql.org/wiki/Configuring_vim_for_postgres_development

I actually started to restore my vim configuration (I've lost it some time ago) and found out that these information is scattered along the web. And it is better to keep it in one place.

I've described in the article all options and plugins that I used for pg development.

If you have your own vim experience and know some tools that can be used to make development and following codestyle more easy, please add them there.

PS. I've already written about it to the mailing list. Just want to write about it in the blog too...

comments

вопрос по git

Sun, 25 Nov 2018 13:44:05 GMT

Вот например некто ведет разработку, и в процессе ведения шел патчи. И каждая новая версия патча -- улучшенная версия предыдущего.
И если для первого патча, я создаю ветку от master'а и накладываю патч, то как быть для второй версии этого патча, мне не понятно.
Накладывать второй патч так же надо на мастер. Но должен он оказаться в той же ветке что и первый патч, просто следующим коммитом. Как быть. Какой workfwolw правильный?

git checkout master
git branch patch_v1
git checkout patch_v1
pathc -p1 <patch_vi.diff
git commit -a

git checkout master
git branch patch_v2
git checkout patch_v2
pathc -p2 <patch_vi.diff
git commit -a

git rebase patch_v1

(Я так не пробовал. Боюсь ;-) )

Как вы решаете такие задачи?

comments

Таки похоже GitLab

Fri, 07 Sep 2018 10:33:15 GMT

После некоторых размышлений, пришел к выводу что Git-проекты следует таки переносить на GitLab. Он как никак опенсорсный (хотя ставил я его, это долбанный набор скриптов неустановленного качества непонятно чем повязанный). Отдельно на bitbucket'е меня отвратила atlassian-авторизация... Не хочу корпораций. Даже среднего размера...

Хотя конечно гитлаб -- тот еще гугл, судя по историям поглащений. Но пока маленький и не супер опасный. И внятной альтернативы не вижу...

В остальном меня на github'е ничего не держит, кроме pull-реквестов к gost-engine'у... Ну это мы как-то переживем... Буду по ходу дела мигрировать... https://gitlab.com/dhyannataraj/

PS и да, если кто-то знает лучшую альтернативу -- сообщайте...

comments

Программистский дыбр

Mon, 16 Apr 2018 20:59:09 GMT

Мои фрагментарные патчи постгресса перенесли на следующий коммит-фест, который будет уже в сентябре, после релиза. Наверное надо будет что-то ревьюйнуть. Видимо посмотреть предложенный Глуховский патч, раз уж он по моей теме топчится... Но это когда цикл задач снова до постгресса дойдет. А вообще все это оч. сильно фрустрирует. Че-то я все меньше и меньше уверен в том, что хочу на таких условиях в постгресе ковыряться.

Стоящую на повестке дня документацию для gost engine'а ковырять откровенно лень и не хочется. Но видимо надо будет в какой-то момент себя заставить.

Вместо этого я занялся другим знатным извращением. Похоже что Opticbook 3800 сам себя в SANE не добавит, и с этим надо что-то делать... При том что там известный чип под который есть бэкенд. С вероятностью удастся обойтись малой кровью. Но для этого все равно надо начать понимать код и USB-шную мать его специфику. Для этого я по дешевке прикупил поддерживаемый сканер с аналогичным чипом, и собираюсь ставить эксперименты сначала над ним. Я собираюсь статически прилинковать бэкенд к испоняемому бинарнику и научиться из него мануально ставить сканер в требуемую мне позу: моргать лампой, ездить головой.

Пока у меня получилось прилинковать бэкенд и опросить сканеры (и получить почему-то пустой список). Все осложняется тем, что оно желает automake'а более старого чем тот, что у меня на ноутбуке, и разработку приходится вести в двух точках: в lxc-контейнере запускать automake, если поправить Makefile.am, и результат перекидывать на ноут, где есть физический usb.

Короче, это должна получиться славная охота, если удастся это провернуть до конца...

comments

Вопрос по Си

Sun, 04 Mar 2018 18:50:53 GMT

vitus_wagner, beldmit, ну и кто еще в теме разбирается...

Расскажите, насколько легальна в Си вот такая штука:

Есть некий массив сопоставляющий имя и значение, и есть еще возможность значения по умолчанию, которое имени не имеет.

Чувак предлагает делать так:

#define NAME_DEFAULT ((const char *) -1)        /* pseudo-name for default value */

А потом проверять

if(Chto_to->name == NAME_DEFAULT)

Где name -- это char*

Для меня это какое-то страшное сишное конлдунство, я не могу оценить насколько оно корректно и переносимо между компиляторами.

Потому как я бы право слово скорее #define NAME_DEFAULT "" сделал бы. Ибо пустого имени все равно не бывает. И потом при помощи сравнения строк его проверял бы. Но может это у меня просто нету правильной сишной закалки.

comments

postgres_commitfest_feed окупился

Wed, 28 Feb 2018 15:12:47 GMT

postgres_commitfest_feed уже окупился. Отловил желающего потоптаться по той части кода, которую я сейчас ковыряю. Прямо на ранних подступах отловил.
Польза.

comments

perl: Ловим утечки памяти

Tue, 27 Feb 2018 10:44:08 GMT

Заметка скорее для себя, чем...

Если быть более точным, то не ловим, а убеждаемся что они есть, и по возможности локализуем.
Значит есть такой модуль Memory::Usage , он по факту лазиет в /proc и запоминает информацию о памяти потребляемой процессом. Его после инициальизации дергаешь время от времени. После чего получаешь от него сводку, че было с памятью.

Я делал это так:

use Memory::Usage;                                                                                                                                                                              
use IO::Socket::SSL;                                                                                                                                                                            
                                                                                                                                                                                                
my $mu = Memory::Usage->new();                                                                                                                                                                  
                                                                                                                                                                                                
foreach my $i(1..5)                                                                                                                                                                             
{                                                                                                                                                                                               
  print $i,"\n";                                                                                                                                                                                
  $mu->record($i);                                                                                                                                                                              
  foreach (1..100)                                                                                                                                                                              
  {                                                                                                                                                                                             
    # то что как мы предполагаем течет памятью                                                                                                                                                  
    my $cl = IO::Socket::SSL->new('ru.wikipedia.org:443');
    close $cl;
  }                                                                                                                                                                                             
}                                                                                                                                                                                               
                                                                                                                                                                                                
$mu->dump();

И получал вот такой вот вывод:

  time    vsz (  diff)    rss (  diff) shared (  diff)   code (  diff)   data (  diff)
     0  14460 ( 14460)  10576 ( 10576)   5012 (  5012)   1840 (  1840)   5660 (  5660) 1
    17  16788 (  2328)  14136 (  3560)   6416 (  1404)   1840 (     0)   7852 (  2192) 2
    34  17844 (  1056)  15244 (  1108)   6416 (     0)   1840 (     0)   8908 (  1056) 3
    50  18900 (  1056)  16356 (  1112)   6416 (     0)   1840 (     0)   9964 (  1056) 4
    67  20088 (  1188)  17464 (  1108)   6416 (     0)   1840 (     0)  11152 (  1188) 5

По которому видно, что расход памяти постоянно растет, несмотря на то что мы только и делаем, что открываем сокет и закрываем его.

Помимо этого модуля есть еще Test::LeakTrace который вроде как умеет следить за тем, какие скаляры появились в памяти пока исполнялся заданный участок кода, но я так и не разобрался как им пользоваться, мне в него попадает всякая внутренняя перловая кухня, из серии подключение новых package'ей и т.п. Может когда-то в будущем...

comments

Постгресодыбр

Thu, 22 Feb 2018 18:05:20 GMT

Медленно но верно движусь в направлении закрытия своих опесорсных долгов.
А то патчи понимаешь, написаны, но не зкаоммичены. Безобразие.
Мой мега патч полностью переделывающий работу с опциятми таблиц был в результате мучительно медленного взаимодействия с комьюнити порезан на части и отправлен на коммитфест.

https://commitfest.postgresql.org/15/1314/ (уже закомимчен) - тесты на работу опций таблицы. (Таковых раньше не было)
https://commitfest.postgresql.org/17/1489/ - добавляет тип опции Enum (а то раньше его по сути эмулировали строковой опцией, с рукописной функции валидации)
https://commitfest.postgresql.org/17/1536/ - вместо единого бинарного преставления опций для более половины типов relation'ов, вводит индивидуальные представления на каждый тип. Иначе получалось, что задаешь ты индексу fillfactor а память под него резервируется на все опции которые возможны для heap'а. Потому что универсально.

Последнее вот только что доковырял.
Как последние два закоммитят, можно будет финальный патч коммитить. Который старый механизм работы опций разрушает до основания, а затем...

Еще есть странный https://commitfest.postgresql.org/17/1486/ который тоже к теме опций отношения имеет.
Там история в том, что если задать опции работы TOAST'а для таблицы в которой TOAST'а нет, то постгрес это молча съест, а значения опций просто потеряются. Я в этом патче предлагаю непущать, но в рассылке меня убедили что так нельзя. Поэтому наверное вместо этого надо будет пренудительно создавать TOAST-таблицу ставить туда опции и предупреждать, что "чувак, ты что-то странное делаешь". Но пока какой-то финальной отмашки я в рассылке не получил, и непонятно, получу ли...

comments

An RSS feed with new Commitfest patches

Tue, 30 Jan 2018 14:21:04 GMT

Hi!

I'd like to tell everybody that I've created an RSS feed that streams notification about new patches posted to Postgres Commitfest.

http://perl.nataraj.su/commitfest-rss/commitfest-rss.pl

Now it just parses the site and make a feed from that data. If you also use RSS feeds and like to watch for new commits, feel free to use it.

May be once this feature will be implemented in commitfest.postgresql.org. But I am not able to implement it there myself as I do not write python.

Source code of the script can be found at my message to psql-www mailing list.

Feel free to write comments in that mail-list, personal email, or in the blog (you will need OpenID to authorize there)

comments