henry_flower

Колись був такий чималенький хфайла jarg447.txt, який містив дефініції слів micros~1 чи ken та загальний опис емайтішних хакерів, їх поведінку, розваги і погляди на життя.

З тих часів, коли я його листав (> 20 тому), змінилося майже все, а меінтейнер хфайлу--Ерік Реймонд (який, до речі, хоча є і маґа, але не любить Московію)--не оновлював його з 2003 року.

Я згадав про хфайла жаргонів, коли намагався пригадати як називають software тіпів, яким є байдуже на hardware:

$ ./jargon softy
softy: n.

   [IBM]  Hardware  hackers'  term  for a software expert who is largely
   ignorant of the mysteries of hardware.

(Це ж я! Ну, за вийнятком 'іксперт'.)

jarg447.txt чомусь залишається ув iso-8859-1, напевно тому шо ув 2003 ще не вийнашли UTF8, а уйоб-версія видає

$ curl -Is http://www.catb.org/~esr/jargon/html/S/support.html | grep type
content-type: text/html; charset=utf-8

хоча сторінки також залишаються ув iso-8859-1. Сучасні бовзери вибирати кастомне кодування сторінки не дозволяють і все виглядає поламаним та занедбаним.

Після iconv залишається питання як шукати терміни, тому що вгадати довжену конь тексту для grep там є неможливо:

:term: pronunciation\n\n   def

(довжина def є довільна)

awk дозволяє змінювати роздільники, наприклад, замість '\n':

BEGIN { RS = "\n\n:" }

де залишається тоді тільки домовитися на чому робити match:

$ cat jargon
#!/usr/bin/awk -f

function eh(s) { print s > "/dev/stderr"; exit 1 }

BEGIN {
    if (ARGC < 2) eh("Usage: jargon pattern [indices_mode]")
    if ( !("JARGON" in ENVIRON))
        eh("JARGON env must contain path to jarg447.txt")

    pattern = ARGV[1]
    indices_mode = ARGV[2]
    ARGV[1] = ENVIRON["JARGON"]
    ARGV[2] = ""

    RS = "\n\n:"
    ORS = indices_mode ? "\n" : "\n\n"
}

function entry() {
    if ($0 ~ /^#/) return ""
    return substr($0, 0, index($0, ":")-1)
}

tolower(entry()) ~ tolower(pattern) {
    print indices_mode ? entry() : $0
}

Що є трохи забагато зусиль для іграшкового словника, але дозволяє дізнатися купу трівіа:

$ export JARGON=/mnt/scrap/lib3/doc/jargon-4.4.7.txt
$ ./jargon . 1 | wc -l
2310

$ ./jargon slop 1
slop
slopsucker

Ось, ви напевно думали що slop це якесь нове слово останніх років.

$ ./jargon micro 1
killer micro
micro-
MicroDroid
microfortnight
microLenat
microReid
microserf
Microsloth Windows
Microsoft
micros~1

$ ./jargon \~
micros~1:

   An  abbreviation  of  the full name {Microsoft} resembling the rather
   {bogus} way Windows 9x's VFAT filesystem truncates long file names to
   fit in the MS-DOS 8+3 scheme (the real filename is stored elsewhere).
   If other files start with the same prefix, they'll be called micros~2
   and  so  on,  causing lots of problems with backups and other routine
   system-administration problems. During the US Antitrust trial against
   Microsoft  the names Micros~1 and Micros~2 were suggested for the two
   companies that would exist after a break-up.

(Дуже програв з останнього речення.)

Виявляється, Кен Томпсон був відповідальним за релізи:

$ ./jargon ^ken | head
ken: /ken/, n.

   1. [Unix] Ken Thompson, principal inventor of Unix. In the early days
   he  used  to hand-cut distribution tapes, often with a note that read
   "Love,   ken".   Old-timers  still  use  his  first  name  (sometimes
   uncapitalized,  because  it's  a  login  name  and  mail  address) in
   third-person  reference;  it  is  widely  understood  (on  Usenet, in
   particular)  that  without  a  last  name  `Ken'  refers  only to Ken
   Thompson.  Similarly, `Dennis' without last name means Dennis Ritchie
   (and he is often known as dmr). See also {demigod}, {Unix}.

awk-скрипта має бага зі словом zorkmid, т.я. воно є останнім і після нього ув хфайлі йдуть поза-словникові додатки. Фікса залишається ув якості домашнього завдання.

Нумеро тре драматичного епосу про майкрософтські айсо хфайли. (Нумеро уно, а також менш цікавий нумеро дуе.)

Невеличкий скрипта, який тулив інсталяційні хфайли з охфіційного .iso до .img (для подальшої dd'ізації його на блокового носія знімного), раптом перестав працювати з .iso від 25h2!

Щось ув механізмі з двома GPT партішонами перестало подобатися свіжій інсталяції. Т.я. останній раз я дивився на те майже рік тому, жодного бажання пригадувати деталі у мене не з'явилося. Простіше за все було подивитися як то робить Media Creation Tool майкрософтський та скопіювати його поведінку.

Замість GPT він форматує дівайса з MBR і створює самотнього fat32 партішона, куди переносить всі хфайли з .iso. Останній містить efi/boot/bootx64.efi аплікацію, тому байоса навіть ув режимі суворого UEFI її запускає. Я думав GPT є необхідний завжди, але це виявилося неправдою.

Щоправда fat32 не підтримує файли > 4 GB, а .iso має install.wim розміром > 6 GB, тому останнього треба ділити на шматки за допомогою ютіліти wimlib-imagex, яка є навіть ув стандартних федориних ріпо.

Хоча фінальний .img виглядає як MBR-леґесі,

$ parted w11.img print | grep '^[PN ]'
WARNING: You are not superuser.  Watch out for permissions.
Partition Table: msdos
Number  Start   End     Size    Type     File system  Flags
 1      1049kB  8591MB  8590MB  primary  fat32        boot, lba

він не зможе завантажитися ув режимі байосного леґесі режиму через відсутність бут лоадеру:

$ head -c512 < w11.img | xxd -a
00000000: 0000 0000 0000 0000 0000 0000 0000 0000  ................
*
000001b0: 0000 0000 0000 0000 3eeb 5b2d 0000 8020  ........>.[-...
000001c0: 2100 0cfe ffff 0008 0000 0000 0001 0000  !...............
000001d0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
000001e0: 0000 0000 0000 0000 0000 0000 0000 0000  ................
000001f0: 0000 0000 0000 0000 0000 0000 0000 55aa  ..............U.

Оновлений ланаксний скрипта на ґітгабі.

Дуже сміявсь:

Anonymous @OpDeathEaters

The Epstein files on the DOJ website allow you to highlight the redacted text, copy it, and paste it into another document, which reveals what was hidden. You can also press Ctrl+F and search for "Trump " (with a space) to see his name appear more than 600 times. #OpDeathEaters

4:02 PM . Dec 23, 2025

Може то є звичайна твіторська маячня, перевіряти я не буду, але це нагадало мені старий квеста (2017), коли тато спитав мене за редагування pdf:

https://henry-flower.dreamwidth.org/397452.html

Гадаю, з тих часів змінилося небагато.

Я побачив це недавно, але коїтися воно почалосі біля року тому. На деяких уйоб-сайтах звичайний теґ img став раптом виглядати як божевільне майкрософтське ікстеншона Інторнет Іксплореру 1998 року:

<img src="blob:https://example.com/b501e863-fe43-4b63-ae5d-dac14cac097e">

Уйоб-сторінка, яка його містить, наочно рендерить зображення без жодних прублем, але коли наївний користувач збросіт лінк в чят, з того вийде нічого--блоб, на який посилається <img>, існує лише ув пам'ті конкретного інстансу бовзера, а на https://example.com/UUID сервер відповість 404.

Навіщо це роблять? Деякі люди кожні n років починають боятися хотлінкінґу (сволочі воруют наш трафік), борці з ЕйАй намагаються зіпсувати бізнес злим корпораціям, а поціновувачі іграшкових DRM тішаться від нової скіми.

Якщо подивиться на fetch-ріквести такої сторінки, там будуть ресурси які схожі на зображення, але насправді не є ними:

$ url='https://ia800206.us.archive.org/🙈.jpg'

$ curl -sI "$url" | grep -e type -e length -e obfuscate
content-type: image/jpeg
content-length: 267470
x-obfuscate: 1|uoEV6/PZOWtGhOZdVM898w==

$ curl -s "$url" | head -c25 | file -
/dev/stdin: data

Такий .jpg є зашифрований. Частковий ключа є ув X-Obfuscate хедері, але про це не знає ані скрейпера рендомної ЕйАй контори, ані будь-яка соцсіточка. Шифр також не афішується, і кожний уйоб-сайт може мати який завгодно, дотримання рекомендацій тут зводить нанівець мету обфускації.

Алгоритм малювання зображень тоді стає таким:

1. завантажити зашифрований хфайла;
2. розшифрувати його ключем з відповідного хедеру і запхнути результат ув блоб;
3. створити посилання на блоб хфункцією URL.createObjectURL;
4. інджекнути до DOM елемента img, у якого атрібута src дорівнює новому посиланню.

Для збільшення ентропії можна написати кастомного елемента:

<img-blob alt="a fluffy cat" src="cat.bin"></img-blob>

який буде робити все перелічене самотужки.

Ув якості економії, аркайв.орґ AES-CTR-шифрує лише перші 1024 байт зображення. Бовзери знають про AES, але суворо вимагають secure context, що може дратувати під час тестування, тому для мікімаусного DRM можна взяти xor-шифра.

Обфускатувати X-Obfuscate хедера можна ще більше. Наприклад

x-obfuscate: rlW2MKWmnJ9hVwbtZFjtVzgyrFV6VPVkZwZ0AFW9Pt==

виглядає як рядок ув base64, але

$ echo rlW2MKWmnJ9hVwbtZFjtVzgyrFV6VPVkZwZ0AFW9Pt== | base64 -d | xxd
base64: invalid input
00000000: ae55 b630 a5a6 9c9f 6157 06ed 6458 ed57  .U.0....aW..dX.W
00000010: 3832 ac55 7a54 f564 6706 7400 55bd 3e    82.UzT.dg.t.U.>

Я спитав вініпухівський ДіпСік розібратися: він витратив 9 хвилин і залишив без води 2 села ув провінції Чжецзян, був кілька разів дуже близько від мети, але зрештою зазнав невдачі.

Рядок був оброблений напилком rot13:

$ alias rot13="tr 'A-Za-z' 'N-ZA-Mn-za-m'"
$ echo rlW2MKWmnJ9hVwbtZFjtVzgyrFV6VPVkZwZ0AFW9Pt== | rot13 | base64 -d
{"version": 1, "key": "12345"}

Ув якості домашнього завдання, до кастомного елементу можна додати еквівалента loading="lazy" за допомогою Інтерсекційного Спостерігача.

Зазвичай пісеньки тематичні не вартують уваги, але I Love My Mac (2004) від канадійської тітоньки мене розвеселила:

Що сталося з авторкою--невідомо. Всі її інтервебні маєтності не працюють, видно лише їх шматки на аркайв.орґ.

Окрім ойтюнзу, знайти оригінальні хфайли пісеньки можна лише всередині .dmg диску (грудень 2005) з журналу MacAddict, який збанкрутував 18 років тому.

Нижче є статистика висіння ~15 годин ув топі хакір н'юз неділю тому. Ув порівнянні з минулорічним показниками, змінилося мало: Польща тоді була на 9 позиції, ми на 32.

Дуже сумно, тому що до '22 цифри були зворотні: ми мали 10-15 місця завжди, а Польща бовталася ув 3-тьому десятку.

Як повернути все назад, я не знаю. Гадаю, це є неможливо і далі буде лише гірше: залишаться військові (мілтек за $500/місяць), тітки за 40 та пенсіонери. Пітун переміг.

Вибачте за відсутність оптимізму.

Команда dirname(1) з беллабсівської рісьóрч Unix v8 (1985):

$ cat usr/bin/dirname
#       @(#)dirname.sh  1.2
expr \
  ${1-.}'/' : '\(/\)[^/]*/$' \
  \| ${1-.}'/' : '\(.*[^/]\)//*[^/][^/]*//*$' \
  \| .

На жаль, Торвальдсу тоді було лише 16 років і ґіта він AT&T подарувати не міг, тому хто був автором іммортальних рядків, залишається невідомим.

Загалом, v8 продвжувала традицію 'все що може бути скриптом шелóвим має їм бути', наприклад /bin/true сяяв 0755 з розміром 0 байт.

Багато хто зі світу віндюка досі не розуміє чому навіть сучасні лайнакси мало використовують імена хфайлів з пробілами. Річ у тому, що останні вийнашли тільки ув 2000х роках, а до того люди ніколи не умивалися і їли сало:

$ sh usr/bin/dirname 'foo bar'
expr: syntax error: unexpected argument ‘bar/’

Ви часто використовуєте ютіліту expr(1)? Я чомусь думав вона є builtin, але ніхто з шелів її не чіпає. Гадаю, про неї забули всі хто про неї знав, як тільки з'явилася підтримка орифметичного ікспаншону ув $(( … )).

Оператор : став для мене новиною. STRING : REGEX робить пошук за взірцем, а якщо regex має субікспрешона \( … \), то ютіліта друкує його ув стилі 'grep -o'.

Це видається корисним, але насправді товку від того є небагато.

Можна написати аналога basename(1), але навіщо?

$ expr /$SHELL : '.*/\([^/]*\)$'
bash

Порахувати довжину рядка:

$ expr foobar : '.*'
6

Надрукувати ув лайнаксі регіона таймзони:

$ expr `realpath /etc/localtime` : '.*/\(.*\)/.*$'
Europe

Таке. Перевірити рядок на суфікса:

$ q=foo.txt
$ expr $q : '.*\.txt$'
7

але ідіома

$ [ "${q##*.}" = 'txt' ]

є більш відомою і викличе меньше питань.

Сучасні dirname(1), звичайно, шелóвими скриптами не бувають. Вони або використовують позіксну dirname(3), або пишуть криву (але свою, як coreutils) хфункцію пошуку '/'.

"Компактні" Мокінтоши перестали мати чорно-білі екрани лише 1993 року, що є вкрай смішно, тому що їх лінійка "професійних" Мокінтошів ІІ отримала кольори ув 1987. NeXT ув 1988 вийшов з 2-бітним монітором (ч/б + 2 варіянти сірого), про що ув одному зі старих інтерв'ю Джобса останній розповідав як газети тоді писали що він таємно ненавидить кольори і, коли має для того владу, робить лише монохромні комп'ютери.

(До речі, оригінальний посібник по Мокінтошу ІІ виглядав гарною coffee table книжкою (конь цепта маловідомий у Центрально-Східній Європі), випадкове досягнення яке Епл спромоглася повторити ніколи, навіть після повернення Джобса.)

Мокінтош ув 1984 комплектувавсь безоплатним MacPaint'ом, який трохи пізніше Майкрософта злизала собі для віндюка. Для 1-бітних екранів симулювати відтінки сірого ув MacPaint'і можна було тільки за допомогою дізерінґу. Найвідоміший алгоритм--Floyd-Steinberg (FS)--був винайдений ув 1974, але Аткінсон, якого автор книжки Revolution in the valley називає єдиним дорослим ув команді Мокінтошу, вважав FS малоконтрастним.

Коли стало відомо що Аткінсон помер, на HN з'явився лінка на бовзерний емулятора його алгоритму від якогось угорця, який ховається від Орбана ув Ландані.

Якість мене вразила:

Напевно це можна робити ув лайнаксі з командного рядка? На жаль, ні. Опція -⁠dither ув ImageMagick про Аткінсона не знає (слушайтє пєсню Валєнкі). pamditherbw (з netpbm) знає, але результат засмучує:

Угорська демо працює так:

1. створюється Canvas з розміром зображення оригінального кольорового;
2. зображення копіюється на Canvas;
3. з Canvas'у читаються пікселі ув форматі ImageData;
4. ImageData модифікується;
5. Результат знову копіюється на Canvas;
6. з Canvas'у експортується нове чб-зображення ув форматі png.

Всі пункти, окрім 4, підтримуються власно бовзером та вимагають жодних зусиль.

Хоча угорська демо написана ув темні часи кофіскрипта, траспайлер останнього друкує читабельного джаваскрипта. Скомбінувавши зміст до 1ї хфункції

export default function(imagedata) {
  let threshold = i => (i <= 128) ? 0 : 255

  let luminance = function(imagedata) {
    var i, j, pixels, ref;
    pixels = imagedata.data;
    for (i = j = 0, ref = pixels.length; j <= ref; i = j += 4) {
      // luminance: red x 0.3 + green x 0.59 + blue x 0.11
      pixels[i] = pixels[i + 1] = pixels[i + 2] = parseInt(pixels[i] * 0.3 + pixels[i + 1] * 0.59 + pixels[i + 2] * 0.11, 10);
    }
    return imagedata;
  }

  let dither = function(imagedata) {
    var err, i, j, mono, neighbours, one, pixels, ref, w;
    pixels = imagedata.data;
    w = imagedata.width;
    for (i = j = 0, ref = pixels.length; j <= ref; i = j += 4) {
      neighbours = [i + 4, i + 8, i + (4 * w) - 4, i + (4 * w), i + (4 * w) + 4, i + (8 * w)];
      mono = threshold(pixels[i]);
      err = parseInt((pixels[i] - mono) / 8, 10);
      pixels[i] = mono;
      for (one in neighbours) {
        pixels[neighbours[one]] += err;
      }
      pixels[i + 1] = pixels[i + 2] = pixels[i];
    }
    return imagedata;
  }

  return dither(luminance(imagedata))
}

залишається лише прикрутити її до Canvas. (Уважний читач помітить зайві змінні ув циклах, courtesy of транспайлера.)

Спочатку я чомусь вирішив що то є робота для Puppeteer. Це була велика помилка. Кожного разу коли я намагаюся притулити його до чогось, закінчується це невгамовним бажанням міцно потримати авторів Puppeteer ойпіай за горло. Кривий скрипта врешті запрацював, але користуватися їм я не раджу.

Потім я згадав про шматки DOM, які нарід багато років (марно) намагаються портувати до ноуда. Певно, Canvas має бути там давно? Виявляється, так, контора яка пише Вордпреса, роздає свою реалізацію всім охочим. (Її дуже складно знайти--1й хіт на npmjs.com на кейворда "кенвес".)

З вордпресівською бібліотекою, безглуздий мотлох Puppeteer зменшується до

function dither(img, algo) {
  let cnvas = canvas.createCanvas(img.width, img.height)
  let ctx = cnvas.getContext('2d')
  ctx.drawImage(img, 0, 0)
  let imagedata = ctx.getImageData(0, 0, img.width, img.height)
  ctx.putImageData(algo(imagedata), 0, 0)
  return cnvas.createPNGStream()
}

IRL, щоб показувати прогреса ув %, там є трохи більше рядків, але мінімалізм мене тішить. Щоб подивитися на життя ув 1984, для ноуда 22:

$ npm -g i atkinson
$ atkinson file.jpg > 1.png

(Продовження саги про віндюка та його інсталяцію.)

Я помітив що аплікація gnome-disks вміє монтувати image files не питаючи ув polkit дозволу. Виявляється, монтувати loop дівайси можна через udisksctl без руту, тобто замість

$ sudo mount -t udf Win11_24H2_English_x64.iso /media

друкується

$ udisksctl loop-setup -f Win11_24H2_English_x64.iso
Mapped file Win11_24H2_English_x64.iso as /dev/loop0.

$ udisksctl mount -t udf -b /dev/loop0
Mounted /dev/loop0 at /run/media/alex/CCCOMA_X64FRE_EN-US_DV9

Таким чином, створювати окремі партішони, форматувати їх та копіювати результата до raw image можна також робити зовсім без руту. Наприклад, 2й партішон для ntfs:

$ truncate -s 6G lol.img
$ mkfs.ntfs -fF -s 512 -S 63 -H 255 -p $((boot_size + 2048)) lol.img

де boot_size розмір (ув секторах) 1го партішону.

Raw image генерується sfdisk'ом як

$ boot_size=$(( 1024*1024*1023 / 512))
$ setup_size=$(( 6*1024*1024*1024 / 512))

$ sfdisk w11.img << EOF
label: gpt
1 : start=2048, size=$boot_size, type=EBD0A0A2-B9E5-4433-87C0-68B6B72699C7, name="BOOT"
2 : start=$((boot_size + 2048)), size=$setup_size, type=EBD0A0A2-B9E5-4433-87C0-68B6B72699C7, name="INSTALL"
EOF

Потім, щоб втулити отой lol.img з ntfs до w11.img, треба вказати правильний офсета для dd і не забути про conv=notrunc:

$ dd if=lol.img of=w11.img conv=notrunc bs=512 seek=$((boot_size + 2048))

712 безглуздих слів про "renewing the Brand".

Дякуючи Зевсу, Гері та іншим богам, ЕйАй, який нищить Stack Exchange, вміє перетворювати воду на сенс:

"Stack Exchange is launching a rebrand because they think their identity is a mess, and it’s hurting their business. Instead of fixing real problems, they’re wasting time and money on consultants and vague “brand strategy” to make everything look more polished while AI eats their lunch. They say they want community input, but this is corporate theater."

З безтурботних часів кінця сивочолого криголама (що мені не подобалось?), для знаходження діректових лінків на .iso, Майкрософт кілька разів змінювали внутрішній ойпіай, загалом, потреба ув якому як була так і залишається незрозумілою, якщо не рахувати необхідність свіжих булітів кожного end-of-year рів'ю.

Щоб завантажити 24h2, треба отримати ойді сесії та список мов, за якими Майкрософт подарує згенерований url ув джейсоні. Як робити найостанніший ріквеста забагато разів на годину (наприклад, нахабно 5 разів), Майкрософт зобанить. Покласти всі .iso на статичного сервера не можна--це буде глузування над здоровий глуздом, потрібна Процедура.

$ grep -Ev '^#|^$' windows-iso-url | wc -l
28

Скрипта вимагає nokogiri.

Ув вікіпідіа написано шо хадварні термінали VT100 (продавалися з 1978 року) та VT220 (1983) були монохромні (кольорові варіянти, напевно, лише для заможних верств гіпадрілів). Terminfo ув лайнаксі про ці термінали містить ту саму інформацію:

$ for i in dumb vt100 vt220 screen xterm $TERM; do printf "%-20s" $i; TERM=$i tput colors; done
dumb                -1
vt100               -1
vt220               -1
screen              8
xterm               8
xterm-256color      256

Кілька днів тому, нєкто Поттерінґ, мастодонів про діфолтне значення TERM, яке обирає systemd:

'The default fallback $TERM we so far picked has been "vt220" … This deemed us to be a good choice, since (unlike the better known vt100) these kind of terminals support PageUp/PageDown keys'

Загалом, ув terminfo дивляться зазвичай тільки ютіліти які для користувацького інтерхфейсу використовують ncurses; решта вгадує можливості терміналу шляхом слідкування за візерунками руху небесних тіл, e.g.:

• чи є змінна середовища COLORTERM (нещодавно обраний шлях systemd);
• змінна середовища NO_COLOR (я би віддав перевагу, навпаки, щось на кшталт COLOR=1, бо діфолтне плювання кольорами ув консолі є страшенний несмак);
• дивитися на TERM і шукати збіг ув своїй вкомпайлений (не жарт) табличці, як то робить ls з coreutils;
• механізма terminal-colors.d(5) з util-linux, яким користується ніхто, окрім деяких ютіліт з util-linux.

Лайнаксний ls, звичайно, перемагає ув конкурсі найдебільнішого рішення.

Воно друкує барвами для vt100, тому що протягом компіляції coreutils хапається текстовий хфайла з налаштунками для dircolors(1), який має ось такі рядки:

TERM vt100
TERM xterm*

Цей хфайл (його копія зазвичай є ув /etc/DIR_COLORS) скрипта перловий конвертує ув символьного масива

$ head -c7 src/dircolors.hin # ув ріпо coreutils
# Confi
$ (head -c61 && printf 🤡 && tail -c39) < <(src/dcgen src/dircolors.hin)
static char const G_line[] =
{
  '#',' ','C','o','n','f','i',🤡,'r','i','a','b','l','e','s','.',0,
};

який потім інклудиться як dircolors.h ув ls.c, де є хфункція

/* Check if the content of TERM is a valid name in dircolors.  */
static bool known_term_type(void) {
  char const *term = getenv("TERM");
  if (!term || !*term)
    return false;

  char const *line = G_line;
  while (line - G_line < sizeof(G_line)) {
    if (STRNCMP_LIT(line, "TERM ") == 0) {
      if (fnmatch(line + 5, term, 0) == 0)
        return true;
    }
    line += strlen(line) + 1;
  }

  return false;
}

dircolors(1) також парсить нещасну G_line та друкує 0 інструкцій для ls, коли TERM є відсутня чи несе невідоме значення:

$ env -i SHELL=/bin/sh dircolors
LS_COLORS='';
export LS_COLORS

У чому сенс тоді, навіть за відсутності LS_COLORS, розмальовуювати множинні character devices з директоріями (довгий масив color_indicator[] ув ls.c, якщо комусь цікаво), але полишати файли звичайні (кольори для яких G_line має), залишається невідомим.

Бовзер Кроум має інтернáльну сторінку chrome://gpu/, яка малює, поміж інших речей, статуса хадварних відеокодувальників. Якщо драйвер gpu не опиняється ув блеклисті (це слово можна знову використовувати?), ближче до кінця там з'являється таблиця з рядками

Decode hevc main    64x64 to 8192x4352 pixels

З інтернáльною сторінкою пов'язано багато смішного. Наприклад, одного разу на безмежні узбережжя скелястих форумів гоогла викинуло монголку:

"Добрий дєнь! вопрос про страніцу chrome://gpu - у мєня поддєржка ЯндєксКарти запросіла пріслать содєржімоє єтой страніци. Єто что, вообщє? Єто бєзопасно? Я вставіла єє в адрєсную строку і получіла коллапс какой-то - цвєтниє полоси, клінья, сєґмєнти і прочую бєлібєрду, послє чєґо всє откритиє страніци інтєрнєта пошлі "плясать" - содєржімоє пєрєкорєжіло. Вірус, что лі?"

Раніше, якщо треба було дивитися на окремі відеофрейми, брався src відеокодеку на C та відчайдушно компілювався ув вебасемблі. Зараз це ліпше робити ні, т.я. бовзер розуміє вдосталь відеокодеків самотужки і має новітнього ойпіай (йому 5 років) для маніпулювання фреймами--WebCodecs.

Ув лайнаксі, Кроум використовує хадварні відеокодувальникі через завдяки за допомогою VAAPI. Якщо дістро має застарілі (або занадто нові) версії Mesa з їх DRI-драйверами, відеокодувальники ув Кроумі будуть софтварними, навіть якщо GPU підтримує їх хадварну акселерацію. З ідіотськими порадами "не викидайте старі комп'ютери, а інсталюйте на них лайнакса", наївний користувач отримує гул кулерів, який був відсутній ув віндюку, де Кроум дружив з драйверами GPU.

WebCodecs має метода статичного VideoDecoder.isConfigSupported(), яким можна перевірити чи використовує Кроум могутню акселерацію для конкретного кодека. З VideoEncoder це можна перевірити для конкретної роздільної здатності.

Наприклад, якщо пастнути текста нижче ув дівтулзову консоль, воно надрукує трохи більш зручну табличку, аніж простирадла з chrome://gpu/:

Promise.all([
    ['AV1',   'av01.0.08M.10'],
    ['H.264', 'avc1.640033'],
    ['H.265', 'hev1.1.6.L120.90'],
    ['VP8',   'vp8'],
    ['VP9',   'vp09.00.40.08']
].map( async v => ({
    name: v[0],
    codec: v[1],
    support: (await VideoDecoder.isConfigSupported({
        codec: v[1], hardwareAcceleration: "prefer-hardware",
    })).supported
}))).then(console.table)

(Звичайно шо isConfigSupported() є червона хфункція, т.я. потрібно нагадувати гіпадрілам постійно шо життя це є боротьба.)

На жаль, console.table() не вертає html, тому щоб написати уйоб-сторінку, яку зручно відкривати на SBC з ондроїдом або кетайських тівібоксах, треба малювати все самому.

Мінімальний приклад (працює лише ув Кроумі; Файрфокс видає галімат'ю):

$ wc -l *html
47 index.html

є отут (вибачте що не Реакт). Ув якості домашнього завдання, додайте вибір варіянтів baseline/main/high кодеків з <select>.

Such is human stupidity that whatever is difficult
to obtain is always thought to be better.
-- Peter Martyr d'Anghiera, 1524.

Колись давно, років 8 тому, ув часи сивочолого гетьмана і кволих реформ мусоріату, на HN з'явився лінка на http-сервера розміром 1KB. Не src того сервера був 1KB, а його статично зкомпільований байнарник. Все що той сервер вмів робити це відповідати на будь-який ріквест 1 файлом. Я проявив 0 інтересу, тому що написано воно було на asm/C ув пропорції 60/40.

Ідея такого розміру програм сподобалася французькому автору haproxy і він вмовив нарід ув LKML погодитися закомітити окрему бібліотеку для написання "nolibc" аплікацій. Прикладом такої аплікації є rcutorture--тестування кернела--де генерується невеличкий initrd, написаний на C без використання будь-якої libc.

Іронія ув необхідності спеціяльної бібліотеки щоб не використовувати стандартну бібліотеку нагадує спробу обійти коло, рухаючись по його контуру.

На тему < 1KB байнарників є класичний текста Really Teensy ELF Executables, але у ньому йде мова про асемблера, на який я не бажав звертати уваги ув минулому і на який не бажаю звертати уваги зараз.

Чи можна створювати крихітні (байнарі-вайз) аплікації без асемблеру на C без стандартної бібліотеки? Майже пусту main() лінкер--лінкує, але:

$ cat 42.v1.c
int main() { return 42; }

$ clang -Os 42.v1.c -o 42.v1.o -c
$ ld.lld -e main -o 42.v1 42.v1.o

$ ./42.v1
Segmentation fault (core dumped)

Виявляється, осемблер потрібен щоб кликати сисколи лайнакса:

$ cat 42.v2.c
static inline long syscall(long NR, long arg1) {
  long r;
  __asm__ volatile("syscall" : "=a" (r) : "a" (NR),
                   "D" (arg1) : "rcx", "r11", "memory");
  return r;
}
int main() { return 42; }
void _start() { syscall(60, main()); }

$ clang -Os 42.v2.c -o 42.v2.o -c
$ ld.lld -e _start -o 42.v2 42.v2.o
$ strip -s 42.v2

$ strace ./42.v2
execve("./42.v2", ["./42.v2"], 0x7ffc7190b9a0 /* 105 vars */) = 0
exit(42)                                = ?
+++ exited with 42 +++

Ага! Такий статичний байнарник має розмір 800 байт і залежить від 0 бібліотек. Номер сисколу (60) для exit можна подивитися ув файлі arch/x86/entry/syscalls/syscall_64.tbl кернельного src. На відміну від віндюка, де ABI змінюється з щорічними "feature updates", такий 800-байтовий ікзек'ютабл буде працювати доки є жива орхітектура x86_64.

Чи складно тоді, маючи обгортки для лайнаксних сисколів, написати елементарного TCP сервера для x86_64? Я вирішив спробувати:

$ _out/uptime-tcp-nolibc &
[1] 53161
$ nc --recv-only 127.0.0.1 1377
 07:16:29 up 1 day(s) 22:14,  load average: 0.19, 0.31, 0.30

Воно вертає шось схоже на команду uptime на ремоутній мошині, але не використовує ніяких екстернальних команд чи бібліотек. Якого розміру uptime-tcp-nolibc та скільки він їсть пам'яті написано ув кінці посту.

Якщо без libc немає жодного способу робити I/O чи відкривати сокета, тоді С стає фанкшонал мовою, про яку мріяли вчоні з 80х років, але, на їх невдачу, кернела набув IP стек та аналоги open(2) з write(2).

42.v2.c не вміє читати argv чи environ, а варіятивні хфункції у ньому роблять кордамп. Останне лікується

__attribute__((force_align_arg_pointer))
void _start() { ... }

З argv все є набагато гірше: якщо мета є саме отримувати поінтера на argv, потрібен знову осемблер (~14 рядків), який я тут постити не буду, щоб не лякати людей. Технічно, прочитати argv можна просто відкривши /proc/self/cmdline, ув якому \0 є роздільником аргументів:

$ tr \\0 \\n < /proc/self/cmdline
tr
\0
\n

але вас засміють ув інтервебах.

Перша каменюка на шляху до сокетів лежить ув man-сторінках відповідних libc враперів. Наприклад, bind(2) чекає на аргумента struct sockaddr *, опис якого ув man-сторінці ip(7) був скопійований з документації якоїсь 4.3BSD-Tahoe 1987 року і відповідає реальності нутрощів лайнуксного сьогодення з висоти дзвіниці Києво-Печерської лаври. (Потрібний додатковий паддінґ' unsigned char __pad[8].)

Якщо libc-врапери вертають -1 на помилку та виставляють errno, то сисколи вертають errno × -1. Ув справжніх libc errno є локальна для поточного треду. Для мікімаусного nolibc серверу писати свою версію позікс тредів це як збирати гелікоптер AK1-3 на подвір'ї поміж 2ма хрущовками, тому тут errno--глобальна змінна. Як зберігати інтерхфейса, до якого звикли всі, хто коли-небудь писав мережеві майкросервіси на C, то найпростіший враппер виглядає як

int accept(int sockfd, struct sockaddr *addr, socklen_t *addrlen) {
  int r = my_syscall(43, sockfd, (long)addr, (long)addrlen, 0, 0, 0);
  if (r < 0) {
    errno = -r;
    r = -1;
  }
  return r;
}

Сигнали

Ув класичних Unix-серверах, якщо вони писалися не для inetd, конкурентна модель є форкова модель, яка вимагає прислуховуватися до SIGCHLD і чекати доки child завершить роботу, інакше після кожного ріквесту буде залишатися зомбі.

Форкова модель була популярна, тому що дозволяла серверу не лякатися сіґфолта, якщо сервер мав бага на який натрапив клайент: зупинявся лише child-невдаха, всі інші продовжували працювати.

Для встановлення колбеку на окремий сигнал лайнакс має свій rt_sigaction сискола. Ув аргументах той має поінтера на struct sigaction з дуже підступним філдом

void (*sa_restorer)(void);

Ув man-сторінках про нього написано ось таке:

'This flag is used by C libraries [тобто, нами] to indicate that the sa_restorer field contains the address of a "signal trampoline".

'… the C library's sigaction(2) wrapper function informs the kernel of the location of the trampoline code by placing its address in the sa_restorer field of the sigaction structure.'

Шматок з мікімаусного врапера:

int sigaction(int sig, const struct sigaction *act, struct sigaction *oact) {
  // ...

  struct kernel_sigaction kact, koact;
  kact.k_sa_handler = act->sa_handler;
  memcpy(&kact.sa_mask, &act->sa_mask, sizeof(sigset_t));
  // ...
  kact.sa_restorer = &restore_rt; // THE MOST IMPORTANT STEP

  int r = my_syscall(13, sig,
                     (long)(act?&kact:NULL), (long)(oact?&koact:NULL),
                     _NSIG/8, 0, 0);
  // ...
}

Звідкіля береться адреса хфункції для kact.sa_restorer? Це є та сама "signal trampoline", про необхідність якої попереджає лайнаксна документація. Звичайно, можна її не виставляти, але тоді жоден з сигналів не буде пійманий і жоден з колбеків не буде виконаний.

Спочатку я наївно написав

void restore_rt() {
  my_syscall(15, 0, 0, 0, 0, 0, 0); // 15 це rt_sigreturn
  __builtin_trap();
}

сигнали перехоплювалися, колбеки виконувалися,

СЄЧЄНОВ

Цей гіпноз корисний дуже,
У хазяйстві вєрно служить,
Злакі мощно прорастають
І надої возрастають!

але після завершення останніх сервер гепався через сіґфолта. На жаль, тут був потрібен осемблер знову:

__asm__(
  ".globl restore_rt\n"
  "restore_rt:\n"
  "    movq $15, %rax\n"
  "    syscall\n"
  "    hlt\n"
);

Чому не працює С-версія я не знаю. Клод ЕйАй вважає вона "may modify registers or the stack layout."

snprintf та gettimeofday

Життя без snprintf--життя варварів.
-- Невідомий філософ.

Ув src кернелу є приклад мінімалістичної vfprintf на 101 рядок, але вона не підтримує floats, які має друкувати uptime. Замість додавання їх підтримки, ліпше пошукати справжню snprintf, яка не використовує malloc. Така є ув pkg Федори (із усіх можливих місць саме тут) і називається stb_sprintf-devel. Це самотній .h файла, який зкомпільовується ув 18168 байт. Жахливе марнування ресурсів, але нічого не вдіяти. Тій хфункції потрібні va_start з друзями, але gcc та clang мають __builtin_va_* ув комплекті:

#define va_start(v,l)   __builtin_va_start(v,l)

Після інкорпорації stb_sprintf життя заграло новими барвами.

Дізнатися час ув секундах з початку буту можна зі сисколом sysinfo, поточний час--зі gettimeofday. Останній провайдить навіть кількість хвилин на захід від Ґрінвічу! Така розкіш.

Фіналє

Розмір нестріпованого статичного байнарника: 21736 байт. (Я до сих пір не можу повірити як це можливо.)

$ make info
wc -lc *.[ch] | while read -r lines bytes file; do \
 elf=-;\
 echo $file | grep -q '\.c$' && elf=`stat -c%s _out/${file%.*}.o`;\
 echo $file $lines $bytes $elf;\
done | column -t -N\ ,LINES,BYTES,ELF
            LINES  BYTES  ELF
main.c      134    3657   5896
signal.c    76     1699   1704
signal.h    113    2649   -
snprintf.c  6      120    18168
snprintf.h  12     274    -
sockets.c   37     896    1728
sockets.h   45     1119   -
u.c         98     2152   4496
u.h         46     1353   -
uptime.c    67     2148   2128
uptime.h    6      79     -
total       640    16146  -

Якби не stb_sprintf, розмір був би < 10KB.

Але це є не найбільша цікавинка. Ось кількість пам'яті, яку їсть такий конкурентний tcp-сервер після відповіді на 100 одночасних ріквестів:

$ sudo ps_mem -p `pgrep -f uptime-tcp-nolibc`
 Private  +   Shared  =  RAM used       Program

 36.0 KiB +   4.5 KiB =  40.5 KiB       uptime-tcp-nolibc
---------------------------------
                         40.5 KiB

Дуже сміюся. Ув сучасному світі, якщо споживання серверу, який робить 0 складного, < 80 _мегабайт_, то це є видатний вчинок і безстрашний прояв волі, за який треба сертифікат хоноровий, медаль та грошовий бонус для походу ув підпільне казино з повіями.

FreeBSD is very compatible with standards such as POSIX.
-- FreeBSD Developer Handbook

На будь-якому лайнаксі з будь-яким sh-похідним шелом, скрипта нижче друкує hello world:

$ cat -n 1.sh
     1  set -e
     2
     3  hello() {
     4      false
     5      echo hello
     6  }
     7
     8  true | hello && echo world

$ sh 1.sh
hello
world

fbsd зі своїм /bin/sh робить потужний кєк на рядку 4:

$ sh 1.sh
$ echo $?
1
$ sh -x 1.sh
+ set -e
+ true
+ hello
+ false
$ uname -rs
FreeBSD 14.1-RELEASE-p5

Їхній sh(1) має ось таке речення ув роздлі про set -e:

"If a shell function is executed and its exit status is explicitly tested, all commands of the function are considered to be tested as well."

Я, звичайно, не є перший хто це випадково помітив: схожі 4 скарги ув їхній баґзилі date back to 1999-2005, всі обнадійливо позначені як FIXED.

Хто і навіщо fbsd використовує для роботи, окрім контори Соні та ображених на Торвальдса русскіх, залишається незрозумілим.

Як нарід робить векторні скріншоти терміналу? Ось такі:

Я гадав є конвертори аутпуту зі script(1) ув SVG, але нічого такого не знайшов. Результат з asciinema нормально конвертується лише ув бітмапові зображення. Мотлох ansi-ту-шото на пáйфоні та расті або видає скуйовджені світлини або не розуміє ті ansi сіквенсес, що відповідають за рух курсору. Покинутим termtosvg можна генерувати купу svg, але він покладається на пáйфонівський in memory емулятора терміналу, який має купу багів.

Сучасний xterm вміє робити "SVG Screen Dump", але з наївним позіціонуванням літер. Наприклад, рядок '$ uname' він серіялізує як:

<g fill='rgb(60.00%, 60.00%, 60.00%)'>
 <text x='2' y='17'>$</text>
 <text x='22' y='17'>u</text>
 <text x='32' y='17'>n</text>
 <text x='42' y='17'>a</text>
 <text x='52' y='17'>m</text>
 <text x='62' y='17'>e</text>
</g>

Це означає, що кернінґа шрифта до уваги не береться і результат виглядає чудернацько.

Сучасний xterm також вміє робити "XHTML Screen Dump" (ув меню Ctrl + Миша-1), який гендериться ув бовзері майже ідеально (з замалим line-height). Додати необхідного стилю до .xhtml файлу ж нескладно, але як конвертнути той xhtml ув svg?

Пассо нумеро уно

Бовзери вміють друкувати ув pdf. Кроум має headless режима, а гооглова бібліотека puppeteer (з дебільним інтерфейсом), має Page#pdf() метода. Нам лише потрібно вибрати розмір в'юпорту та опцію 'друкувати background graphics'.

$ cat html2pdf
#!/usr/bin/env node

import util from 'util'
import fs from 'fs'
import puppeteer from 'puppeteer'

async function pdf(url, output, opt) {
    let bowser = await puppeteer.launch()
    let page = await bowser.newPage()

    let print_settings = Object.assign({
        path: output,
        printBackground: true,
        width: 1920,
        height: 1080,
    }, opt)

    await page.emulateMediaType('screen')
    await page.setUserAgent('Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/129.0.0.0 Safari/537.36')
    try {
        await page.goto(urlise(url), { waitUntil: 'networkidle0' })
        await page.pdf(print_settings)
    } catch (e) {
        err('Error:', e.message)
    }

    await bowser.close()
}

function urlise(s) {
    return (/^https?:/.test(s)) ? s : 'file://' + fs.realpathSync(s)
}

function err(...msg) { console.error(...msg); process.exit(1) }

let args = util.parseArgs({
    options: {
        width: { type: 'string', short: 'w' },
        height: { type: 'string', short: 'h' },
    },
    allowPositionals: true
})

if ( !(args.positionals[0] && args.positionals[1]))
    err('Usage: html2pdf URL output.pdf')

pdf(args.positionals[0], args.positionals[1], args.values)

Скрипта підтримує -w та -h опції і конвертує будь-яку уйоб-сторінку, а не тільки локальні файли. Якщо не виставити user-agent, по-замовчуванню буде HeadlessChrome, на що деякі сайти неприємно реагують.

Пассо нумеро дуе

PDF, на жаль, не буде мати розмір конь тенту, а буде містити borders (як це українською? межа?) Прибрати їх простіше всього Inkscape'ом:

$ inkscape --actions "select-all;fit-canvas-to-selection" 1.pdf -o 2.pdf

Пассо нумеро тре

$ pdf2svg 2.pdf 1.svg

Воно автоматом перетворює текст ув path. Зменшити розмір .svg можна svgcleaner'ом.

На кроці нумеро дуе можна було би зразу конвертнути рельтат ув svg, але він тоді виходить гаргантюажного розміру.

Енівей, фінальний мейкфайла:

$ cat xterm-xhtml-to-svg
#!/usr/bin/make -f

font := monospace

$(if $(and $(i),$(o)),,$(error Usage: xterm-xhtml-to-svg i=1.xhtml o=1.svg))
__dir__ := $(dir $(realpath $(lastword $(MAKEFILE_LIST))))

$(o): $(i).dirty.svg; svgcleaner --quiet $< $@

%.nokogiri.xhtml: $(i)
    ruby -rnokogiri -e 'd = Nokogiri.XML(STDIN.read); d.css("#vt100 > pre").first["style"] = "font-family: '$(call se,$(font))'; line-height: 1.2"; puts d.to_xml' < $< > $@

%.uncropped.pdf: %.nokogiri.xhtml; $(__dir__)/html2pdf $< $@

%.pdf: %.uncropped.pdf
    inkscape --actions "select-all;fit-canvas-to-selection" $< -o $@

%.dirty.svg: %.pdf; pdf2svg $< $@

se = '$(subst ','\'',$1)'
.INTERMEDIATE: $(i).dirty.svg

Намагаючись приготуватися до неминучого колапсу Кроума, згадав шо є бовзер Файрфокс, фундацьоне якого минулого року збирало усім світом на зарплату своєї CEO.

Чому колапсу? Кроум переходить на "новий" API для ікстеншонів (моніфест 3.0), депрікуючи "старий". За винятком Ublock Origin, всі ікстеншони у мене є самописні (99% того що має гооглівський могозин є malware; я не перебільшую). Ublock Origin працювати з "новим" API не збирається, а я маю 0 стимулу та зиску ув портуванні самописного. 1 з ікстеншонів використовує той самий API що і Ublock Origin, але для додавання/редагування http headers.

З цим ікстеншоном були 2 смішні гішторії. Його статистика плаває від 30 користувачів до раптом 900, 1200, 1900 і знову вниз до 30, а т.я. ніякої телеметрії там немає, чому їм починають користуватися на короткий час ув Азії, я не знаю. Якось після такого бурсту активності мені прийшов листа від якогось кетайця, який чемно запропонував продати йому ікстеншона за €600 (я не відповів).

Іншого разу до мене приколупася гамериканська коб'єта, у якої не працювало замовлення з якогось локального склепу, тому що її бовзер видаляв referer і вона якимось незбагненним чином знайшла того ікстеншона та вкрай наполегливо у мене розпитувала як її referer повернути взад. Я чесно намагався їй допомогти, але ув кінці здався і порекомендував встановити Файрфокса, на що вона відповіла "Foxfire [sic] works, thank you!", а я перехрестився.

Чому колапсу Кроума? Я, звичайно, трохи перебільшую, але маю сумніви, що після стількох років з інтервебом без реклами, ореал ойті та їх сімей добровільно погодиться на, та буде сумлінно спостерігати, наприклад, рекламу ув ютубі. Скільки це додасть мульйонів користувачів ФФ це є цікаве питання, але я очікую невеличкого ренесансу.

Як справи ув ФФ на лайнаксі?

Для свого кроуму він використовує gtk3, який фундацьйоне Ґноума та контора Червоний Капелюх вважає депрікейтед. (Для тих хто живе під скелею та є не ув уйоб-дівелопмент дискурсі: кроум--специфічний крос-бовзерський термін, який означає будь-які елементи gui, які не стосуються DOM'у уйоб-сторінки. Наприклад, меню з букмарками або url-бар. Відповідно, кроумлес є вікно лише з уйоб-сторінкою. Фулскрін режим F11 є прикладом кроумлес.)

Gtk3 означає 0 покращень для кроуму, т.я. дівелопмент тулкіту багато років переїхав на gtk4 та майбутнього gtk5. Старий gtk3 бажають викинути геть, але наразі через аплікації типу ФФ це зробити не вдається, хоча люди намагаються.

Наприклад, одного дня ФФ перестав показувати pointer курсор (використовується при наведенні на лінка). Раніше мені було все одно--я пускав ФФ лише для перевірки рендеренґу. Виявляється це сталосі тому, що ув діфолтний gtk3 темі загубили той курсор для xorg. Хтось накричав на Ґноум, але їм було по-барабану, тому ФФ спеціяльно додав widget.gtk.legacy-cursors.enabled конфіґураційного параметра, який по-замовчуванню є false--доля лайнаксоїдів не ув wayland є страждати.

Але найгірша ситуація є зі шрифтами. Gtk3 підтримує fontconfig і ФФ'шний кроум рендерить заміни згідно користувацьких ~/.config/fontconfig/fonts.conf та налаштувань ув ~/.config/gtk-3.0/, як того юзер очікує. Механізма рендеренґу шрифтів ув бовзерному двигуні ФФ технічно питає fontconfig також, але за своїми правилами, тому на практиці результати відрізняються від Гоогл Кроуму та Майкрософтського Edge.

За часів w2k/winxp на fbsd/лайнакс копіювали віндюкові шрифти Arial, Times New Roman, Courier New, &c (така колекція називалася core fonts), і МС деякий проміжок часу дозволяла їх завантажувати легально. Копіювали всі: вільними лайнаксними шрифтами можна було катувати.

Деб'ян має core fonts ув своїх пекеджах (Федора--ні), але ті шрифти застигли ув версіях чи то w98 чи то w2k і відповідних версіях юнікоду. За цей час з'явилося вдосталь metric-compatible families і технічно навіть оновлена колекція core fonts стала непотрібна.

З /usr/share/fontconfig/conf.avail/30-metric-aliases.conf:

Але я звик до core fonts. Не оригінальних, а свіжих, які я регулярно оновлював коли оновлювався віндюк. Ув fonts.conf достатньо було мати на кшталт

<alias>
  <family>sans-serif</family>
  <prefer><family>Arial</family></prefer>
</alias>

і гоогловський Кроум рендерував sans-serif Arial'ом замість лайнаксового Liberation Sans, Nimbus Sans чи DejaVu Sans.

Звісно з ФФ це не працює (навіщо). Той наполегливо ставить 1й ліпший sans-serif шрифта, який fontconfig знаходить ув /etc/fonts/conf.d/. Якщо того шрифта дісейблнути ув fonts.conf, ФФ бере наступного. На їхній баґзилі відкритий баґ висить 10й рік.

Подолати це можна тільки створивши ув /etc/fonts/conf.d/ хфайла з ім'ям, яке буде сортуватися (in numeric order) до хфайлів з "family substitution", наприклад, 12-msfonts.conf:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE fontconfig SYSTEM "../fonts.dtd">
<fontconfig>

  <alias>
    <family>sans-serif</family>
    <prefer><family>Arial</family></prefer>
  </alias>

  <alias>
    <family>Arial</family>
    <default><family>sans-serif</family></default>
  </alias>

…
</fontconfig>

Це було 1не з 1ших речей, що було, з 1го погляду, безнадійно зломано на ФФ у порівнянні зі Кроумом. Як то буде далі, прогнозувати не хочу, можливо є крихітний шанс що гоогл передумає з моніфестом 3.0 і переїжджати на ФФ не доведеться (шансів немає).

Якщо набрати link checker ув гооглі, то виявиться що перевірка посилань є серйозний бізнес. Запускання скрипта, який пишуть на 1му курсі, коштує від $13 до $159 на місяць. За $13 дозволяється це робити кожні 2 тижні, а за $159 с барскоґо плєча до 1 разу на день.

Для тих хто готовий нарешті "стати професіоналом", контора зовсім іншого гатунку пропонує вдосконалені та ентерпрайзні рішення за $449 та $1249 на місяць відповідно. Тоді відкриваються потужні можливості відправляння csv-звіту до "колеги чи фрілансера".

Є статичний уйоб-сайта з 375ма сторінками, який має 241 ікстернальний лінка. Зазвичай подібні сайти перевіряють локально на рівні .md хфайлів, з яких він генерується, і ютіліти, які це роблять, працюють доволі швидко, т.я. їм не треба повзати по http зі сторінки до сторінки, створюючи графа. Про них ми говорити не будемо.

Щоб перевірити задіплойеного сайта, а не директорію з .md-хфайлами, додається прублема рекурсивного знаходження посилань та питання коли зупинятися. Спочатку, я вирішив пошукати щось готове ув пекеджах Федори: якийсь пáйфонівський скрипта linkchecker, який за майже 4 хв на локалхості і рівнем рекурсії 20, знайшов 60 лінків загалом, замість 241.

Потім я подивився на W3C'шний link-checker (категорія програм, що є сповнена різноманітністю імен). Окрім уйоб інтерхфейсу він має CLI компонента--перл-скрипта, який витратив 13 хв для народження лоґу з 27859 рядками, де посеред машино-нечитабельного мотлоху пропонується шукати зламані посилання. Можливо, як за таке чарджити клаентів по $1249, то це має сенс; найняти когось буде нескладно.

Ґітхаб є повний "fast" та "async" чекерів, найпопулярнійший з яких (1.9K зірочок) не підтримує рекурсії, але друкує затишні 🔍, ✅, 🚫, 💤 емоджі ув консолі та рожеву progress bar. Рисою професіоналізму посеред сучасних лікн-чекерів є порада використовувати їх з докер-контейнеру, тому що для відправляння http ріквестів наш час вимагає >= 2¹⁶ бібліотек на будь-якій мові пограмування.

Чи складно написати свій, наприклад, на bash? Хоча він буде мати міцний вайб нульових, коли завантажена сторінка якимось wget майже відповідала сторінці яку рендерив бовзер, для перевірки сторінок, наприклад, документації, такий чекер все одно буде залишатися корисним. Назвемо його badlinks:

$ wc -l lib.bash url* badlinks
  21 lib.bash
  28 urlcheck
  14 urlextract.rb
  54 urlextract-recursive
  24 badlinks
 141 total

На чистому bash це зробити майже неможливо: переписування nokogiri на шелі я залишаю комусь іншому, а ліпшого парсера кострубатого html, аніж nokogiri, не існує ув природі.

badlinks складається з 3 компонентів:

1. парсера html, що друкує всі посилання з нього (не рекурсивно);
2. рекурсивного crawler'а, який знаходить посилання з конь тент тайпом text/html, та занурюється до них; на кожному етапі він друкує знайдені leafs;
3. скрипта, який читає список посилань від п.2 та перевіряє їх валідність.

Парсінґ html

$ curl -sL google.com | ./urlextract.rb q:
https://www.google.com/imghp?hl=uk&tab=wi
http://maps.google.com.ua/maps?hl=uk&tab=wl
…
q:/intl/uk/about.html

q: тут означає будь-яку base, відносно якої друкуються релатівні посилання.

$ cat urlextract.rb
#!/usr/bin/env -S ruby -rnokogiri -raddressable/uri

include Addressable

def eh = abort "Usage: #{$0} base_url < html"
base = URI.parse $*[0] rescue eh
eh unless base&.scheme

Nokogiri::HTML(STDIN.read).css('links,a,img,iframe,script,video,audio').each {|n|
  u = URI.parse(n['src'] || n['href']) rescue next
  next if !u || (!u.scheme && u.path.strip == '')
  u.fragment = nil
  puts u.scheme ? u : base.join(u)
}

Щоб воно працювало, треба сказати gem install nokogiri addressable. Вбудований ув stdlib парсер url є не такий гнучкий як addressable.

Фрагмент (частина рядка після #) видаляється для простоти, хоча, звичайно, можна було би намагатися шукати його (фрагмент) потім ув html.

Філософське питання, яке може виникнути: чи має ютіліта друкувати унікальні лінки лише (тому що уйоб-сторінка може містити кілька геть однакових), чи залишати процес фільтрування downstream, так би мовити, процесам.

Crawler

… є найбільш неприємним компонентом. Шелóві мовні конструкції допомагають погано, і найпримітивніший пошук ув глибину з пародією на детектора циклів, це є все що вдалося втиснути ув 54 рядка коду.

./urlextract-recursive http://127.0.0.1/
0 Scanning http://127.0.0.1/ .
1 Scanning http://127.0.0.1/foo.html http://127.0.0.1/
2 Scanning http://127.0.0.1/bar.png http://127.0.0.1/foo.html
2 External http://example.com http://127.0.0.1/foo.html
1 Leaf http://127.0.0.1/baz.jpg http://127.0.0.1/
…

Алгоритма є вкрай простий:

1. З отриманого стартового url автоматично дізнаємося про origin. Це можна зробити башом як це було продемонстровано ув пості HTTP get на баші за допомогою страхітливого regexp'у. Origin потрібен для розрізняння посилань на наш уйоб-сайт від посилань на ікстернальні ресурси.

2. Для кожного лінка зі стартового url робимо HTTP HEAD ріквест. Якщо останній є text/html, занурюємося в, якщо ні--друкуємо його як leaf.

   Формат друку:

    level type url parent

   Щоб не сканувати лінка декілька разів, записуємо його ув хфайл history (1 лінк на рядок для макс швидкості grep'у). Рівень занурення регулюється користувачем і по замовчуванню == 20.

   parent потрібен лише для ютіліти ув наступному розділі.

$ cat urlextract-recursive
#!/usr/bin/env bash

set -e -o pipefail
__dir__=$(dirname "$(readlink -f "$0")")
. "$__dir__/lib.bash"

jn() { jobs -l | wc -l; }

scan() {
    local url="$1" level="$2" parent="$3"

    [ "$level" -ge "$LEVEL" ] && return 0
    echo "$level Scanning $url $parent"

    level=$((level+1))
    for u in `fetch "$url" | "$__dir__/urlextract.rb" "$url" | sort -u`; do
        search "$u" "$history" && continue
        echo "$u" >> "$history"

        if echo "$u" | grep -F -- "${URL[host]}" >/dev/null 2>&1; then
            if is_html "$u"; then
                local async=
                [ 1 == $level ] && [ "$JOBS" -gt 1 ] \
                    && [ `jn` -lt "$JOBS" ] && async=1
                if [ $async ] ; then
                    scan "$u" $level "$url" &
                else
                    scan "$u" $level "$url"
                fi
            else
                echo "$level Leaf $u $url"
            fi
        else
            echo "$level External $u" "$url"
        fi
    done
}

type curl > /dev/null
: "${LEVEL:=20}"
: "${JOBS:=`nproc`}"
url=${1:?Usage [LEVEL=$LEVEL] $0 url}

url_parse "$url"
history=${HISTORY:-`mktemp /tmp/urlextract-recursive.XXXXXX`}
trap 'rm -f $history; exit 130' 1 2 15
trap 'rm -f $history' 0

if is_html "$url"; then
    scan "$url" 0 .
    wait
else
    echo "0 Leaf $url ."
fi

(Вибачте за простирадло.)

Скрипта намагається робити конкурентні ріквести. Найнеприємніше тут є неможливість знати заздалегідь скільки посилань буде далі і складність створення фіксованої кількості worker'ів, перевірка яких була би можлива ув child процесах. Тому "паралелізм" використовується лише на рівні 1. Це означає якщо стартовий url мав рівно 1 text/html посилання, поралелізму не буде.

Якщо не робити ліміта на конкурентні ріквести, вбити мошину можна дуже легко. Я так тестував безлімітний варіянт з 6K gnu libstdc++ doxygen сторінками на локалхості: стався еквівалента форк бімби, лайнакс грохнув ікси та почав люто плюватися сторінками вбитих процесів.

Енівей, отримані рядки від urlextract-recursive легко фільтруються. Наприклад, щоб дізнатися який був макс рівень рекурсії і чи не треба його збільшити:

$ ./urllextract-recursive http://127.0.0.1/ | tee 1
$ awk '{print $1}' 1 | sort -un | tail -1
11

або показати лише ікстернальні посилання:

$ awk '$2 == "External"' 1

Нецікаві шматки з lib.bash:

fetch() { curl -sfL --connect-timeout 3 -m 3 -A 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36' -H 'accept-language: en-US,en;q=0.9' -H 'upgrade-insecure-requests: 1' "$@"; }

is_html() { fetch -I "$1" | grep -Ei '^content-type:\s+text/html' > /dev/null; }

search() { grep -Fx -- "$1" "$2" > /dev/null; }

Перевірка посилань

На відміну від попередньої ютіліти, ця чудово і елементарно паралелізується. Сам скрипта про це гадки не має, тому що оперує лише з 1 url, але конкурентна перевірка робиться ув фінальному врапері наступного розділу через xargs.

$ cat urlcheck
#!/usr/bin/env bash

set -e -o pipefail
__dir__=$(dirname "$(readlink -f "$0")")
. "$__dir__/lib.bash"

check_link() {
    local ec=0
    fetch "$1" | head -c1 > /dev/null || {
        ec=$?
        [ $ec == 23 ] && return 0 # pipe was closed by 'head'
        [ $ec -lt 100 ] && echo "Bad $1 in $2"
        return 101
    }
}

type curl > /dev/null
url=${1:?Usage: IGNORE=domains.txt $0 url parent}
parent=${2:-.}

url_parse "$url" || { echo "Invalid $url in $parent"; exit 100; }

if [ "$IGNORE" ] && search "${URL[host]}" "$IGNORE" ; then
    echo "Ignoring $url in $parent"
else
    [ 2 == $? ] && exit 100
    check_link "$url" "$parent"
fi

Єдина оптимізація гідна уваги це є check_link(), який читає лише 1 байт успішного ріспонзу і перевіряє статусного кода curl.

Деякі уйоб-сайти ітервебу (наприклад wsj, або припизджена квора) вважають curl ботом, ув незалежності від user agent, тому якщо вказати ув IGNORE env var шлях до хфайлу зі списком доменів, посилання з ними перевірятися не будуть.

Врапер

Фінальна обгортка:

$ cat badlinks
#!/usr/bin/env bash

set -e -o pipefail
__dir__=$(dirname "$(readlink -f "$0")")

usage="Usage: $0 [-l max level] [-j max jobs] [-e] [-i domains.txt] url"
link_type=Leaf
while getopts i:l:j:e opt; do
    case $opt in
        i) opt_i=$OPTARG ;;
        l) opt_l=$OPTARG ;;
        j) opt_j=$OPTARG ;;
        e) link_type="$link_type|External" ;;
        *) echo "$usage" 1>&2; exit 1
    esac
done
shift $((OPTIND-1))

: "${1:?$usage}"
export LEVEL=${opt_l:-20} JOBS=${opt_j:-`nproc`} IGNORE=${opt_i}

"$__dir__/urlextract-recursive" "$1" | \
    awk '$2 ~ /'"$link_type"'/ {print $3, $4}' | \
    xargs -r -n2 -P "$JOBS" "$__dir__/urlcheck"

Зі статичним уйоб-сайтом, на який попередньо знайдені готові пекеджи витрачали від 4 до 13 хв, набір скриптів шелóвих впорався за 16 секунд, відсканувавши 769 лінка.

Як хутко довести дівопсу або хмарному провайдеру що завантаження з серверу є повільне? Можна заміряти час загальний, чи копіювати все що curl написав на stderr, або вислати кєно зроблене на телефоні (вертикальне, тремтячою рукою, під кутом > 10°, на відстані > 1м від монітора).

Не пам'ятаю ув якій версії віндюка його іксплорер почав малювати графіка під час копіювання хфайлів (Vista?), але він (віндюк) так і не почав цього робити ані ув класичних своїх бовзерах минулого, ані ув своєму поточному безглуздому різновиді кроума для блінка.

Найнахабнішим повідомленням дівопсу був би svg:

та/чи рядки

00:00:01 1000k
00:00:02 2000k
00:00:03 2500k

ув якості доказу.

2й варяінт є найпростіший; curl, наприклад, друкує

fprintf(tool_stderr,
        "\r"
        "%-3s " /* percent downloaded */
        "%-3s " /* percent uploaded */
        "%s " /* Dled */
        "%s " /* Uled */
        "%5" CURL_FORMAT_CURL_OFF_T " " /* Xfers */
        "%5" CURL_FORMAT_CURL_OFF_T " " /* Live */
        " %s "  /* Total time */
        "%s "  /* Current time */
        "%s "  /* Time left */
        "%s "  /* Speed */
        "%5s" /* final newline */,
        …

кожну секунду, тому лише замінивши \r на \n можна відправляти повного логу:

$ curl http://example.com/1.zip -o 1.zip 2>&1 | tr \\r \\n

та вимагати сатисфакції.

Щоб намалювати графіка з gnuplot, нам потрібні Current time та Speed. Останнє доведеться конвертувати з 1234k чи 4567M ув байти. Спочатку я думав малоелегантно замінювати суфікси:

awk 'function expr(s) {
  h["k"]=2**10; h["M"]=2**20; h["G"]=2**30; h["T"]=2**40; h["P"]=2**50
  for (k in h) sub(k, "*"h[k], s); return s
}
/[0-9.][kMGTP]?$/ { print expr($NF) | "bc"; close("bc") }'

але, виявляється, саме для цього coreutils має ютіліту numfmt(1), про яку я ніколи не чув (додали недавно, лише 12 років тому, не встигаєш слідкувати за всіма ціма новими штуками):

$ echo lol 10M | numfmt --from iec --field 2
lol 10485760

Так, звичайно, зараз не роблять, а кожного разу ретельно пишуть нудні, багатослівні простирадла на пáйфоні. Те що має фітнутися ув 5 рядків шелових макс + 6 рядків скрипта gnuplot'у, потрібно ретельно розмазувати на 70+, ніби працюєш на ойбіем ув році 1984 і тобі платять за кількість рядків коду.

Повна версія іграшкового візуалайзатора пускається як

$ ./curlbench http://example.com/1.zip | gnuplot --persist

де gnuplot дозволяє зберегти графіка ув потрібному форматі.

$ cat curlbench
#!/usr/bin/env -S stdbuf -o0 bash

set -e -o pipefail
numfmt=`type -p gnumfmt numfmt;:`; test "${numfmt:?}"

cat <<E
set xdata time
set timefmt "%H:%M:%S"
set xlabel "Time"
set format y "%.0s%cB"
set grid
plot "-" using 1:2 with lines title ""
E

curl "$@" -fL -o /dev/null 2>&1 | tr \\r \\n | awk '
/[0-9.][kMGTP]?$/ {
  time = index($10, ":") == 0 ? $11 : $10
  if (time != "--:--:--") print time, $NF
}' | tr k K | $numfmt --from iec --field 2

Має працювати також на fbsd та маку (як були встановлені coreutils), але мені є лінь перевіряти.

Коли фасебоок іноді попереджує про непозбувану бентегу, якщо клікнути на ікстернальний лінка (як вам не соромно, you're going to a link outside facebook), то минулого літа ув багатьох газетах від цього відбувався розрив дупи (Facebook is now treating content links like malware).

jwz колись розповідав, що оригінальний Mosaic був піонером цього епроачу, маючи налаштування, з яким бовзер малював попереджувального даялога, коли нещасний користувач клікав на будь-якому лінку.

Виявляється, Mosaic 2.7 можна зібрати на сучасному лайнаксі, що я зробив щоб даялога побачити. Це motif аплікація! Вікна зі налаштуванням там немає, тому що вся конфіґурація очікується ув X resources, якщо хтось пам'ятає цей навіки забутий механізма користувацьких параметрів:

$ grep Mosaic ~/.Xdefaults
Mosaic*protectMeFromMyself: true
Mosaic*XmDialogShell*fontList: -*-helvetica-medium-r-*-*-24-*-*-*-*-*-*-*

Були часи. Щоб змінити розмір шрифта, інакше розгледіти діфолтний на сучасних екранах можна лише за допомогою лупи, довелося передивлятися дерево мотіфних віджетів за допомогою editres.

Salacious materials, так.