The Sisyphean tasks of coding
Feb. 18th, 2018 08:24Їбанутися: https://github.com/rg3/youtube-dl/tree/master/youtube_dl/extractor
(я про кількість сайтів та жагу у людей це апдейтити)
Колись, коли квора була ще цікавою, але не підтримувала rss, я накалякав собі локального вишкрібала, який генерував мені rss останніх N відповідей для заданого юзера. Але квора працювала хитро: зразу після завантаження сторінки джаваскриптом починався генеруватися json, який потім рендерився їх кволим фреймвоком.
Ніяких phantomjs у той час ще не існувало, а кроум не мав безголóвного режиму. Відтак я уперше скористався ноудом, перед цим марно намагаючись знайти якийсь джаваскриптовий інтерпретатор для рубі, який би не гепався на кворівському джаваскрипті.
Навпісля вишкрібала доводилося апдейтити кожну неділю, бо кворівці мали шило у дупі постійно щойсь на сайті змінювати, як то деякі дівчата колір волосся. Так вони мені цим тоді остогидли, що я хотів кинути свій rss генератор та забути про квору назавжди, аж раптом вони самостійно додали підтримку rss, а через деякий час на кворі міцно оселилися індуси та читати там стало нічого.