Библиотека Flibusta (только FB2) на 01.04.2025 (656200 книг) (локальная коллекция, пополняемая ежемесячно) + MyHomeLib + inpx

Вы думаете я не читал? Читал и устанавливал с Freelib, MyHomeLib и LightLib - библиотека в Freelib создаётся очень долго в сравнении с MyHomeLib и LightLib.

Тут уже не в базе данных дело. Неудачный выбор способа записи в базу. Заносится по одной строке, а не пакетно.

Вообще то INPX это всего лишь ZIP архив текстовых файлов, которые по сути и являются теми самыми CSV. По одному "csv" на каждый архив-тысячник. А на счет SQLite - не поверите. MHL появилась раньше чем SQlite. И переход на SQLite был сделан относительно недавно, лет пять назад. И она изначально не предназначалась для либрусеков или флибуст. Это была программка для управление своей личной коллекцией. Онлайны прикрутили к ней позже.

...с нестандартными разделителями, без экранирования кавычек и т.п. внутри полей. Знаю, разбирал. Спасибо, что кодировку свою не изобрели.

Ну вы опять смотрите на все с позиции Сегодня. Единственный стандарт CSV - RFC 4180. Утвержден в 2005 году, как и первый релиз того самого SQLite. Не было никаких стандартов на момент создания MHL. Все приходилось изобретать на ходу. А нестандартный разделитель и на сегодня остается лучшим решением. Нет необходимости в заумных парсерах, не нужно проверять предыдущий символ, достаточно одного прямолинейного прохода для считывания данных.

Добрый день
Возможно я об этом пожалею, но где-то вообще описано какие именно шаги должны быть выполнены для того чтобы добавить обновления в раздачу и обновить оную ? Без описания вроде мелькавшего ранее в этой ветке - взять-удалить-выложить. Нужен именно воркфлов с деталями который использовался до этого. Или любой другой рабочий.
Я никогда не создавал торрентов, я не в курсе сложностей в MHL. Но я видел слова "линукс" и "скрипты". + я могу использовать локальное железо если мне временно нужно больше процессорных ядер, памяти или диск. И я умею читать. Как на русском, так и на английском.
Собственно цель этого сообщения - если я могу чем-то помочь в благородном деле распространения знаний - я могу попробовать :-)
Спасибо

Стандарт в 2005м, но педивикия утверждает, что подобные форматы использовались гораздо раньше.

Ну, позволю себе предположить, без, естественно, негативного подтекста, что вы не знакомы с возможностями SQL. Собственно, для упрощения импорта\экспорта данных формат CSV и создавался

А почему нет обновления на флибуста(FB2)
6

Чуть выше уважаемый Crystal написал: Так что - либо пытаться сделать всё собственными руками либо ждать.

Любая БД, умеющая грузить из текстовых файлов, даст вам выбор указать что это "Comma Separated" или "ЛюбойДругойСимвол Separated" файл. Но если у вас именно запятая идет как разделитель вы обязаны сделать немаленькую работу проверки каждого символа в данных. Экранировать их при экспорте и убрать экранирование при импорте. Если у вас заведомо уникальных разделитель ничего этого не нужно. Подготовили PrepareStatement, читаете строки и прямиком льете в БД. Фактически скорость импорта ограничена только скоростью жесткого диска. На сегодня разобранный inpx это 127 МБ текстовых файлов. Проверка каждого символа в них это и для сегодняшних процессоров даст разницу в скорости не в разы а на порядки, по сравнению с прямым импортом.

Просто почитайте спецификацию к LOAD DATA

Вы понимаете что разговор идет о программе которая прекрасно запускалась и работала на Pentium под Windows 98? Какие спецификации, какие "принятые стандарты". Ребята боролись за каждый такт, на счету был каждый килобайт памяти. Никто не мешает любому желающему сделать сейчас замену себе хоть на Electron-е. Будет симпотишная стандартизированная вещь под любую систему. Это же всего лишь мордочка к десятку таблиц.

ОК. Честь и слава ребятам! Их имена гремят в веках! Как бы резюмируя. На случай присутствия разработчиков в топике. INPX - формат тупиковый, и отживший своё. Для импорта данных следует ориентироваться на CSV. Каких либо специальных приложений для их подготовки не понадобится - всё необходимое встроено во все более-менее популярные базы данных

может есть какойто скрип при запуску которого создатся нужный INPX ?
или там не так всё просто и нужно много настраивать?