Может быть кому то пригодятся наработки по автоматизации скачивания архивов и баз с Флибусты . Изначально брал за исходники файлы с раздачи https://booktracker.org/viewtopic.php?t=67933
Но в дальнейшем. В итоге глубокой переработки получился универсальный скрипт. Который может работать на большинстве операционных систем linux.
8 октября 2024 г. Небольшие изменения.
Решил пойти по пути уменьшения количества пакетов требующихся для нормальной работы скриптов.
Отказался от консольного браузера lynx, использующегося для формирования общего списка файлов для скачивания.
Его функции взял на себя wget2.
Так же в проверке доступности источника для скачивания больше не используется curl.
Его функции так же взял на себя wget2.
По факту, из пакетов требующихся для нормальной работы скриптов
остались wget2, bc, zip и unzip.
Анонс.
Написан новый скрипт CreArch.sh
Единственная его функция находить в папке хранения
- единых архивов файлы с префиксами a.fb2 и a.usr. И перепаковывать их в один большой архив.
- На выходе получаются два больших архива с префиксами a.fb2 и a.usr.
- В перспективе. Создание инструмента для создания месячных архивов.
- В принципе уже сейчас возможно. Но думается будут доработки..
Сейчас тестирую в боевой обстановке, вылезут какие либо косяки или нет.
Полностью, с нуля переписан скрипт MakeFlibSingle.sh.
- Появилась возможность настроить префиксы, в имени создаваемых архивов.
vymhz
Перезалил раздачу.
Изменения:
Полностью, с нуля переписан скрипт MakeFlibSingle.sh.
- Появилась возможность настроить префиксы, в имени создаваемых архивов.
-Создан скрипт CreArch.sh. Единственная его функция находить в папке хранения
- единых архивов файлы с префиксами a.fb2 и a.usr. И перепаковывать их в один большой архив.
- На выходе получаются два больших архива с префиксами a.fb2 и a.usr.
-Имеется возможность изменять префиксы входящих и выходящих архивов.
vymhz
Сегодня вылезла ошибка.
Не правильно определялся последний скачанный файл.
Этот фрагмент кода еще из кода предыдущего автора. Исправил пока как есть.
Подумаю над тем, что бы подобного больше не было.
Еще переписан скрипт Delet_arc.sh, переписан полностью и переименован в DelArch.sh.
Появилась возможность настроить префиксы удаляемых архивов.
azazar
Нет сидов. Может лучше его на GitHub залить было?
vymhz
azazar писал(а):
Нет сидов. Может лучше его на GitHub залить было?
Не занимался такими вещами . Делал для себя. Решил поделиться.
vymhz
Есть новые доработки в скриптах.
Но в свете грустной новости о Сильвере. Теперь даже не знаю что делать. Может это все зря. Руки опускаются.
vymhz
Все таки решил продолжить.
Полностью переписан скрипт GetFlibDaily.sh (стал более компактный) и переименован в GetDaily.sh.
Устранена ошибка не правильного определения id последней скачанной книги.
Переписан скрипт MakeFlibSingle.sh (стал более компактный) и переименован в MakArch.sh.
GetFlibSql.sh переименован в GetSql.sh.
vymhz
Сегодня попробовал собрать месячный архив за сентябрь. Использовал скрипт CreArch.sh.
Получил два архива
f.fb2-797607-800800.zip
f.usr-797607-800800.zip
Сравнил с архивами выложенными в раздаче https://booktracker.org/viewtopic.php?t=49016
Итог:
fb2 один в один.
Usr, мой чуть больше. На 696303 байт
Можно считать результат вполне приемлемым.
banana123
Спасибо за раздачу.
А как можно скачать архивы за предыдущий период? НАпример за последний год? Или вообще все время?
vymhz
banana123 Этот скрипт предназначен для скачивания архивов с сайта флибусты. Там обычно выложены архивы свежих поступлений . Максимум недельной давности. Если вы хотите скачать полный архив флибусты то вам нужно смотреть раздачи.
