поисковик на примере каталога флибусты

термины и лицензии

флибуста
каталог — архив списка книг (автор, название, год, ид), находится в открытом доступе
данный проект не аффилирован с какими-либо торговыми марками, здесь упомянутыми
файлы из каталога /data/* не являются авторскими разработками и могут быть использованы без лицензии. Лицезию исходного файла данных (каталога) установить не удалось. Формальная лицензия проекта Unlicense License совместима с MIT, WTFPL, CC-BY

проект

Проект выполнен в исследовательских и экспериментальных целях. Были выявлены ограничения гитхаба и других хранилищ, установлено, что образы ubuntu* для gihub actions содержат множество дополнительного софта (apache, bind, mariadb, dot-net sdk, nodejs, php, python и т.п.), проверены возможности SQLite (удобно расширять внешними пользовательскими функциями). Результаты экспериментов будут учтены в проектах @metaphonia и git-acts

состав файлов

в каталоге /data

catalog.zip, catalog.txt — исходные файлы, внутренний формат похож на CSV с разделителем ;, но таковым не является, потому что поле №5 Subtitle может содержать несколько полей с тем же разделителем
catalog.csv.txt — исправленный и подготовленный
catalog.sqlite — бд с закачанными данными, структура:

create table if not exists 
catalog (surname varchar(255), name varchar(255), patronymic varchar(255), 
          title text, subtitle text, language char(2), year int, series text, id integer);

catalog.csv — дамп в правильном CSV
catalog.sql.gz — дамп ANSI SQL

/docs

содержит демо https://ablaternae.github.io/flibusta-catalog-indexer/
и проиндексированные данные в формате JSON /docs/i/

/scripts

разные скрипты преобразования данных и вспомогательные функций

todo

придумать морфологический поиск
проиндексировать содержимое
написать реализацию
прикрутить веб-интерфейс
статистика поиска, посещения страниц
тг-бот

немного статистики

общее количество записей в первоначальном архиве более 600 000 и увеличивается
размер исходных данных в текстовом виде более 70Мб
SQL дамп 100Мб
JSON дамп 120Мб
общее количество слов длиннее двух символов более 10E6 (10 миллионов)
размер индексных файлов 21Мб (место на диске 2,2Гб для NTFS). учтите это, клонирование репозитория может приводить к неожиданным зависаниям
скорость поиска в индексе стремится к нулю. точнее, сравнима с пропускной способностью интернет-канала и растет не более чем линейно в зависимости от количества слов