Зазвичай вебсайти відкриваються у браузері, де для переходу між сторінками, перегляду зображень і завантаження файлів використовуються окремі інструменти. У Linux існує альтернативний спосіб роботи з вебресурсами: HTTPDirFS дає змогу монтувати HTTP-сервер як файлову систему за допомогою FUSE. Після цього вміст сайту можна переглядати через файловий менеджер майже так само, як звичайні файли, що зберігаються на комп’ютері.
HTTPDirFS є інструментом із відкритим вихідним кодом, який перетворює доступні через HTTP вебресурси на файлову структуру. Його призначення полягає не в повному завантаженні сайту на локальний диск, а в наданні доступу до окремих сторінок, зображень та інших ресурсів без необхідності завантажувати весь вміст.
Для чого потрібен HTTPDirFS
HTTPDirFS не замінює такі інструменти, як wget, curl або спеціалізовані засоби вебскрейпінгу, оскільки кожен із них розрахований на окремі сценарії використання. Проте монтування сайту як файлової системи може бути зручним, коли потрібно переглянути віддалені файли та отримати лише вибрані матеріали, не завантажуючи весь каталог.
Особливо корисним цей підхід може бути для роботи з відкритими файловими каталогами, посиланнями на які користувачі діляться, зокрема, у спільноті r/OpenDirectories на Reddit. Такі каталоги іноді містять тисячі зображень, документів, відеозаписів та інших файлів. Замість завантаження всього вмісту заради кількох потрібних матеріалів можна змонтувати віддалений каталог, переглянути його через файловий менеджер і отримати доступ до окремих файлів за потреби.
Подібний принцип можна застосовувати й до вебсторінок, які містять посилання на віддалені медіафайли та документи. Замість написання скрипту, який завантажуватиме сторінку, аналізуватиме посилання та отримуватиме всі знайдені ресурси, можна скористатися HTTPDirFS, щоб представити виявлені матеріали у вигляді шляхів файлової системи. Після цього з ними можуть працювати команди оболонки та програми, розраховані на роботу з файлами. Водночас для автоматизованої обробки іноді все одно потрібно враховувати особливості найменування та організації ресурсів.
Як встановити HTTPDirFS у Linux
Для перевірки можливостей HTTPDirFS використовувалася версія для розробників, оскільки доступна в пакетах версія не забезпечувала потрібного режиму роботи із сайтами. Для збирання програми з вихідного коду спочатку потрібно встановити інструменти компіляції та необхідні бібліотеки.
У дистрибутивах на основі Debian або Ubuntu це можна зробити за допомогою таких команд:
sudo apt update
sudo apt install git build-essential meson ninja-build \
libfuse3-dev libcurl4-openssl-dev libgumbo-devНабір залежностей може відрізнятися залежно від версії проєкту та репозиторіїв конкретного дистрибутива. Якщо Meson повідомить про відсутню бібліотеку, необхідно перевірити інструкції зі збирання, надані розробниками HTTPDirFS.
Наступний крок полягає в завантаженні вихідного коду з репозиторію GitHub і переході до каталогу проєкту:
git clone https://github.com/fangfufu/httpdirfs.git
cd httpdirfsЯкщо вихідний код уже завантажено, повторно клонувати репозиторій не потрібно: достатньо перейти до наявного каталогу.
Після цього проєкт потрібно налаштувати та скомпілювати:
meson setup build
meson compile -C buildПісля завершення компіляції виконуваний файл буде доступний за шляхом build/httpdirfs. Перед монтуванням сайту варто перевірити версію програми та перелік доступних параметрів командного рядка:
./build/httpdirfs --version
./build/httpdirfs --helpУ перевіреній збірці для розробників відображалася версія HTTPDirFS 1.3.3. Ключовим параметром для роботи із сайтами виявився --website-mode.
Цей режим дає змогу представляти ресурси з типом вмісту text/html у вигляді каталогів, а пов’язані з ними медіафайли та інші ресурси робити доступними через файлову систему. За замовчуванням режим роботи із сайтами вимкнений, тому його потрібно активувати явно.
Як змонтувати сайт за допомогою HTTPDirFS
Увімкнення режиму роботи із сайтами та перегляд ресурсів
Для перевірки програми було обрано сайт Books to Scrape, який містить сторінки з переліками книжок, посиланнями на категорії, зображеннями обкладинок та іншими вебресурсами. Така структура дає змогу перевірити, як HTTPDirFS обробляє HTML-сторінки та матеріали, на які вони посилаються.
Спочатку потрібно створити окремий каталог у домашній директорії користувача, який використовуватиметься як точка монтування:
mkdir -p "$HOME/HTG-Test"Потім, перебуваючи в каталозі з вихідним кодом HTTPDirFS, необхідно запустити скомпільовану програму з увімкненим режимом роботи із сайтами:
./build/httpdirfs --website-mode -f \
https://books.toscrape.com/ "$HOME/HTG-Test"Параметр -f залишає HTTPDirFS запущеним на передньому плані. Це дає змогу спостерігати за повідомленнями в терміналі під час перевірки роботи програми.
Після початкової обробки сторінки створений каталог HTG-Test можна відкрити у файловому менеджері. Змонтована файлова система надає доступ до HTML-сторінок категорій і окремих книжок, а також до зображень обкладинок та інших ресурсів, на які посилається сайт. Деякі HTML-сторінки відображаються як каталоги, що дає змогу переглядати пов’язані з ними матеріали.
У результаті можна переходити між категоріями, переглядати сторінки окремих книжок і відкривати зображення обкладинок, не завантажуючи попередньо весь сайт. Основна перевага HTTPDirFS полягає в тому, що виявлені ресурси стають доступними через звичайні шляхи файлової системи, з якими можуть працювати сумісні програми.
Водночас результат залежить від структури конкретного сайту та ресурсів, які HTTPDirFS здатний виявити. Сайти, вміст яких формується за допомогою JavaScript або передбачає складну інтерактивну взаємодію, можуть не надавати через цей інструмент усіх матеріалів, доступних у браузері. Параметри автентифікації можуть допомогти під час роботи із захищеними ресурсами, проте HTTPDirFS не є повноцінним браузерним рушієм. Представлення сайту у вигляді файлової системи також залежить від структури HTML-документів і ресурсів, на які вони посилаються.
Для вилучення структурованих даних і роботи зі складними сайтами спеціалізовані інструменти вебскрейпінгу залишаються доречнішим вибором. Якщо ж потрібне створення локальної копії сайту для подальшої роботи без підключення до мережі, для цього краще підходять wget і HTTrack.
HTTPDirFS розв’язує вужче завдання: він робить виявлені віддалені ресурси доступними через шляхи, з якими можуть працювати звичайні програми для роботи з файловою системою. Це дає змогу переглядати вебвміст і отримувати доступ до вибраних матеріалів без необхідності завантажувати все одразу.
Інструмент може бути корисним для регулярного перегляду відкритих файлових каталогів, пошуку окремих зображень і документів на віддалених сайтах, а також для створення робочих процесів на основі звичних інструментів Linux. Крім того, HTTPDirFS можна використовувати для практичного вивчення FUSE та способів інтеграції віддалених ресурсів у локальне файлове середовище.
Отже, HTTPDirFS не перетворює будь-який вебсайт на повноцінну локальну копію й не забезпечує можливостей браузера, однак пропонує альтернативний спосіб доступу до вебресурсів. Якщо завдання полягає в перегляді віддалених файлів і вибірковому отриманні потрібних матеріалів, монтування сайту як файлової системи може спростити роботу та позбавити необхідності завантажувати зайві дані.
