Как запустить Википедию в автономном режиме на ESP32


В наши дни мы сильно зависимы от облачных вычислений, высокоскоростного интернета и всего остального. Мы редко задумываемся о том, что произойдет, если интернет отключится, или что случится в местах, где сеть недоступна или доступ к информации затруднен. Главное решение — хранить данные и обрабатывать их локально, чтобы они были доступны в любое время, даже без интернета. В этом проекте мы будем создавать офлайн-Википедию, которая полностью работает на плате ESP32-S3, чтобы мы могли получать доступ к данным в любое время и в любом месте без подключения к интернету. Все это стало возможным благодаря Kiwix, некоммерческой организации, которая делает бесплатные знания доступными повсюду. Офлайн-Википедия на ESP32 — это карманный сервер Википедии, построенный на плате ESP32-S3 с поддержкой карты microSD. 

Запуск Википедии в автономном режиме на ESP32

Мы загрузим данные на SD-карту и используем её во встроенном устройстве чтения SD-карт модуля ESP32, чтобы она сама стала базой данных. Затем мы прошьём прошивку, которая запустит веб-сервер на ESP32, чтобы мы могли получать доступ к данным в любом браузере без подключения к интернету. Запуск веб-сервера на ESP32 очень полезен, поскольку мы можем визуализировать данные в любое время и в любом месте, используя любое устройство. Если вы хотите изучить основы работы веб-сервера на модуле разработки ESP32, у нас есть руководство для начинающих, которое поможет вам создать простой веб-сервер для управления светодиодами на ESP32. Также на нашем сайте мы рассматривали создание веб-сервера на ESP32 с помощью ESP-IDF.

Что вы узнаете из этого урока по работе с Википедией в автономном режиме на ESP32

  • Выбор подходящего ZIM-файла (язык, тип и размер) для карты microSD.
  • Использование репозитория ESP32 Offline Wikipedia на GitHub для преобразования ZIM-файла в легко читаемые ESP32 фрагменты данных.
  • Подготовка и установка отформатированной в FAT32 карты microSD с обработанными данными.
  • Прошивка веб-сервера с использованием PlatformIO, а также проверка монтирования SD-карты.
  • Подключение к точке доступа Wi-Fi на ESP32 и осуществление поиска статей, содержащих изображения, через любой браузер.
  • Обзор того, как эта версия ESP32 сравнивается с конфигурациями на базе Raspberry Pi и смартфона Kiwix.

Необходимые компоненты

Ниже представлен список оборудования, необходимого для реализации этого проекта.

Компоненты, необходимые для реализации данного проекта

Прежде всего, нам понадобится модуль ESP32-S3 со слотом для карты microSD. Для этой демонстрации используется карта памяти объемом 4 ГБ. Размер карты памяти зависит от размера загружаемого файла, согласно приведенным ниже инструкциям. Подходящий размер карты памяти — 16 ГБ или 32 ГБ, поскольку чем больше размер файла, тем больше информации он вмещает. Но можно использовать и карту памяти объемом 2 ГБ, если размер файла в нее помещается. Затем нам понадобится кабель для передачи данных для программирования платы ESP32.

Пошаговое руководство по созданию офлайн-Википедии на ESP32

Шаг 1 ⇒ Загрузите нужный ZIM-файл Kiwix.
Прежде всего, нам нужно перейти на страницу архива ZIM-файлов Kiwix. Там перечислены несколько файлов для скачивания. Если присмотреться, буквы «en, af, ru, fr…» в названии файла указывают на то, что загружаемый файл написан на определенном языке, например, английском, африкаансе, русском, французском и многих других. Ниже приведена таблица, которая показывает, как правильно определить нужный файл для нужной цели. Убедитесь, что размер загружаемого файла не превышает емкость используемой карты памяти. 

Тег Значение
simple Простая англоязычная Википедия (более простой словарный запас, меньшее количество статей, значительно меньший размер файлов)
all Содержит общие статьи Википедии по всем темам, а не по какой-либо конкретной области.
maxi Полная версия, включая полный текст и изображения.
nopic Версия только с текстом (без изображений), что значительно уменьшает размер файлов.  
mini: только вводные абзацы статей.
2026-xx Год и месяц, когда был сделан снимок.

Помимо Википедии, существуют файлы, посвященные таким темам, как физика, математика, футбол, шахматы и т. д., содержащие обширную информацию по конкретным темам. Обязательно проверьте размер загружаемого файла. Если вам не нужны изображения в офлайн-версии вики, вы можете скачать файл, в названии которого есть слово «nopic».

Примеры тематик с сервиса Kiwix

В таблице ниже показано, как языки указываются в имени файла. Выберите нужный язык и скачайте файл. Ниже приведены лишь некоторые примеры. На самом деле на сайте доступен для скачивания широкий выбор языков.

Примеры кодового обозначения языков на сервисе Kiwix

Шаг 2 ⇒ Клонируйте репозиторий ESP32 Offline Wikipedia на GitHub.
Мы пройдем весь урок в VS Code с установленным расширением PlatformIO. Для удобства весь код и файлы загружены на GitHub и доступны по ссылке, указанной ниже. После клонирования репозитория нам необходимо находиться в следующей директории в терминале для выполнения следующих шагов.

Шаг 3 ⇒ Предварительная обработка ZIM-файла изображениями.
Ниже приведена команда, которая будет выполнена для предварительной обработки/повторного сжатия содержимого файла .zim, чтобы плата ESP32 могла эффективно считывать данные. Она извлечет все статьи, преобразует все изображения/диаграммы в блоки .dat и сгенерирует индексные файлы. Размер миниатюр по умолчанию составляет 320x212, но мы можем использовать параметр --thumb-size 480x320 для получения более четких изображений. Здесь мы используем 480x320, поскольку стремимся к более четким изображениям.

После выполнения указанной выше команды в терминале отобразятся следующие сообщения. Выполнение задачи занимает довольно много времени, так как зависит от модели ZIM, которую мы предварительно обрабатываем. После успешного завершения задачи в папке preprocessor будет создана папка с именем «output_en_wiki». Нам необходимо содержимое этой папки. Вы можете изменить окончательное имя каталога (здесь это output_en_wiki) на правильное имя, соответствующее загруженному файлу. В данном случае это английская версия Вики. Поэтому она называется «output_en_wiki». Если мы используем версию на африкаансе, она может называться «output_af_wiki». После завершения процесса откройте эту папку в проводнике файлов и скопируйте все ее содержимое. Убедитесь, что на карте microSD достаточно места для хранения всех данных.

Предварительная обработка ZIM-файлов

Шаг 4 ⇒ Скопируйте данные на карту microSD.
Вставьте карту microSD (рекомендуется 16 ГБ или 32 ГБ) в компьютер с помощью кардридера. Отформатируйте её в FAT32. Форматирование карты microSD в FAT32 очень просто. В Windows щелкните правой кнопкой мыши по диску > Форматировать > FAT32.
Создайте папку с именем wiki в корневом каталоге SD-карты.
Скопируйте все файлы из preprocessor\output_en_wiki\ в /wiki/, папку, которую необходимо создать в корневом каталоге карты microSD. Ниже перечислены файлы, которые необходимо перенести в папку wiki на SD-карте.

Список файлов, которые необходимо перенести в папку wiki на SD-карте

После копирования файлов структура папок на SD-карте должна выглядеть примерно так. Все скопированные файлы находятся в корневой папке с именем wiki.

Вставьте карту в встроенный слот для карт Micro SD на плате ESP32-S3 CAM и перейдите к следующим шагам.

Шаг 5 ⇒ Прошивка веб-сервера ESP32-S3
Подключите модуль ESP32-S3 CAM через USB и выполните следующую команду. Ничего менять не нужно; прошивка будет прошита непосредственно на плату ESP32.

Прошивка микропрограммы занимает не так много времени, в отличие от пересжатия данных. Ход загрузки отображается в окне терминала, как и в Arduino IDE при загрузке кода на плату Arduino/ESP32.

Процесс прошивки микропрограммы на плату ESP32

Выше приведено сообщение об успешной прошивке. Если же сообщения об успешной прошивке нет, наиболее вероятная причина — используемая плата не должна быть ESP32-S3. Для успешной работы этого репозитория требуется именно плата ESP32-S3.

Шаг 6 ⇒ Проверка монтирования SD-карты в последовательном мониторе.
Для проверки монтирования вы можете просмотреть вывод загрузки в последовательном мониторе:

Вы увидите следующее, что указывает на то, что всё в порядке и всего доступно 129909 статей. Эти числа могут варьироваться в зависимости от используемого файла.

Шаг 7 ⇒ Подключитесь к точке доступа и просматривайте Википедию в автономном режиме.
Включите ESP32-S3 CAM. На телефоне, планшете или ноутбуке откройте настройки Wi-Fi и подключитесь к сети Wi-Fi под названием Wikipedia-Offline, которая размещена на ESP32. Это будет открытая сеть, поэтому пароль вводить не нужно.

Подключение к сети Wi-Fi под названием Wikipedia-Offline, которая размещена на ESP32

Откройте любой веб-браузер и перейдите по адресу: http://192.168.4.1/, это IP-адрес по умолчанию для режима точки доступа в сетевом стеке ESP32.

Вас встретит полнофункциональная офлайн-поисковая система Википедии, подробные статьи и изображения высокого разрешения, загружаемые непосредственно с вашего ESP32-S3. (Последовательный монитор также остается активным одновременно для диагностики!) Как только вы начнете искать что-либо в строке поиска, отобразятся связанные материалы/статьи. Нажатие на любой элемент в списке отобразит полное содержимое этой статьи.

Поиск и чтение Википедии в автономном режиме на ESP32

Ниже представлены несколько скриншотов из итоговых результатов. Как мы видим, начальное окно называется “Welcome to Offline Wikipedia” («Добро пожаловать в офлайн-Википедию»). В нём отображается информация, например, общее количество статей в памяти и всё остальное. Когда мы начинаем вводить ключевое слово, система показывает доступные статьи, связанные с этим ключевым словом. После нажатия на ключевое слово экран заполняется содержимым статьи. Содержимое включает текст и изображения. Если мы выберем или загрузим версию «nopic», она будет отображать только текст, без изображений.

Демонстрация работы Википедии в автономном режиме на ESP32

Видео с демонстрацией работы проекта

Посмотрите, как работает полноценная офлайн-Википедия на ESP32, запущенная на плате ESP32-S3, используя только карту microSD и собственную точку доступа Wi-Fi. Демонстрация показывает, как телефон подключается к сети Wikipedia-Offline, ищет нужную тему и открывает полную статью с изображениями — и всё это без подключения к интернету. Это быстрый способ увидеть конечный результат перед началом сборки и проверить, работает ли ваша собственная система аналогичным образом.

Ссылка на видео на Youtube

(Проголосуй первым!)
Загрузка...
1 просмотров

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *