В современном информационном обществе оперативный доступ к новостным материалам становится критически важным. Многие университеты публикуют актуальные события на своих официальных сайтах, однако не всегда предоставляют удобные мобильные интерфейсы или API для получения этих данных. Разработка собственного приложения, выполняющего парсинг новостей, позволяет решить эту проблему, предоставив пользователю компактный и быстрый доступ к информации. Платформа Android с её широкими возможностями и библиотекой Jsoup для парсинга HTML является идеальной средой для реализации такой задачи. В учебном процессе создание подобного приложения позволяет освоить важные аспекты мобильной разработки: работу с сетью, многопоточность, адаптеры и обработку данных. В данной работе рассматривается создание приложения для парсинга новостей с сайта Пермского университета.

Алгоритм решения задачи по созданию приложения для парсинга новостей включает следующие последовательные шаги:

• добавляем в файл манифеста разрешение на доступ к Интернету;
• в разметке activity_main.xml размещаем ListView на весь экран;
• в файле build.gradle (модуля) подключаем зависимость implementation ‘org.jsoup:jsoup:1.18.1′;
• в MainActivity объявляем переменные: список новостей, адаптер и ссылку на ListView;
• инициализируем адаптер ArrayAdapter с простым макетом и устанавливаем его на ListView;
• создаём однопоточный исполнитель ExecutorService для выполнения сетевого запроса в фоне;
• получаем главный обработчик Handler для последующего обновления UI;
• в фоновом потоке формируем URL страницы с новостями (например, с поддержкой пагинации);
• с помощью Jsoup подключаемся к странице, указывая User-Agent для имитации браузера;
• анализируем структуру HTML и выбираем все блоки, содержащие новости (используя CSS-селекторы);
• для каждого блока извлекаем заголовок и дату публикации, добавляем их в список newsList;
• после завершения парсинга через handler.post обновляем адаптер, вызывая notifyDataSetChanged();
• обрабатываем возможные исключения IOException и выводим сообщение об ошибке в список.

Рисунок 1. Внешний вид приложения со списком новостей

Ниже приведён фрагмент программного кода, реализующего основную логику парсинга (файл MainActivity.kt):

import android.os.Bundle

import android.os.Handler

import android.os.Looper

import android.widget.ArrayAdapter

import android.widget.ListView

import androidx.appcompat.app.AppCompatActivity

import org.jsoup.Jsoup

import java.io.IOException

import java.util.concurrent.Executors

class MainActivity : AppCompatActivity() {

    private lateinit var listView: ListView

    private val newsList = ArrayList<String>()

    private lateinit var adapter: ArrayAdapter<String>

    override fun onCreate(savedInstanceState: Bundle?) {

        super.onCreate(savedInstanceState)

        setContentView(R.layout.activity_main)

        listView = findViewById(R.id.list)

        adapter = ArrayAdapter(this, android.R.layout.simple_list_item_1, newsList)

        listView.adapter = adapter

        val executor = Executors.newSingleThreadExecutor()

        val handler = Handler(Looper.getMainLooper())

        executor.execute {

            try {

                // Парсинг первых трёх страниц новостей сайта ПГНИУ

                for (page in 1..3) {

                    val url = “https://www.psu.ru/news?page=$page”

                    val doc = Jsoup.connect(url)

                        .userAgent(“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36″)

                        .get()

                    // Селекторы подбираются на основе анализа HTML-кода сайта

                    val newsItems = doc.select(“.news-item”) // пример класса

                    for (item in newsItems) {

                        val title = item.selectFirst(“.news-title”)?.text() ?: “Без заголовка”

                        val date = item.selectFirst(“.news-date”)?.text() ?: “Дата не указана”

                        newsList.add(“$title ($date)”)

                    }

                }

            } catch (e: IOException) {

                e.printStackTrace()

                newsList.add(“Ошибка загрузки: ${e.message}”)

            }

            handler.post {

                adapter.notifyDataSetChanged()

            }

        }

    }

}

Примечание: представленные CSS-селекторы являются условными и требуют уточнения при реальной разработке на основе актуальной структуры сайта.

Данный код демонстрирует типовую схему парсинга: фоновый поток, подключение к странице, извлечение данных и обновление UI. Использование ExecutorService и Handler гарантирует безопасную работу с сетью и интерфейсом.

Заключение

В ходе выполнения лабораторной работы было разработано Android-приложение, выполняющее парсинг новостей с сайта Пермского университета. Применение библиотеки Jsoup позволило эффективно извлекать данные из HTML-структуры. Реализована многопоточная обработка сетевых запросов, исключающая блокировку пользовательского интерфейса. Адаптер ListView обеспечил наглядное отображение полученных новостей. Приложение может быть легко адаптировано для других сайтов путём изменения селекторов и URL. Полученные навыки являются фундаментом для разработки более сложных приложений, работающих с веб-данными.

Веб-скрейпинг с использованием библиотеки Jsoup остается высокоактуальной темой для Android-разработчиков, поскольку позволяет автоматизировать сбор данных с веб-сайтов, включая прогнозы погоды, новости и коммерческую информацию. В условиях отсутствия открытых API у многих популярных ресурсов, включая Gismeteo, эта техника становится востребованной в мобильной разработке, аналитике и автоматизации задач, где прямой доступ к данным невозможен.

В данной работе выполняется парсинг погоды для Ростова-на-Дону с сайта Gismeteo (рисунок 1) с использованием библиотеки Jsoup для извлечения температуры из HTML-структуры страницы. Для обеспечения корректной работы сетевых запросов применяется ExecutorService, организующий фоновый поток, а обновление пользовательского интерфейса выполняется через Handler. Подобные скрипты востребованы при создании мобильных информеров, особенно для регионов, данные по которым недоступны через официальные API. Стабильность библиотеки Jsoup и встроенных средств многопоточности Android обеспечивает надежность работы приложения в условиях ограниченных ресурсов мобильного устройства.

Рисунок 1. Сайт погоды

Алгоритм решения задачи по созданию Android-приложения для отображения погоды включает следующие последовательные шаги разработки:

• добавляем разрешение на доступ к интернету в файл AndroidManifest.xml;
• подключаем зависимость библиотеки Jsoup в файле build.gradle модуля приложения;
• создаём интерфейс с кнопкой для запуска парсинга и текстовым полем для отображения результата;
• инициализируем ExecutorService для выполнения сетевого запроса в фоновом потоке;
• выполняем подключение к сайту Gismeteo с указанием URL нужного города;
• находим элемент с классом “weather-value” и извлекаем из него значение температуры;
• обрабатываем возможные исключения при сетевом подключении;
• используем Handler для обновления TextView с полученными данными в UI-потоке.

Ниже приведен фрагмент кода основной логики приложения:

private View.OnClickListener myOnClick = new View.OnClickListener() {

public void onClick(View v) {

ExecutorService executor = Executors.newSingleThreadExecutor();

Handler handler = new Handler(Looper.getMainLooper());

executor.execute(new Runnable() {

String title;

@Override

public void run() {

//Background work here

try {

Document doc = Jsoup.connect(“https://www.gismeteo.ru/weather-rostov-na-donu-5110/”).get();

Elements ele = doc.select(“div[class=weather-value]“);

Element pogoda = ele.select(“temperature-value”).first();

title = pogoda.val();

} catch (IOException e) {

// e.printStackTrace();

title = “error”;

}

handler.post(new Runnable() {

@Override

public void run() {

//UI Thread work here

myTextView.setText(“Ростов-на-Дону: ” + title);

}

});

}

});

}

};

В представленном коде при нажатии на кнопку создается однопоточный ExecutorService, который выполняет сетевой запрос в фоне. Jsoup подключается к странице города, находит элемент с классом “weather-value” и извлекает из вложенного тега “temperature-value” значение температуры. В случае ошибки (отсутствие интернета, изменение структуры сайта) в переменную title записывается “error”. После завершения работы Handler обновляет TextView в главном потоке.

Рисунок 2. Интерфейс разработанного приложения с результатом парсинга

Заключение 

Разработанное Android-приложение успешно выполняет парсинг данных о погоде с сайта Gismeteo и отображает температуру для указанного города. Использование библиотеки Jsoup в сочетании с ExecutorService и Handler обеспечивает стабильную работу приложения без блокировки пользовательского интерфейса. Предложенный подход может быть адаптирован для парсинга любых данных с веб-страниц, что расширяет возможности мобильных приложений при отсутствии официальных API. Важно помнить об этических аспектах и соблюдении правил robots.txt при разработке подобных решений. Дальнейшее развитие приложения может включать добавление списка городов, автоматическое обновление данных и визуализацию погодных условий.