В данной работе анализируется набор данных, содержащий информацию о пассажирах: класс, пол, возраст, наличие родственников, порт посадки и другие признаки. Цель – построить модель, предсказывающую, выжил ли пассажир (бинарная классификация). Для этого используется нейронная сеть, реализованная на Keras, с предварительной обработкой данных: заполнением пропусков, кодированием категориальных переменных и нормализацией числовых признаков. Алгоритм включает следующие шаги:

Рисунок 1. Динамика точности модели в процессе обучения

• импортируем необходимые библиотеки: TensorFlow/Keras, Pandas, NumPy, Matplotlib и Seaborn;
• загружаем обучающий и тестовый наборы данных, монтируем Google Drive для доступа к файлам;
• преобразуем категориальные признаки (пол, порт посадки, класс) в числовой формат с помощью one-hot кодирования;
• создаем новый признак “more than one relative” на основе количества родственников на борту;
• визуализируем пропущенные значения с помощью тепловой карты Seaborn;
• заполняем пропуски в числовых столбцах средними значениями;
• выделяем признаки и целевую переменную, преобразуем данные в массивы NumPy;
• стандартизируем данные, вычитая среднее и деля на стандартное отклонение;
• строим модель нейронной сети с тремя полносвязными слоями и Dropout для регуляризации;
• компилируем модель с оптимизатором Adam, функцией потерь binary_crossentropy и метрикой accuracy;
• обучаем модель на 10 эпохах с валидационной выборкой 10%;

• визуализируем динамику точности на обучающей и валидационной выборках;

Этот алгоритм является типовым для задач классификации и демонстрирует ключевые этапы работы с нейронными сетями в Keras.

Ниже приведен фрагмент кода:

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense, Dropout, BatchNormalization

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

# Загружаем данные для обучения
train = pd.read_csv(PATH + ‘train.csv’).replace(‘male’, 1).replace(‘female’, 0)

train = pd.concat([train, pd.get_dummies(train.Embarked, prefix="Emb")], axis=1)

train = pd.concat([train, pd.get_dummies(train.Pclass, prefix="Pclass")], axis=1)

train['more than one relative'] = train.Parch + train.SibSp > 1

train = train.replace(True, 1).replace(False, 0)

# Загружаем данные для тестирования

test = pd.read_csv(PATH + ‘test.csv’).replace(‘male’, 1).replace(‘female’, 0)

test = pd.concat([test, pd.get_dummies(test.Embarked, prefix="Emb")], axis=1)

test = pd.concat([test, pd.get_dummies(test.Pclass, prefix="Pclass")], axis=1)

test['more than one relative'] = test.Parch + test.SibSp > 1

test = test.replace(True, 1).replace(False, 0)

Процесс работы показан на рисунке 2 (изображение сгенерировано нейросетью):

Рисунок 2. Архитектура построения нейронной сети

Заключение

Анализ данных о пассажирах «Титаника» с использованием нейронных сетей демонстрирует высокую эффективность машинного обучения для решения задач бинарной классификации. Модель позволяет выявить ключевые факторы, влиявшие на выживаемость, такие как класс билета, пол и возраст. Однако важно учитывать исторический контекст и этические аспекты работы с данными. Полученные результаты могут быть использованы в образовательных целях, а также для разработки более сложных моделей анализа выживаемости. Исследование подчеркивает ценность междисциплинарного подхода, сочетающего историю и data science.

В данной работе для классификации ирисов используется полносвязная нейронная сеть, реализованная на Keras. Модель принимает на вход четыре нормализованных признака: длину и ширину чашелистика, длину и ширину лепестка. Архитектура сети включает скрытые слои с функцией активации ReLU и выходной слой с функцией softmax для многоклассовой классификации. Обучение проводится с оптимизатором Adam на протяжении 20 эпох, а процесс отслеживается по графикам точности на обучающей и проверочной выборках. Такой подход позволяет достичь высокой точности предсказания и служит примером стандартного пайплайна для задач классификации табличных данных.

Рисунок 1. Динамика точности модели в процессе обучения

Алгоритм решения задачи по построению модели классификации для набора данных Ирисов Фишера включает следующие последовательные шаги с использованием языка Python и библиотек TensorFlow/Keras.

• импортируем необходимые библиотеки: TensorFlow/Keras, pandas, numpy и matplotlib;
• подключаем Google Drive и загружаем обучающий и тестовый наборы данных из CSV-файлов;
• выделяем матрицу признаков и вектор целевой переменной из обучающих данных;
• проводим стандартизацию признаков, вычитая среднее значение и деля на стандартное отклонение;
• создаём последовательную модель нейронной сети с двумя скрытыми полносвязными слоями и выходным слоем на 3 нейрона;
• компилируем модель, выбирая оптимизатор Adam и функцию потерь sparse_categorical_crossentropy;
• обучаем модель на подготовленных данных, выделяя часть для валидации;
• строим график изменения точности на обучающей и проверочной выборках по эпохам;
• используем обученную модель для предсказания классов на тестовом наборе данных;
• сохраняем результаты предсказаний в файл для отправки или последующего анализа.

Этот алгоритм является типовым для задач классификации и демонстрирует ключевые этапы работы с нейронными сетями в Keras.

Ниже приведен фрагмент кода, реализующий ключевые шаги алгоритма:

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

train = pd.read_csv(‘train.csv’)

test = pd.read_csv(‘test.csv’)

features = ["SepalLength", "SepalWidth", "PetalLength", "PetalWidth"]

target = ‘Species’

x_train = train[features].values

y_train = train[target].values

x_test = test[features].values

mean = x_train.mean(axis=0)

std = x_train.std(axis=0)

x_train -= mean

x_train /= std

x_test -= mean

x_test /= std

model = Sequential()

model.add(Dense(100, activation=’relu’, input_shape=(x_train.shape[1],)))

model.add(Dense(16, activation=’relu’))

model.add(Dense(3, activation=’softmax’))

model.compile(optimizer=’adam’,

loss=’sparse_categorical_crossentropy’,

metrics=['accuracy'])

history = model.fit(x_train, y_train, epochs=20, validation_split=0.1, verbose=2)

plt.plot(history.history['accuracy'], label=’Точность на обучении’)

plt.plot(history.history['val_accuracy'], label=’Точность на валидации’)

plt.xlabel(‘Эпоха’)

plt.ylabel(‘Точность’)

plt.legend()

plt.show()

predictions = model.predict(x_test)

predictions = np.argmax(predictions, axis=1)

Процесс обучения модели визуализирован на Рисунке 2 (изображение сгенерировано нейросетью):

Рисунок 2. Архитектура используемой нейронной сети

Заключение

Задача классификации Ирисов Фишера, несмотря на свою простоту и давнюю историю, продолжает оставаться важным учебным и тестовым инструментом в области машинного обучения. Использование нейронных сетей, как показано в работе, позволяет эффективно решать эту задачу, демонстрируя типичный пайплайн для обработки табличных данных. Ключевыми этапами являются корректная предобработка данных, выбор архитектуры сети и мониторинг процесса обучения. Модель успешно справляется с классификацией, что подтверждает применимость полносвязных сетей для подобных задач. Освоение работы с этим набором данных формирует прочную основу для перехода к более сложным современным проблемам искусственного интеллекта.

Введение

В современном мире методы машинного обучения и искусственного интеллекта находят широкое применение в самых различных областях, включая медицину, финансы, транспорт и многие другие. Одной из классических задач, используемых для обучения и отработки навыков работы с алгоритмами машинного обучения, является задача предсказания выживаемости пассажиров Титаника. Данная задача представляет собой бинарную классификацию, где необходимо на основе набора признаков о пассажире определить, выжил он или нет.

Инструментарий

В качестве инструментария для решения поставленной задачи была выбрана библиотека TensorFlow с высокоуровневым фреймворком Keras, которые предоставляют удобные средства для создания и обучения нейронных сетей различной архитектуры. Для работы с табличными данными используется библиотека Pandas, для математических операций и работы с массивами – NumPy, для визуализации результатов – Matplotlib.

Загрузка данных

Поскольку работа выполнялась в среде Google Colab, потребовалось подключение Google Drive для доступа к файлам датасета:

from google.colab import drive

drive.mount(‘/content/drive/’)

Путь к данным задается через переменную PATH, после чего загружаются тренировочный и тестовый наборы данных, а также файл с примером формата ответов sample_submission.csv:

DIR = “Titanic”

PATH = ‘/content/drive/My Drive/’+ DIR + ‘/’

train = pd.read_csv(PATH + ‘train.csv’)

test = pd.read_csv(PATH + ‘test.csv’)

sample_submission = pd.read_csv(PATH + ‘sample_submission.csv’, index_col=’PassengerId’)

Предобработка данных

Одной из важнейших задач при работе с реальными данными является их предобработка. Исходные данные содержат как числовые, так и категориальные признаки, которые необходимо преобразовать в формат, пригодный для обучения нейронной сети.

Замена категориальных признаков

В первую очередь производится замена текстовых значений пола на числовые:

train = train.replace(‘male’, 1).replace(‘female’, 0)

test = test.replace(‘male’, 1).replace(‘female’, 0)

Создание дамми-переменных

Далее создаются дамми-переменные для категориальных признаков Embarked (порт посадки) и Pclass (класс билета), что позволяет представить эти признаки в виде бинарных векторов:

train = pd.concat([train, pd.get_dummies(train.Embarked, prefix="Emb")], axis=1)

train = pd.concat([train, pd.get_dummies(train.Pclass, prefix="Pclass")], axis=1)

test = pd.concat([test, pd.get_dummies(test.Embarked, prefix="Emb")], axis=1)

test = pd.concat([test, pd.get_dummies(test.Pclass, prefix="Pclass")], axis=1)

Создание новых признаков

Важным этапом инженерного анализа данных является создание новых признаков, которые могут нести дополнительную информацию для модели. На основе имеющихся признаков Parch (количество родителей и детей) и SibSp (количество братьев, сестер, супругов) был создан новый бинарный признак “наличие более одного родственника”, принимающий значение 1, если у пассажира было более одного родственника на борту, и 0 в противном случае.

train['more than one relative'] = train.Parch + train.SibSp > 1

train = train.replace(True, 1).replace(False, 0)

test['more than one relative'] = test.Parch + test.SibSp > 1

test = test.replace(True, 1).replace(False, 0)

Анализ пропущенных значений

Производится анализ пропущенных значений с помощью методов isnull().sum():

train.isnull().sum()

Для визуализации используется тепловая карта библиотеки Seaborn, что позволяет наглядно увидеть, в каких колонках присутствуют пропуски:

import seaborn as sns

sns.heatmap(train.isnull(), cbar = False).set_title(“Карта пропущенных значений”)

Заполнение пропусков

На основе анализа принимается решение о заполнении пропущенных значений. Для числовых колонок Age и Fare пропуски заменяются средними значениями:

numeric_cols = ['Age', 'Fare']

train[numeric_cols] = train[numeric_cols].fillna(train[numeric_cols].mean())

test[numeric_cols] = test[numeric_cols].fillna(train[numeric_cols].mean())

При этом важно отметить, что для заполнения пропусков в тестовом наборе используются средние значения, вычисленные на тренировочном наборе, чтобы избежать утечки данных.

Формирование признакового пространства

После завершения предобработки формируется список признаков features и целевая переменная target:

features = ['Pclass_1', 'Pclass_2', 'Pclass_3', 'Age', 'Sex', 'Fare', 'more than one relative', 'Emb_C', 'Emb_Q', 'Emb_S']

target = ‘Survived’

Данные преобразуются в массивы NumPy для подачи в нейронную сеть:

X_train = train[features].values

Y_train = train[target].values

X_test = test[features].values

Нормализация данных

Важным этапом подготовки данных является нормализация, которая позволяет привести все признаки к единому масштабу и ускорить процесс обучения нейронной сети. Нормализация производится путем вычитания среднего значения и деления на стандартное отклонение:

mean = X_train.mean(axis=0)

std = X_train.std(axis=0)

X_train = X_train – mean

X_train /= std

X_test = X_test – mean

X_test /= std

Построение модели нейронной сети

Для построения модели используется последовательная архитектура Sequential с импортом необходимых слоев:

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense, Dropout

Модель состоит из трех полносвязных слоев. Первый слой содержит 200 нейронов с функцией активации ReLU и принимает на вход данные размерности, соответствующей количеству признаков. Второй скрытый слой содержит 20 нейронов также с функцией активации ReLU. Выходной слой содержит один нейрон с сигмоидной функцией активации, что позволяет получать на выходе вероятность принадлежности к классу 1 (выживший) в диапазоне от 0 до 1.

Для предотвращения переобучения после каждого скрытого слоя добавляется слой Dropout с вероятностью отключения нейронов 0.1:

model = Sequential()

model.add(Dense(200, activation=’relu’, input_shape=(X_train.shape[1],)))

model.add(Dropout(0.1))

model.add(Dense(20, activation=’relu’))

model.add(Dropout(0.1))

model.add(Dense(1, activation=’sigmoid’))

После создания модели выводится ее краткое описание:

print(model.summary())

Компиляция модели

Компиляция модели производится с использованием оптимизатора Adam. В качестве функции потерь используется binary_crossentropy, подходящая для бинарной классификации. Метрикой качества выбрана accuracy – доля правильных ответов:

model.compile(optimizer=’adam’, loss=’binary_crossentropy’, metrics=['accuracy'])

Обучение модели

Обучение модели производится на тренировочных данных с валидационным разделением 10% от обучающей выборки. Количество эпох обучения установлено равным 2, размер пакета batch_size равен 1:

history = model.fit(X_train, Y_train,

                    epochs=2,

                    batch_size=1,

                    validation_split=0.1,

                    verbose=2)

Визуализация процесса обучения

Для визуализации процесса обучения строится график изменения точности на обучающем и проверочном наборах данных:

plt.plot(history.history['accuracy'], label=’Точность на обучающем наборе’)

plt.plot(history.history['val_accuracy'], label=’Точность на проверочном наборе’)

plt.xlabel(‘Эпоха обучения’)

plt.ylabel(‘Точность’)

plt.legend()

plt.show()

График позволяет оценить, насколько хорошо модель обучается, и демонстрирует рост точности в процессе обучения.

Предсказание на тестовых данных

После завершения обучения производится предсказание на тестовых данных:

predictions = model.predict(X_test)

Полученные предсказания представляют собой вероятности принадлежности к классу 1. Для преобразования вероятностей в бинарные метки используется пороговое значение 0.5:

sample_submission[target] = [0 if pred < 0.5 else 1 for pred in predictions]

Экспорт результатов

Полученные предсказания записываются в файл-образец и сохраняются в файл titanic_submission.csv:

sample_submission.to_csv(‘titanic_submission.csv’)

Поскольку работа велась в Google Colab, для загрузки файла на локальный компьютер используется модуль files:

from google.colab import files

files.download(‘titanic_submission.csv’)

Заключение

В результате выполненной работы была построена нейросетевая модель, способная с высокой точностью предсказывать выживаемость пассажиров Титаника на основе предоставленных характеристик. В процессе решения были отработаны ключевые этапы построения модели машинного обучения: загрузка и анализ данных, предобработка и создание новых признаков, заполнение пропусков, нормализация, построение архитектуры нейронной сети с регуляризацией, обучение и оценка качества, формирование предсказаний и экспорт результатов.

Полученный опыт может быть использован для решения других задач классификации и регрессии, а также служить основой для изучения более сложных архитектур нейронных сетей и методов глубокого обучения.