Какими бывают данные? Как данные разделяют МО на типы?

Вступление

Добро пожаловать на уже второй урок из цикла "Как обучать машины, если у вас лапки?" Сегодня мы подробнее рассмотрим данные и обозначим 3 типа машинного обучения.

Данные разные бывают...

О данных мы говорили в прошлом уроке: фактически, это просто информация. Но её бывает много и совершенно разного типа. Бывают картинки, видео, текст, табличные значения, звуковые и целая куча других, но разделяют данные на группы по другому признаку. Данные делятся на две группы: размеченные и неразмеченные. Но что это значит?

Из названия очевидно, что у размеченных данных есть какие-то метки, а у неразмеченных их нет. Бинго! Мы великолепны... но есть некоторые вопросы.

Что такое метки? На самом деле, это зависит от задачи. Метки бывают совершенно разные: они могут быть числами (непрерывные), могут быть набором определённых значений (дискретные) по типу "Кошка/Собака", "1/0" и прочие, а могут быть целыми картинками или набором координат. Метки подбираются в зависимости от специфики поставленной задачи так, чтобы они представляли собой то, что модель должна "говорить", принимая на вход признаки. Так, стоп, признаки?...

Признаки - это просто какие-либо свойства или характеристики, на основе которых модель и должна принимать решения. Признаками может служить таблица с параметрами дома (а именно сами параметры в таблице), а может и набор пикселей, составляющих картину.

Размеченные данные, пример

Рассмотрим базовый пример: вы риэлтор где-то в Калифорнии (и не говорите мне, что это не так, я не поверю) и вам необходимо по характеристикам дома (пускай, например, это будут Цвет, Число этажей, площадь и год строительства) предсказать его стоимость, по которой его купят. Тогда наши данные можно представить следующей таблицей:

Первые четыре колонки этой таблицы - ПРИЗНАКИ
А последняя пятая - МЕТКИ

А что если меток нет?

Если же мы работаем с неразмеченными данными, то наша таблица из примера принимает следующий вид:

У нас остаются признаки, но вот меток нет. Казалось бы: а в чём вообще смысл? Но не переживайте, он есть и вы всё поймёте уже во второй части этого урока.

101 способ, как обучить машину...

Машинное обучение можно разделить на 3 основных типа: обучение с учителем (англ. supervised learning), обучение без учителя (англ. unsupervised learning) и обучение с подкреплением (англ. reinforcement learning). Рассмотрим их все по очереди.

Учителя машин работают в школах для роботов?

Обучение с учителем называется таковым не из-за наличия эфемерной сущности, которая учит машину, а из-за того, что при данном типе МО работают с размеченными данными. То есть модель при обучении "знает" правильный ответ, и её цель - уменьшить расхождение её предсказания с истинным значением метки (ошибку).

Вот некоторые задачи, которые можно решить с помощью обучения с учителем: предсказание цены домов, классификация кошек и собак, определение спама и многое другое.

А как машина без учителя будет учиться?

Иногда данных может быть настолько много, что размечать их вручную и ставить метки становится экономически невыгодно да и просто муторно. Тогда на помощь нам может прийти обучение без учителя.

Иногда нам не нужно чётко определить, что за объект или какое значение метки мы имеем, но зато нам необходимо разделить объекты на группы по признакам. С этой задачей нам и поможет справиться обучение без учителя. (Это лишь одна из задач, с которой нам помогает unsupervised learning)

Чем машина может подкрепиться

Иногда мы лично, в принципе, можем и не собирать никакие данные, ведь машина может сделать это и за нас! (Да, работай мой родненький чат джбт) С такими "данными" и работает обучение с подкреплением.

При таком типе МО агент сам собирает данные, анализирует свой опыт действий и изучает, как делать то или иное действие. Именно благодаря RL компьютер победил человека в игре в "Го", Теслы имеют (ну или не особо) автопилот, роботы Boston Dynamics делают тройные кульбиты, собирая машины и многое другое.

Заключение

Спасибо за внимание! В следующий раз мы рассмотрим какие бывают признаки и подробнее рассмотрим: какие задачи решает каждый тип машинного обучения.

Все свои пожелания пишите в комментарии к этому посту.