Ответы на вопросы в канале

В своём телеграм-канале я периодически публикую вопросы-викторины на темы анализа данных, математики и т.п. Здесь перечислены последние вопросы с моими комментариями, правильными ответами (отмечены зелёным) и статистикой ответов. Есть также полезные ссылки с первоисточниками.

вопросы

1

Это вопрос на умение читать рисунки-графики и их элементы, например, легенду (рисунок можно было посмотреть в полном масштабе). Цветом показаны «Number of words in English translation» со значениями десятки тысяч, поэтому варианты с названием страны и фамилиями отпадают. Вариант с книгами отбрасывается из анализа карты (в некоторых «красных» странах вряд ли издано столько книг). Вариант с Библией совсем странный, т.к. тогда мы утверждаем, что в каждой стране своя Библия, поскольку в переводе на английский язык её объём отличается в разы (тут, кстати, тонкий момент — что считать Библией, например, в Ветхом завете, если брать все канонические книги, будет 500 тысяч слов). Остаются два самых популярных ответа — текст конституции и правил въезда в страну. Здесь можно угадать, отталкиваясь от того, что вряд ли правила въезда такие объёмные, причём у стран типа Мексики и Бразилии.

Интересно, что американская конституция относительно маленькая, а конституция Великобритании, наоборот, объёмная. В конституции РФ до возможных поправок — 9565 слов русского языка.

2

На этот вопрос я бы сам ответил неправильно, как и большинство, если бы не просматривал различные курсы по оптимизации. Эту картинку с мужиками, пьющими пиво, помещают в разделе «квазиньютоновские методы». Напомним, что методы оптимизации обычно классифицируют на основе того, производные каких порядков они используют:

И есть «промежуточный» (между первым и вторым) класс методов, когда мы не вычисляем матрицу Гессе (это затратно по времени), но по изменению градиента пытаемся оценить её. Один из таких — квазиньютоновских методов — алгоритм Бройдена — Флетчера — Гольдфарба — Шанно (BFGS). Это как раз те ребята с пивом.

3

Большинство ответило, что изображена семантическая сегментация. В верхнем ряде картинок, действительно, что-то похожее. Но, если присмотреться, здесь она какого-то плохого качества, картинки упорядочены по подробности такой сегментации и есть ещё нижний ряд картинок с окнами. На самом деле, это иллюстрация классического метода генерации «регионов интереса» (Regions) — Selective Search. Иллюстрация взята из хорошего технического отчёта J.R.R. Uijlings et al «Selective Search for Object Recognition». Метод как раз состоит в разбиении изображения на сегменты, итеративного объединения похожих соседних сегментов (верхний ряд изображений слева-направо), запоминания для каждого сегмента его обрамляющей рамки (нижний ряд изображений).

4

Эта архитектура сети смесь знаменитой U-net (как раз напоминает латинскую букву U) и Dense-Net (используются т.н. плотные блоки, в которых много прокидывания связей). Иллюстрация взята из оригинальной работы:

Интересно, что название архитектуры пошло из заголовка статьи, но в самой статье упоминается лишь один раз.

5

Конечно, здесь типичная иллюстрация гауссовских процессов, которые используются, например, в задачах регрессии или для минимизации функции. Серая зона — область неопределённости, крестики — точки в которых мы узнали значения функции, мы можем выбрать следующую точку, чтобы узнать новое значение и сократить область неопределённости.

6

Самым простым оказался вопрос про MapReduce — модель распределённых вычислений, состоящего из этапа расщепления данных на порции, передачи порций на вычислители и этапа агрегации результатов.

7

Здесь уже сложно угадать, хотя была картинка-подсказка. Упрощённо, Lab  — это способ представления цвета в шкалах:

  • L: White-Black,
  • a: Red-Green,
  • b: Blue-Yellow.

Обычно его используют для раскраски изображений в градациях серого. В этом случае компонента L нам дана и осталось восстановить компоненты a и b.

8

Вопрос про функцию ошибки для нейронных сетей, которая применяется для т.н. similarity learning оказался довольно простым. Здесь сеть получает представление (вещественный вектор) f(A) объекта A, надо чтобы оно было ближе к представлению похожего объекта P, чем к представлению непохожего объекта N. Порог α формализует «насколько ближе».

9

Когда я придумывал вопрос, то держал в голове работу

из которой и взял иллюстрацию. В ней впервые встречается термин «dynamic k-max pooling». Что такое k-max pooling, понятно — это операция, которая получает k максимальных элементов. Слово «динамический» появляется из-за того, что k здесь зависит от длины входа.

10

Stanford Question Answering Dataset (SQuAD) состоит из вопросов по статьям Википедии, ответ на каждый вопрос — некоторый непрерывный фрагмент одной из статей. На нём часто проверяют работу разных архитектур нейронных сетей для анализа текстов (например, на базе Трансформера). При переходе ко второй версии датасета ко всем ответам добавили вариант «нет правильного ответа» и придумали ещё вопросы, для которых такой вариант ответа будет правильным. Оказалось, понимание отсутствия релевантности в тексте задача более сложная, чем поиск самого релевантного фрагмента.

11

Что же такое «downstream task»? Возьмём какую-нибудь модную статью по NLP, например про BERT. В ней этот термин встречается 6 раз! Как известно, популярный тренд в машинном обучении — transfer learning — когда сначала производится обучение на большом датасете, а потом полученные знания используются для решения конкретных задач. Иногда пред-обучивается что-то локальное, например представления слов (word embeddings), иногда какой-то модуль (например кодировщих (encoder)/языковая модель и т.п.) или вся сеть, как в случае с BERT. Конкретные задачи, на которых мы дообучаем нашу сеть, и называются «downstream tasks».

12

Этот вопрос продолжает тему предыдущего. Почему-то не все знают расшифовку GPT, а она много где мелькает, начиная от блога Open.AI, заканчивая статьями Рэдфорда и сотоварищей. Интересно, что в первоисточниках абревиатуры GPT не встречается! Таким образом, последующее название модели дало обозначение процесса её предобучения.

13

В работе Tolga Bolukbasi с забавным названием «Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings» исследуются векторные представления слов, полученные с помощью word2vec, обученного на новостях Google. В частности, показывается что в представления просачиваются наши гендерные стереотипы, в результате чего некоторые профессии (например, программист) являются «более мужскими», а некоторые (домохозяин/домохозяйка) «более женскими». В вопросе приведены как раз самые мужские профессии в порядке убывания проекции на ось «Он-Она» (т.е. соединяющую представления слов «he» и «she»). У английских названий профессий нет рода (кроме некоторых слов типа businesswoman, которые были исключены из анализа), и такое значение проекции следствие контекста упоминаний профессии.

Неожиданно самое «мужское» слово из перечисленных — «Маэстро». А теперь подумайте, сколько известных дирижёров-женщин Вы знаете;)

П.С. При желании можно прислать автору свои идеи вопросов для викторины.

Ответы на вопросы в канале: 5 комментариев

  1. я только начинаю заниматься анализом данных

    и вот просто ищу данные где полноценно возможно будет попрактиковаться

    какие есть варианты?

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google photo

Для комментария используется ваша учётная запись Google. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

Connecting to %s