Лекция: Оптимизации

: Локальность данных

(Направлять map-задачи на узлы, хранящие требуемые данные или

находящиеся рядом

), Локальная редукция

(после Map → combine), Совмещение операций

(Загрузка и сортировка промежуточных данных

), Спекулятивное выполнение

(В конце map или reduce запустить незавершенные задания на нескольких

машинах

).

Обработка отказов

:

Сбой при выполнении задачи

Отказ рабочего узла

– Сбой аппаратуры, ПО или отзыв узла планировщиком (preemption)

– Определяется через heartbeat

– Перезапуск задач( map: всех (выполненных и незавершенных) + уведомление reduce-процессов

reduce: — только незавершенных)

Отказ мастера(?)

Семантика выполнения программы

Для детерминированных функций map и reduce гарантируется совпадение результата вычислений с результатом последовательного выполнения программы

Для недетерминированных функций map и reduce гарантируется совпадение результата каждой reduce-задачи с результатом последовательного выполнения программы

Результаты разных reduce-задач могут соответствовать разным последовательным выполнениям

Атомарные операции

– Передача списка промежуточных файлов от map-процесса к мастеру

– Переименование файла в GFS с результатом reduce-задания