РАСПРЕДЕЛЕННЫЕ СИСТЕМЫ ВЫЧИСЛЕНИЙ НА ПРИМЕРЕ APACHE HADOOP

В этой статье мы рассмотрим 2 фактора, влияющих на выбор алгоритма пакетных вычислений, способного поддерживать безотказную работу системы и ее универсальность.

Устойчивость к отказам

Срок эксплуатации информационной системы чрезвычайно долгий, и в течение этого периода времени программные ошибки могут и, скорее всего, будут появляться в работающей системе. Поэтому необходимо рассмотреть степень устойчивости алгоритмов обновления пакетного представления к подобным ошибкам. В этом отношении алгоритмы повторных вычислений внутренне устойчивы к отказам, обусловленным человеческим фактором, тогда как алгоритмы инкрементных вычислений не избавляют от подобных ошибок, способных вызвать серьезные осложнения.

Рассмотрим в качестве примера алгоритм, подсчитывающий на уровне пакетной обработки общее количество записей в главном массиве данных. Допустим, что такой алгоритм развернут в системе, но в нем допущена следующая ошибка: при подсчете каждой записи общее количество записей увеличивается не на единицу, а на два. Если это алгоритм повторных вычислений, то достаточно исправить ошибку и снова развернуть его код, чтобы пакетное представление правильно отражало общее количество записей при последующем запуске уровня пакетной обработки. Такая отказоустойчивость достигается благодаря тому, что алгоритм повторных вычислений заново формирует пакетное представление.

Но если алгоритм выполняет инкрементные вычисления, то исправить сформированное представление нелегко. Единственная возможность - распознать те записи, которые были подсчитаны лишний раз, определить, сколько раз каждая такая запись была подсчитана излишне, а затем исправить подсчет каждой подобной записи. Но сделать это с достаточно высокой степенью достоверности удается далеко не всегда. Для этой цели может пригодиться подробная регистрация действий, выполняемых в системе, хотя журналы регистрации не всегда содержат требующуюся информацию, поскольку нельзя заранее предугадать, какого рода ошибка будет совершена в будущем. Поэтому в пакетное представление зачастую приходится вносить изменения[1], носящие произвольный характер и основанные на самых вероятных предположениях, но делать это нужно так, чтобы испортить.

Безусловно, надежду на полноту фиксации информации в журналах регистрации для исправления ошибок вряд ли можно считать удачной нормой инженерной практики. Приходится еще раз напоминать о неизбежности ошибок, связанных с человеческим фактором. И, как пояснялось выше, алгоритмы повторных вычислений обладают намного большей устойчивостью к подобного рода ошибкам, чем алгоритмы инкрементных вычислений.

Универсальность алгоритмов

Несмотря на то что алгоритмы инкрементных вычислений могут выполняться быстрее, они зачастую должны быть приспособлены к разрешению возникающих затруднений. Как было показано в одном из предыдущих примеров, алгоритм для подсчета количества индивидуальных посетителей страниц может формировать неоправданно большие пакетные представления. Подобный недостаток позволяют устранить алгоритмы вероятностных вычислений вроде HyperLogLog, сохраняющие промежуточные статистические данные для оценки общего подсчета индивидуальных посещений. Это дает возможность сократить затраты на хранение пакетного представления, хотя и за счет приближенного, а не точного характера применяемого алгоритма.

Пример запроса для определения фактора влияния, приведенный в начале этой главы, иллюстрирует еще один насущный вопрос: сложность алгоритмов инкрементных вычислений смещается в сторону динамических вычислений. По мере усовершенствования алгоритма семантической нормализации внедренные усовершенствования должны отражаться на результатах запросов. Но если нормализация выполняется как часть предварительного вычисления, то пакетное представление окажется неактуальным всякий раз, когда усовершенствуется алгоритм нормализации. Поэтому нормализация должна происходить по ходу обработки запроса, когда применяется алгоритм инкрементных вычислений. В данном примере пакетное представление должно будет содержать каждое имя, обнаруженное для каждого лица, а в динамически выполняемом коде придется снова нормализовать каждое имя всякий раз, когда выполняется запрос. В итоге увеличивается задержка в динамически вычисляемой составляющей запроса, причем она может оказаться

Алгоритм повторных вычислений непрерывно перестраивает все пакетное представление в целом, и поэтому структура этого представления и динамически вычисляемая составляющая запроса. В итоге алгоритм становится более универсальным.

Подведем итоги в следующей таблице:

Таблица 1.

Сравнение алгоритмов

Список литературы:

1. Марц, Натан, Уорен, Джеймс. Большие данные: принципы и практика построения масштабируемых систем обработки данных в реальном времени.: Пер. с англ. — М.: ООО “И.Д.Вильямс”, 2016 – 368 с.: ил. — Парал. Тит. Англ.