Оптимизация обработки больших масcивов данных в кластерных системах

Abstract

Для задач параллельной обработки больших наборов данных узким местом, как правило, оказывается файловое хранилище. Рассмотрено влияние упаковки данных на скорость вычислений. На основе ранее разработанной модели получены оценки минимального времени выполнения программ с учетом времени упаковки/распаковки и коэффициента сжатия данных. Полученные оценки опробованы на примере сжатия временных кубов для ускорения процедуры миграции сейсмограмм.For tasks of massive dataset processing the file storage usually provided to be a bottleneck. The data compression affect on computation speed is examined. On the base of the earlier built model the minimal execution time estimates with accounting the pack/unpack time and the data compression coefficient are obtained. The obtained estimates have been verified on the sample of time cubes compression for acceleration of seismic migration procedure.