"Параллельное и распределенное программирование на С++" - читать интересную книгу автора (Хьюз Камерон, Хьюз Трейси)
Параллельное и распределенное программирование на С++ Введение Этапы большого пути Подход Почему именно С++ Библиотеки для параллельного и распределенного программирования Новый единый стандарт спецификаций UNIX Для кого написана эта книга Среды разработки Дополнительный материал Диаграммы UML Профили программы Параграфы Тестирование кода и его надежность Ждем ваших отзывов! Благодарности Преимущества параллельного программирования Что такое параллелизм Два основных подхода к достижению параллельности Преимущества параллельного программирования Простейшая модель параллельного программирования (PRAM) Простейшая классификация схем параллелизма Преимущества распределенного программирования Простейшие модели распределенного программирования Мультиагентные распределенные системы Минимальные требования Декомпозиция Связь Синхронизация Базовые уровни программного параллелизма Параллелизм на уровне инструкций Параллелизм на уровне подпрограмм Параллелизм на уровне объектов Параллелизм на уровне приложений Отсутствие языковой поддержки параллелизма в С++ Варианты реализации параллелизма с помощью С++ Стандарт MPI PVM: стандарт для кластерного программирования Стандарт CORBA Реализации библиотек на основе стандартов Среды для параллельного и распределенного программирования Резюме Проблемы параллельного и распределенного программирования Кардинальное изменение парадигмы Проблемы координации Проблема № 1 : «гонка» данных Проблема № 2: бесконечная отсрочка Проблема №3: взаимоблокировка Проблема №4: трудности организации связи Отказы оборудования и поведение ПО Негативные последствия излишнего параллелизма и распределения Выбор архитектуры Различные методы тестирования и отладки Связь между параллельным и распределенным проектами Резюме Разбиение С++ программ на множество задач Определение процесса Два вида процессов Блок управления процессами Анатомия процесса Состояния процессов Планирование процессов Стратегия планирования Использование утилиты ps Установка и получение приоритета процесса Переключение контекста Создание процесса Отношения между родительскими и сыновними процессами Утилита pstree Использование системной функции fork() Использование семейства системных функций exec Функции execl () Функции execv () Определение ограничений для функций exec () Чтение и установка переменных среды Использование POSIX-функций для порождения процессов Идентификация родительских и сыновних процессов с помощью функций управления процессами Завершение процесса Функции exit (), kill () и abort () Ресурсы процессов Типы ресурсов POSIX-функции для установки ограничений доступа к ресурсам Асинхронные и синхронные процессы Создание синхронных и асинхронных процессов с помощью функций fork (), exec (), system () и posix_spawn() Функция wait () Разбиение программы на задачи Линии видимого контура Резюме Разбиение C++ программ на множество потоков Определение потока Контекстные требования потока Сравнение потоков и процессов Различия между потоками и процессами Потоки, управляющие другими потоками Преимущества использования потоков Переключение контекста при низкой (ограниченной) доступности процессора Возможности повышения производительности приложения Простая схема взаимодействия между параллельно выполняющимися потоками Упрощение структуры программы Недостатки использования потоков Потоки могут легко разрушить адресное пространство процесса Один поток может ликвидировать целую программу Потоки не могут многократно использоваться другими программами Анатомия потока Атрибуты потока Планирование потоков Состояния потоков Планирование потоков и область конкуренции Стратегия планирования и приоритет Изменение приоритета потоков Ресурсы потоков Модели создания и функционирования потоков Модель делегирования Модель с равноправными узлами Модель конвейера Модель «изготовитель-потребитель» Модели SPMD и МРМD для потоков Введение в библиотеку Pthread Анатомия простой многопоточной программы Компиляция и компоновка многопоточных программ Создание потоков Получение идентификатора потока Присоединение потоков Создание открепленных потоков Использование объекта атрибутов Создание открепленных потоков с помощью объекта атрибутов Управление потоками Завершение потоков Точки аннулирования потоков Очистка перед завершением Управление стеком потока Установка атрибутов планирования и свойств потоков Установка области конкуренции потока Использование функции sysconf () Управление критическими разделами Безопасность использования потоков и библиотек Разбиение программы на несколько потоков Использование модели делегирования Использование модели сети с равноправными узлами Использование модели конвейера Использование модели «изготовитель-потребитель» Создание многопоточных объектов Резюме Синхронизация параллельно выполняемых задач Координация порядка выполнения потоков Взаимоотношения между синхронизируемыми задачами Отношения типа старт-старт (CC) Отношения типа финиш-старт (ФС) Отношения типа старт-финиш (СФ) Отношения типа финиш-финиш (ФФ) Синхронизация доступа к данным Модель РРАМ Параллельный и исключающий доступ к памяти Что такое семафоры Операции по управлению семафором Мьютексные семафоры Использование мьютексного атрибутного объекта Использование мьютексных семафоров для управления критическими разделами Блокировки для чтения и записи Использование блокировок чтения-записи для реализации стратегии доступа Условные переменные Использование условных переменных для управления отношениями синхронизации Объектно-ориентированный подход к синхронизации Резюме Объединение возможностей параллельного программирования и C++ средств на основе PVM Классические модели параллелизма, поддерживаемые системой PVM Библиотека PVM для языка С++ Компиляция и компоновка C++/PVM-npoгpaмм Выполнение PVM-программы в виде двоичного файла Запуск PVM-программ c помощью PVM-консоли Запуск PVM-программ c помощью XPVM Требования к PVM-программам Объединение динамической С++-библиотеки c библиотекой PVM Методы использования PVM-задач Реализация модели SPMD (SIMD) c помощью PVM-и С++-средств Реализация модели MPMD (MIMD) с помощью PVM-и С++-средств Базовые механизмы PVM Функции управления процессами Упаковка и отправка сообщений Доступ к стандартному входному потоку (stdin) и стандартному выходному потоку (stdout) со стороны PVM-задач Получение доступа к стандартному выходному потоку (cout) из сыновней задачи Резюме Обработка ошибок, исключительных ситуаций и надежность программного обеспечения Надежность программного обеспечения Отказы в программных и аппаратных компонентах Определение дефектов в зависимости от спецификаций ПО Обработка ошибок или обработка исключительных ситуаций? Надежность ПО: простой план План А: модель возобновления, план Б: модель завершения Использование объектов отображения для обработки ошибок Механизмы обработки исключительных ситуаций в С++ Классы исключений Классы runtime__error Классы logic_error Выведение новых классов исключений Защита классов исключений от исключительныхситуаций Диаграммы событий, логические выражения и логические схемы Резюме Распределенное объектно-ориентированное программирование Декомпозиция задачи и инкапсуляция ее решения Взаимодействие между распределенными объектами Синхронизация взаимодействия локальных и удаленных объектов Обработка ошибок и исключений в распределенной среде Доступ к объектам из других адресных пространств . IOR-доступ к удаленным объектам Брокеры объектных запросов (ORB) Язык описания интерфейсов (IDL):более «пристальный» взгляд на CORBA-объекты Анатомия базовой CORBA-программы потребителя Анатомия базовой CORBA-программы изготовителя Базовый npoeкт CORBA-приложения IDL-компилятор Получение IOR-ссылки для удаленных объектов Служба имен Использование службы имен и создание именных контекстов Служба имен «потребитель-клиент» Подробнее об объектных адаптерах Хранилища реализаций и интерфейсов Простые pacnpeделенные Web-службы, использующие CORBA-спецификацию Маклерская служба Парадигма «клиент-сервер» Резюме Реализация моделей SPMD и MPMD с помощью шаблонов и MPI-программирования Декомпозиция работ для MPI-интерфейса Дифференциация задач по рангу Группирование задач по коммуникаторам Анатомия MPI-задачи Использование шаблонных функций для представления MPI-задач Реализация шаблонов и модельБРМО (типы данных) Использование полиморфизмадля реализации MPMD-модели Введение MPMD-модели c помощью функций -объектов Как упростить взаимодействие между MPI-задачами Перегрузка операторов «lt;lt;» и «gt;gt;» для организации взаимодействия между MPI-задачами Резюме Визуализация проектов параллельных и распределенных систем Визуализация структур Классы и объекты Отображение информации об атрибутах и операциях класса Организация атрибутов и операций Шаблонные классы Отношения между классами и объектами Интерфейсные классы Организация интерактивных объектов Отображение параллельного поведения Сотрудничество объектов Процессы и потоки Отображение нескольких потоков выполнения и взаимодействия между ними Последовательность передачи сообщений между объектами Деятельность объектов Конечные автоматы Параллельные подсостояния Распределенные объекты Визуализация всей системы Визуализация развертывания систем Архитектура системы Резюме Проектирование компонентов для поддержки параллелизма Как воспользоваться преимуществами интерфейсных классов Подробнее об объектно-ориентированном взаимном исключении и интерфейсных классах «Полуширокие» интерфейсы Поддержка потокового представления Перегрузка операторов "«" и "»" для PVM-потоков данных Пользовательские классы, создаваемые для обработки PVM-потоков данных Объектно-ориентированные каналы и FIFO-очереди как базовые элементы низкого уровня Связь каналов c iostream-объектами с помощью дескрипторов файлов Доступ к анонимным каналам c использованием итератора ostream_iterator FIFO-очереди (именованные каналы), Интерфейсные FIFO-классы Каркасные классы Резюме Реализация агентно-ориентированных архитектур Что такое агенты Агенты: исходное определение Типы агентов В чем состоит разница между объектами и агентами Понятие об агентно-ориентированном программировании Роль агентов в распределенном программировании Агенты и параллельное программирование Базовые компоненты агентов Когнитивные структуры данных Методы рассуждений Реализация агентов в С++ Типы данных предположений и структуры убеждений Класс агента Цикл активизации агента Простая автономность 12.6. Резюме Реализация технологии «классной доски» с использованием PVM-средств, потоков и компонентов Модель «классной доски» Методы структурирования «классной доски» Анатомия источника знаний Стратегии управления для «классной доски» Реализация модели «классной доски» с помощью CORBA-объектов Пример использования CORBA-объекта «классной доски» Реализация интерфейсного класса black_board Порождение источников знаний в конструкторе «классной доски» Порождение источников знаний с помощью PVM-задач Связь «классной доски» и источников знаний Активизация источников знаний с помощью POSIX-функции spawn() Реализация модели «классной доски» с помощью глобальных объектов Активизация источников знаний с помощью потоков Резюме Приложение A Диаграммы классов и объектов Диаграммы взаимодейс т вия Диаграммы сотрудничества Диаграммы последовательностей A.2.3. Диаграммы видов деятельности A.3. Диаграммы состояний A.4. Диаграммы пакетов Приложение Б [26] posix_spawn, posix_spawnp posix_spawn_file_actions_addclose, posix_spawn_file_actions_addopen posix_spawn_file_actions_adddup2 posix_spawn_file_actions_destroy, posix_spawn_file_actions_init posix_spawnattr_destroy, posix_spawnattr_init posix_spawnattr_getflags, posix_spawnattr_setflags posix_spawnattr_getpgroup, posix_spawnattr_setpgroup posix_spawnattr_getschedparam, posix_spawnattr_setschedparam posix_spawnattr_getschedpolicy, posix_spawnattr_setschedpolicy posix_spawnattr_getsigdefault, posix_spawnattr_setsigdefault posix_spawnattr_getsigmask, posix_spawnattr_setsigmask pthread_attr_destroy, pthread_attr_init pthread_attr_getdetachstate, pthread_attr__setdetachstate pthread_attr_getguardsize, pthread_attr_setguardsize pthread_attr_getinheritsched, pthread_attr_setinheritsched pthread_attr_getschedparam, pthread_attr_setschedparam pthread_attr_getschedpolicy, pthread_attr_setschedpolicy pthread_cancel pthread_cleanup_pop, pthread_cleanup_push pthread_cond_broadcast(),pthread_cond_signal() pthread_cond_destroy, pthread_cond_init pthread_cond_timedwait, pthread_cond_wait pthread_condattr_destroy, pthread_condattr_init pthread_condattr_getpshared, pthread_condattr_setpshared pthread_create pthread_detach pthread_exit pthread_getconcurrency, pthread_setconcurrency pthread_getschedparam, pthread_setschedparam pthread_join pthread_mutex_destroy, pthread_mutex_init pthread_mutex_getprioceiling, pthread_mutex_setprioceiling pthread_mutex_lock, pthread_mutex_trylock, pthread_mutex_unlock pthread_mutex_timedlock pthread_mutexattr_destroy pthread_mutexattr_getprioceiling, pthread_mutexattr_setprioceiling pthread_mutexattr_setprotocol, pthread_mutexattr_getprotocol pthread_mutexattr_getpshared, pthread_mutexattr_setpshared pthread_mutexattr_gettype, pthread_mutexattr_settype pthread_once pthread_rwlock_destroy, pthread_rwlock_init pthread_rwlock_rdlock, pthread_rwlock_tryrdlock pthread_rwlock_timedrdlock pthread_rwlock_timedwrlock pthread_rwlock_trywrlock, pthread_rwlock_wrlock pthread_rwlock_unlock pthread_rwlockattr_destroy, pthread_rwlockattr_init pthread_rwlockattr_getpshared, pthread_rwlockattr_setpshared pthread_self pthread_setcancelstate, pthread_setcanceltype, pthread_testcancel pthread_setschedprio Notes 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
Негативные последствия излишнего параллелизма и распределения При внедрении технологии параллелизма всегда существует некоторая «точка насыщения», по «ту сторону» которой затраты на управление множеством процессоров превышают эффект от увеличения быстродействия и других достоинств параллелизма. Старая поговорка «процессоров никогда не бывает много» попросту не соответствует истине. Затраты на организацию взаимодействия между компьютерами или обеспечение синхронизации процессоров выливаются «в копеечку». Сложность синхронизации или уровень связи между процессорами может потребовать таких затрат вычислительных ресурсов, что они отрицательно скажутся на производительности задач, совместно выполняющих общую работу. Как узнать, на сколько процессов, задач или потоков следует разделить программу? И, вообще, существует ли оптимальное количество процессоров для любой заданной параллельной программы? В какой «точке» увеличение процессоров или компьютеров в системе приведет к замедлению ее работы, а не к ускорению? Нетрудно предположить, что рассматриваемые числа зависят от конкретной программы. В некоторых областях имитационного моделирования максимальное число процессоров может достигать нескольких тысяч, в то время как в коммерческих приложениях можно ограничиться несколькими сотнями. Для ряда клиент-серверных конфигураций зачастую оптимальное количество составляет восемь процессоров, а добавление девятого уже способно ухудшить работу сервера.
Всегда необходимо отличать работу и ресурсы, задействованные в управлении параллельными аппаратными средствами, от работы, направленной на управление параллельно выполняемыми процессами и потоками в ПО. Предел числа программных процессов может быть достигнут задолго до того, как будет достигнуто оптимальное количество процессоров или компьютеров. И точно так же можно наблюдать снижение эффективности оборудования еще до достижения оптимального количества параллельно выполняемых задач.