"Параллельное и распределенное программирование на С++" - читать интересную книгу автора (Хьюз Камерон, Хьюз Трейси)
Параллельное и распределенное программирование на С++ Введение Этапы большого пути Подход Почему именно С++ Библиотеки для параллельного и распределенного программирования Новый единый стандарт спецификаций UNIX Для кого написана эта книга Среды разработки Дополнительный материал Диаграммы UML Профили программы Параграфы Тестирование кода и его надежность Ждем ваших отзывов! Благодарности Преимущества параллельного программирования Что такое параллелизм Два основных подхода к достижению параллельности Преимущества параллельного программирования Простейшая модель параллельного программирования (PRAM) Простейшая классификация схем параллелизма Преимущества распределенного программирования Простейшие модели распределенного программирования Мультиагентные распределенные системы Минимальные требования Декомпозиция Связь Синхронизация Базовые уровни программного параллелизма Параллелизм на уровне инструкций Параллелизм на уровне подпрограмм Параллелизм на уровне объектов Параллелизм на уровне приложений Отсутствие языковой поддержки параллелизма в С++ Варианты реализации параллелизма с помощью С++ Стандарт MPI PVM: стандарт для кластерного программирования Стандарт CORBA Реализации библиотек на основе стандартов Среды для параллельного и распределенного программирования Резюме Проблемы параллельного и распределенного программирования Кардинальное изменение парадигмы Проблемы координации Проблема № 1 : «гонка» данных Проблема № 2: бесконечная отсрочка Проблема №3: взаимоблокировка Проблема №4: трудности организации связи Отказы оборудования и поведение ПО Негативные последствия излишнего параллелизма и распределения Выбор архитектуры Различные методы тестирования и отладки Связь между параллельным и распределенным проектами Резюме Разбиение С++ программ на множество задач Определение процесса Два вида процессов Блок управления процессами Анатомия процесса Состояния процессов Планирование процессов Стратегия планирования Использование утилиты ps Установка и получение приоритета процесса Переключение контекста Создание процесса Отношения между родительскими и сыновними процессами Утилита pstree Использование системной функции fork() Использование семейства системных функций exec Функции execl () Функции execv () Определение ограничений для функций exec () Чтение и установка переменных среды Использование POSIX-функций для порождения процессов Идентификация родительских и сыновних процессов с помощью функций управления процессами Завершение процесса Функции exit (), kill () и abort () Ресурсы процессов Типы ресурсов POSIX-функции для установки ограничений доступа к ресурсам Асинхронные и синхронные процессы Создание синхронных и асинхронных процессов с помощью функций fork (), exec (), system () и posix_spawn() Функция wait () Разбиение программы на задачи Линии видимого контура Резюме Разбиение C++ программ на множество потоков Определение потока Контекстные требования потока Сравнение потоков и процессов Различия между потоками и процессами Потоки, управляющие другими потоками Преимущества использования потоков Переключение контекста при низкой (ограниченной) доступности процессора Возможности повышения производительности приложения Простая схема взаимодействия между параллельно выполняющимися потоками Упрощение структуры программы Недостатки использования потоков Потоки могут легко разрушить адресное пространство процесса Один поток может ликвидировать целую программу Потоки не могут многократно использоваться другими программами Анатомия потока Атрибуты потока Планирование потоков Состояния потоков Планирование потоков и область конкуренции Стратегия планирования и приоритет Изменение приоритета потоков Ресурсы потоков Модели создания и функционирования потоков Модель делегирования Модель с равноправными узлами Модель конвейера Модель «изготовитель-потребитель» Модели SPMD и МРМD для потоков Введение в библиотеку Pthread Анатомия простой многопоточной программы Компиляция и компоновка многопоточных программ Создание потоков Получение идентификатора потока Присоединение потоков Создание открепленных потоков Использование объекта атрибутов Создание открепленных потоков с помощью объекта атрибутов Управление потоками Завершение потоков Точки аннулирования потоков Очистка перед завершением Управление стеком потока Установка атрибутов планирования и свойств потоков Установка области конкуренции потока Использование функции sysconf () Управление критическими разделами Безопасность использования потоков и библиотек Разбиение программы на несколько потоков Использование модели делегирования Использование модели сети с равноправными узлами Использование модели конвейера Использование модели «изготовитель-потребитель» Создание многопоточных объектов Резюме Синхронизация параллельно выполняемых задач Координация порядка выполнения потоков Взаимоотношения между синхронизируемыми задачами Отношения типа старт-старт (CC) Отношения типа финиш-старт (ФС) Отношения типа старт-финиш (СФ) Отношения типа финиш-финиш (ФФ) Синхронизация доступа к данным Модель РРАМ Параллельный и исключающий доступ к памяти Что такое семафоры Операции по управлению семафором Мьютексные семафоры Использование мьютексного атрибутного объекта Использование мьютексных семафоров для управления критическими разделами Блокировки для чтения и записи Использование блокировок чтения-записи для реализации стратегии доступа Условные переменные Использование условных переменных для управления отношениями синхронизации Объектно-ориентированный подход к синхронизации Резюме Объединение возможностей параллельного программирования и C++ средств на основе PVM Классические модели параллелизма, поддерживаемые системой PVM Библиотека PVM для языка С++ Компиляция и компоновка C++/PVM-npoгpaмм Выполнение PVM-программы в виде двоичного файла Запуск PVM-программ c помощью PVM-консоли Запуск PVM-программ c помощью XPVM Требования к PVM-программам Объединение динамической С++-библиотеки c библиотекой PVM Методы использования PVM-задач Реализация модели SPMD (SIMD) c помощью PVM-и С++-средств Реализация модели MPMD (MIMD) с помощью PVM-и С++-средств Базовые механизмы PVM Функции управления процессами Упаковка и отправка сообщений Доступ к стандартному входному потоку (stdin) и стандартному выходному потоку (stdout) со стороны PVM-задач Получение доступа к стандартному выходному потоку (cout) из сыновней задачи Резюме Обработка ошибок, исключительных ситуаций и надежность программного обеспечения Надежность программного обеспечения Отказы в программных и аппаратных компонентах Определение дефектов в зависимости от спецификаций ПО Обработка ошибок или обработка исключительных ситуаций? Надежность ПО: простой план План А: модель возобновления, план Б: модель завершения Использование объектов отображения для обработки ошибок Механизмы обработки исключительных ситуаций в С++ Классы исключений Классы runtime__error Классы logic_error Выведение новых классов исключений Защита классов исключений от исключительныхситуаций Диаграммы событий, логические выражения и логические схемы Резюме Распределенное объектно-ориентированное программирование Декомпозиция задачи и инкапсуляция ее решения Взаимодействие между распределенными объектами Синхронизация взаимодействия локальных и удаленных объектов Обработка ошибок и исключений в распределенной среде Доступ к объектам из других адресных пространств . IOR-доступ к удаленным объектам Брокеры объектных запросов (ORB) Язык описания интерфейсов (IDL):более «пристальный» взгляд на CORBA-объекты Анатомия базовой CORBA-программы потребителя Анатомия базовой CORBA-программы изготовителя Базовый npoeкт CORBA-приложения IDL-компилятор Получение IOR-ссылки для удаленных объектов Служба имен Использование службы имен и создание именных контекстов Служба имен «потребитель-клиент» Подробнее об объектных адаптерах Хранилища реализаций и интерфейсов Простые pacnpeделенные Web-службы, использующие CORBA-спецификацию Маклерская служба Парадигма «клиент-сервер» Резюме Реализация моделей SPMD и MPMD с помощью шаблонов и MPI-программирования Декомпозиция работ для MPI-интерфейса Дифференциация задач по рангу Группирование задач по коммуникаторам Анатомия MPI-задачи Использование шаблонных функций для представления MPI-задач Реализация шаблонов и модельБРМО (типы данных) Использование полиморфизмадля реализации MPMD-модели Введение MPMD-модели c помощью функций -объектов Как упростить взаимодействие между MPI-задачами Перегрузка операторов «lt;lt;» и «gt;gt;» для организации взаимодействия между MPI-задачами Резюме Визуализация проектов параллельных и распределенных систем Визуализация структур Классы и объекты Отображение информации об атрибутах и операциях класса Организация атрибутов и операций Шаблонные классы Отношения между классами и объектами Интерфейсные классы Организация интерактивных объектов Отображение параллельного поведения Сотрудничество объектов Процессы и потоки Отображение нескольких потоков выполнения и взаимодействия между ними Последовательность передачи сообщений между объектами Деятельность объектов Конечные автоматы Параллельные подсостояния Распределенные объекты Визуализация всей системы Визуализация развертывания систем Архитектура системы Резюме Проектирование компонентов для поддержки параллелизма Как воспользоваться преимуществами интерфейсных классов Подробнее об объектно-ориентированном взаимном исключении и интерфейсных классах «Полуширокие» интерфейсы Поддержка потокового представления Перегрузка операторов "«" и "»" для PVM-потоков данных Пользовательские классы, создаваемые для обработки PVM-потоков данных Объектно-ориентированные каналы и FIFO-очереди как базовые элементы низкого уровня Связь каналов c iostream-объектами с помощью дескрипторов файлов Доступ к анонимным каналам c использованием итератора ostream_iterator FIFO-очереди (именованные каналы), Интерфейсные FIFO-классы Каркасные классы Резюме Реализация агентно-ориентированных архитектур Что такое агенты Агенты: исходное определение Типы агентов В чем состоит разница между объектами и агентами Понятие об агентно-ориентированном программировании Роль агентов в распределенном программировании Агенты и параллельное программирование Базовые компоненты агентов Когнитивные структуры данных Методы рассуждений Реализация агентов в С++ Типы данных предположений и структуры убеждений Класс агента Цикл активизации агента Простая автономность 12.6. Резюме Реализация технологии «классной доски» с использованием PVM-средств, потоков и компонентов Модель «классной доски» Методы структурирования «классной доски» Анатомия источника знаний Стратегии управления для «классной доски» Реализация модели «классной доски» с помощью CORBA-объектов Пример использования CORBA-объекта «классной доски» Реализация интерфейсного класса black_board Порождение источников знаний в конструкторе «классной доски» Порождение источников знаний с помощью PVM-задач Связь «классной доски» и источников знаний Активизация источников знаний с помощью POSIX-функции spawn() Реализация модели «классной доски» с помощью глобальных объектов Активизация источников знаний с помощью потоков Резюме Приложение A Диаграммы классов и объектов Диаграммы взаимодейс т вия Диаграммы сотрудничества Диаграммы последовательностей A.2.3. Диаграммы видов деятельности A.3. Диаграммы состояний A.4. Диаграммы пакетов Приложение Б [26] posix_spawn, posix_spawnp posix_spawn_file_actions_addclose, posix_spawn_file_actions_addopen posix_spawn_file_actions_adddup2 posix_spawn_file_actions_destroy, posix_spawn_file_actions_init posix_spawnattr_destroy, posix_spawnattr_init posix_spawnattr_getflags, posix_spawnattr_setflags posix_spawnattr_getpgroup, posix_spawnattr_setpgroup posix_spawnattr_getschedparam, posix_spawnattr_setschedparam posix_spawnattr_getschedpolicy, posix_spawnattr_setschedpolicy posix_spawnattr_getsigdefault, posix_spawnattr_setsigdefault posix_spawnattr_getsigmask, posix_spawnattr_setsigmask pthread_attr_destroy, pthread_attr_init pthread_attr_getdetachstate, pthread_attr__setdetachstate pthread_attr_getguardsize, pthread_attr_setguardsize pthread_attr_getinheritsched, pthread_attr_setinheritsched pthread_attr_getschedparam, pthread_attr_setschedparam pthread_attr_getschedpolicy, pthread_attr_setschedpolicy pthread_cancel pthread_cleanup_pop, pthread_cleanup_push pthread_cond_broadcast(),pthread_cond_signal() pthread_cond_destroy, pthread_cond_init pthread_cond_timedwait, pthread_cond_wait pthread_condattr_destroy, pthread_condattr_init pthread_condattr_getpshared, pthread_condattr_setpshared pthread_create pthread_detach pthread_exit pthread_getconcurrency, pthread_setconcurrency pthread_getschedparam, pthread_setschedparam pthread_join pthread_mutex_destroy, pthread_mutex_init pthread_mutex_getprioceiling, pthread_mutex_setprioceiling pthread_mutex_lock, pthread_mutex_trylock, pthread_mutex_unlock pthread_mutex_timedlock pthread_mutexattr_destroy pthread_mutexattr_getprioceiling, pthread_mutexattr_setprioceiling pthread_mutexattr_setprotocol, pthread_mutexattr_getprotocol pthread_mutexattr_getpshared, pthread_mutexattr_setpshared pthread_mutexattr_gettype, pthread_mutexattr_settype pthread_once pthread_rwlock_destroy, pthread_rwlock_init pthread_rwlock_rdlock, pthread_rwlock_tryrdlock pthread_rwlock_timedrdlock pthread_rwlock_timedwrlock pthread_rwlock_trywrlock, pthread_rwlock_wrlock pthread_rwlock_unlock pthread_rwlockattr_destroy, pthread_rwlockattr_init pthread_rwlockattr_getpshared, pthread_rwlockattr_setpshared pthread_self pthread_setcancelstate, pthread_setcanceltype, pthread_testcancel pthread_setschedprio Notes 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
Кардинальное изменение парадигмы В мире параллельного программирования все обстоит по-другому. Здесь сразу несколько инструкций могут выполняться в один и тот же момент времени. Одна инструкция разбивается на несколько мелких частей, которые будут выполняться одновременно. Программа разбивается на множество параллельных задач. Программа может состоять из сотен или даже тысяч выполняющихся одновременно подпрограмм. В мире параллельного программирования последовательность и местоположение составляющих ПО не всегда предсказуемы. Несколько задач могут одновременно начать выполнение на любом процессоре без какой бы то ни было гарантии того, что задачи закреплены за определенными процессорами, или такая-то задача завершится первой, или все они завершатся в таком-то порядке. Помимо параллельного выполнения задач, здесь возможно параллельное выполнение частей (подзадач) одной задачи. В некоторых конфигурациях не исключена возможность выполнения подзадач на различных процессорах или даже различных компьютерах. На рис. 2.1 показаны три уровня параллелизма, которые могут присутствовать в одной компьютерной программе.
Рис. 2.1. Три уровня параллелизма, которые возможны в одной компьютерной программе
Модель программы, показанная на рис. 2.1, отражает кардинальное изменение парадигмы программирования, которая была характерна для «раннего» сознания программистов и разработчиков. Здесь отображены три уровня параллелизма и их распределение по нескольким процессорам. Сочетание этих трех уровней с базовыми параллельными конфигурациями процессоров показано на рис. 2.2.
Рис. 2.2. Три уровня параллелизма в сочетании с конфигурациями процессоров базовыми параллельными
Обратите внимание на то, что несколько задач может выполняться на одном процессоре даже при наличии в компьютере нескольких процессоров. Такая ситуация создается системными стратегиями планирования. На длительность выполнения задач, подзадач и инструкций оказывают влияние и выбранные стратегии планирования, и приоритеты процессов, и приоритеты потоков, и быстродействие устройств ввода-вывода. На рис. 2.2 следует обратить внимание на различные архитектуры, которые программист должен учитывать при переходе от последовательной модели программирования к параллельной. Основное различие в моделях состоит в переходе от строго упорядоченной последовательности задач к лишь частично упорядоченной (или вовсе неупорядоченной) коллекции задач. Параллелизм превращает ранее известные величины (порядок выполнения, время выполнения и место выполнения) в неизвестные. Любая комбинация этих неизвестных величин является причиной изменения значений программы, причем зачастую непредсказуемым образом.