Mutex пример / учебник? [закрыто]

176

Я новичок в многопоточности и пытался понять, как работают мьютексы. Я много гуглил, но это все еще оставляло некоторые сомнения в том, как это работает, потому что я создал свою собственную программу, в которой блокировка не работала.

Один абсолютно неинтуитивный синтаксис мьютекса - pthread_mutex_lock( &mutex1 );это когда мьютекс блокируется, когда я действительно хочу заблокировать какую-то другую переменную. Означает ли этот синтаксис, что блокировка мьютекса блокирует область кода, пока мьютекс не будет разблокирован? Тогда откуда потоки узнают, что регион заблокирован? [ ОБНОВЛЕНИЕ: потоки знают, что область заблокирована, Ограждение памяти ]. И разве такое явление не должно называться критическим разделом? [ ОБНОВЛЕНИЕ: объекты критических разделов доступны только в Windows, где объекты быстрее мьютексов и видны только потоку, который их реализует. В противном случае критический раздел относится только к области кода, защищенной мьютексом. ]

Короче, не могли бы вы помочь с примером простейшего примера мьютекса и простейшим объяснением логики его работы? Я уверен, что это поможет многим другим новичкам.

навигационный
источник
2
Продолжаем подчеркивать необходимость простого учебного пособия (будь то повышение потоков, tbb или pthreads): Примеры путаницы: 1. stackoverflow.com/questions/3528877/… 2. stackoverflow.com/questions/2979525/… 3. stackoverflow.com/questions/2095977/to-mutex-or-not-to-mutex 4. stackoverflow.com/questions/3931026/… 5. stackoverflow.com/questions/1525189/…
навигация
1
Я не имею в виду это оскорбительно, но ваш последний комментарий подсказывает мне, что нам нужно меньше аналогий и лучшее техническое объяснение того, как работает мьютекс и зачем они нам нужны.
Сан Хасинто
@San: Не обиделись :) Мои комментарии были предназначены только для того, чтобы предположить, что новичок может получить самое короткое и ясное объяснение мьютексов. Многие аналогии могут запутать новичка, поэтому разные аналогии следует хранить отдельно. Причина, по которой я публикую вопросы и ответы, заключается в том, что, будучи новичком, мне было больно читать длинные объяснения и примеры кода. Я бы не хотел, чтобы кто-нибудь еще прошел через боль.
Nav
2
@ Кори: Если бы этот ответ мог быть улучшен, я был бы рад принять ваши предложения. Я просто счастлив, что многие другие сочли это полезным. Если это не помогло, есть ответы и от других людей, которые указали на другие уроки мьютекса. Зачем быть таким негативным?
Nav

Ответы:

278

Вот моя скромная попытка объяснить концепцию новичкам по всему миру: ( версия с цветовой кодировкой в моем блоге тоже)

Многие люди бегут к одинокой телефонной будке (у них нет мобильных телефонов), чтобы поговорить со своими близкими. Первый, кто поймает дверную ручку будки, это тот, кому разрешено пользоваться телефоном. Он должен держаться за ручку двери, пока он пользуется телефоном, в противном случае кто-то другой схватится за ручку, выбросит его и поговорит с женой :) Система очередей как таковая отсутствует. Когда человек заканчивает разговор, выходит из кабины и покидает дверную ручку, следующий человек, который схватит дверную ручку, получит право пользоваться телефоном.

Нить является: Каждый человек мьютекс является следующим : дверная ручка замок является: рука человека ресурс является: Телефон


Любой поток, который должен выполнить некоторые строки кода, которые не должны изменяться другими потоками одновременно (с помощью телефона, чтобы поговорить с его женой), должен сначала получить блокировку на мьютексе (сжимая дверную ручку кабины ). Только тогда поток сможет запустить эти строки кода (сделать телефонный звонок).

После того, как поток выполнил этот код, он должен снять блокировку с мьютекса, чтобы другой поток мог получить блокировку с мьютексом (другие люди смогут получить доступ к телефонной будке).

[ Концепция наличия мьютекса несколько абсурдна, если рассматривать реальный монопольный доступ, но в мире программирования, я думаю, не было другого способа позволить другим потокам «увидеть», что поток уже выполняет некоторые строки кода. Существуют концепции рекурсивных мьютексов и т. Д., Но этот пример предназначен только для того, чтобы показать вам базовую концепцию. Надеюсь, что пример дает вам четкое представление о концепции. ]

С C ++ 11 потоков:

#include <iostream>
#include <thread>
#include <mutex>

std::mutex m;//you can use std::lock_guard if you want to be exception safe
int i = 0;

void makeACallFromPhoneBooth() 
{
    m.lock();//man gets a hold of the phone booth door and locks it. The other men wait outside
      //man happily talks to his wife from now....
      std::cout << i << " Hello Wife" << std::endl;
      i++;//no other thread can access variable i until m.unlock() is called
      //...until now, with no interruption from other men
    m.unlock();//man lets go of the door handle and unlocks the door
}

int main() 
{
    //This is the main crowd of people uninterested in making a phone call

    //man1 leaves the crowd to go to the phone booth
    std::thread man1(makeACallFromPhoneBooth);
    //Although man2 appears to start second, there's a good chance he might
    //reach the phone booth before man1
    std::thread man2(makeACallFromPhoneBooth);
    //And hey, man3 also joined the race to the booth
    std::thread man3(makeACallFromPhoneBooth);

    man1.join();//man1 finished his phone call and joins the crowd
    man2.join();//man2 finished his phone call and joins the crowd
    man3.join();//man3 finished his phone call and joins the crowd
    return 0;
}

Скомпилируйте и запустите используя g++ -std=c++0x -pthread -o thread thread.cpp;./thread

Вместо явного использования lockи unlock, вы можете использовать скобки, как показано здесь , если вы используете блокировку с ограничением по объему для предоставляемого преимущества . Однако замки с ограниченным пространством имеют незначительную производительность.

навигационный
источник
2
@San: я буду честен; Да, мне нравится тот факт, что вы изо всех сил пытались объяснить подробности (с потоком) полному новичку. НО, (пожалуйста, не поймите меня неправильно), цель этого поста состояла в том, чтобы изложить концепцию в кратком объяснении (потому что другие ответы указывали на длинные уроки). Надеюсь, вы не против, если я попрошу вас скопировать весь ответ и опубликовать его как отдельный ответ? Так что я могу откатить и отредактировать свой ответ, чтобы указать на ваш ответ.
Nav
2
@ Tom В этом случае вы не должны получать доступ к этому мьютексу. Операции над ним должны быть заключены в капсулу, чтобы все, что они охраняют, было защищено от такого дурачества. Если при использовании открытого API библиотеки библиотека гарантированно является поточно-ориентированной, тогда вы можете безопасно включить совершенно другой мьютекс для защиты собственных общих элементов. В противном случае вы действительно добавляете новую дверную ручку, как вы и предлагали.
Сан Хасинто
2
Чтобы продвинуть мою точку зрения, вам нужно добавить еще одну, большую комнату вокруг будки. В комнате также могут находиться туалет и душ. Допустим, в комнату допускается только 1 человек. Вы должны спроектировать комнату так, чтобы в этой комнате была дверь с ручкой, которая защищает вход в комнату так же, как телефонная будка. Так что теперь, даже если у вас есть дополнительные мьютексы, вы можете повторно использовать телефонную будку в любом проекте. Другим вариантом было бы выставить механизмы блокировки для каждого устройства в комнате и управлять замками в классе комнаты. В любом случае, вы не добавите новые блокировки к тому же объекту.
Сан Хасинто
8
Ваш пример потоков C ++ 11 неверен . Так же как и TBB, ключ к названию в замке с ограниченным объемом .
Джонатан Уэйкли
3
Я хорошо знаю оба, @ Джонатан. Вы, кажется, пропустили предложение, которое я написал (could've shown scoped locking by not using acquire and release - which also is exception safe -, but this is clearer. Что касается использования блокировки по областям, то это зависит от разработчика, в зависимости от того, какое приложение они создают. Этот ответ предназначался для понимания базового понимания концепции мьютекса, а не для понимания всех его сложностей, поэтому ваши комментарии и ссылки приветствуются, но немного выходят за рамки данного руководства.
Nav
41

Хотя мьютекс может использоваться для решения других проблем, основная причина, по которой они существуют, заключается в том, чтобы обеспечить взаимное исключение и тем самым решить то, что известно как состояние гонки. Когда два (или более) потока или процесса пытаются получить доступ к одной и той же переменной одновременно, у нас есть потенциал для состояния гонки. Рассмотрим следующий код

//somewhere long ago, we have i declared as int
void my_concurrently_called_function()
{
  i++;
}

Внутренние элементы этой функции выглядят так просто. Это только одно утверждение. Однако типичный эквивалент псевдо-ассемблера может быть следующим:

load i from memory into a register
add 1 to i
store i back into memory

Поскольку все эквивалентные инструкции на языке ассемблера требуются для выполнения операции приращения над i, мы говорим, что приращение i - неатмосичная операция. Элементарная операция - это операция, которая может быть выполнена на оборудовании с гарантией того, что она не будет прервана после начала выполнения инструкции. Инкремент i состоит из цепочки из 3 атомарных инструкций. В параллельной системе, где несколько потоков вызывают функцию, возникают проблемы, когда поток читает или пишет в неправильное время. Представьте, что у нас одновременно работают два потока, и один вызывает функцию сразу после другого. Предположим также, что мы инициализировали значение 0. Также предположим, что у нас много регистров и что два потока используют совершенно разные регистры, поэтому коллизий не будет. Фактическое время этих событий может быть:

thread 1 load 0 into register from memory corresponding to i //register is currently 0
thread 1 add 1 to a register //register is now 1, but not memory is 0
thread 2 load 0 into register from memory corresponding to i
thread 2 add 1 to a register //register is now 1, but not memory is 0
thread 1 write register to memory //memory is now 1
thread 2 write register to memory //memory is now 1

Случилось так, что у нас есть два потока, которые увеличиваются одновременно, наша функция вызывается дважды, но результат несовместим с этим фактом. Похоже, функция была вызвана только один раз. Это связано с тем, что атомарность «нарушена» на уровне машины, то есть потоки могут прерывать друг друга или работать вместе в неподходящее время.

Нам нужен механизм, чтобы решить это. Нам нужно навести порядок в инструкциях выше. Одним из распространенных механизмов является блокирование всех потоков, кроме одного. Pthread мьютекс использует этот механизм.

Любой поток, который должен выполнить некоторые строки кода, которые могут небезопасно изменять совместно используемые значения другими потоками одновременно (используя телефон, чтобы поговорить с его женой), должен сначала получить блокировку на мьютекс. Таким образом, любой поток, которому требуется доступ к общим данным, должен пройти через блокировку мьютекса. Только тогда поток сможет выполнить код. Этот раздел кода называется критическим разделом.

Как только поток выполнил критическую секцию, он должен снять блокировку с мьютекса, чтобы другой поток мог получить блокировку с мьютексом.

Концепция наличия мьютекса кажется немного странной, когда мы рассматриваем людей, которые ищут эксклюзивный доступ к реальным, физическим объектам, но при программировании мы должны быть намеренными. Параллельные потоки и процессы не имеют социального и культурного воспитания, которое мы делаем, поэтому мы должны заставить их обмениваться данными.

Технически говоря, как работает мьютекс? Разве он не страдает от тех же рас, что мы упоминали ранее? Разве pthread_mutex_lock () не немного сложнее простого приращения переменной?

Технически говоря, нам нужна некоторая аппаратная поддержка, чтобы помочь нам. Разработчики оборудования дают нам машинные инструкции, которые делают больше, чем одно, но гарантируют, что они будут атомарными. Классическим примером такой инструкции является тест-набор (TAS). При попытке получить блокировку ресурса мы могли бы использовать TAS, чтобы проверить, равно ли значение в памяти 0. Если это так, это будет нашим сигналом того, что ресурс используется, и мы ничего не делаем (или точнее , мы ждем по какому-то механизму. Мьютекс pthreads поместит нас в специальную очередь в операционной системе и уведомит нас, когда ресурс станет доступным. Более тупые системы могут потребовать, чтобы мы выполняли жесткий цикл вращения, проверяя условие снова и снова) , Если значение в памяти не равно 0, TAS устанавливает местоположение в значение, отличное от 0, без использования каких-либо других инструкций. Это' Это как объединение двух инструкций по сборке в 1, чтобы придать нам атомарность. Таким образом, тестирование и изменение значения (если изменение уместно) не может быть прервано после его начала. Мы можем построить мьютексы поверх такой инструкции.

Примечание: некоторые разделы могут показаться похожими на более ранний ответ. Я принял его приглашение отредактировать, он предпочел оригинальный способ, так что я сохраняю то, что у меня было, и в нем немного словоблудия.

Сан Хасинто
источник
1
Большое спасибо, Сан. Я связал с вашим ответом :) На самом деле, я хотел, чтобы вы взяли мой ответ + ваш ответ и опубликовали его как отдельный ответ, чтобы сохранить поток. Я не против, если вы повторно используете какую-либо часть моего ответа. В любом случае, мы не делаем это для себя.
Nav
13

Лучшее учебное пособие по темам, которое я знаю, находится здесь:

https://computing.llnl.gov/tutorials/pthreads/

Мне нравится, что он написан об API, а не о конкретной реализации, и дает несколько хороших простых примеров, которые помогут вам понять синхронизацию.

R .. GitHub ОСТАНОВИТЬ, ПОМОГАЯ ЛЕД
источник
Я согласен, что это, безусловно, хороший учебник, но на одной странице много информации, а программы длинные. Вопрос, который я разместил, - это мьютексная версия речи «У меня есть мечта», где новички найдут простой способ узнать о мьютексах и понять, как работает неинтуитивный синтаксис (это одно из объяснений, которое отсутствует во всех руководствах) ,
Nav
7

Недавно я наткнулся на этот пост и думаю, что ему нужно обновленное решение для мьютекса c ++ 11 стандартной библиотеки (а именно std :: mutex).

Я вставил немного кода ниже (мои первые шаги с мьютексом - я изучил параллелизм на win32 с HANDLE, SetEvent, WaitForMultipleObjects и т. Д.).

Так как это моя первая попытка с std :: mutex и друзьями, я хотел бы видеть комментарии, предложения и улучшения!

#include <condition_variable>
#include <mutex>
#include <algorithm>
#include <thread>
#include <queue>
#include <chrono>
#include <iostream>


int _tmain(int argc, _TCHAR* argv[])
{   
    // these vars are shared among the following threads
    std::queue<unsigned int>    nNumbers;

    std::mutex                  mtxQueue;
    std::condition_variable     cvQueue;
    bool                        m_bQueueLocked = false;

    std::mutex                  mtxQuit;
    std::condition_variable     cvQuit;
    bool                        m_bQuit = false;


    std::thread thrQuit(
        [&]()
        {
            using namespace std;            

            this_thread::sleep_for(chrono::seconds(5));

            // set event by setting the bool variable to true
            // then notifying via the condition variable
            m_bQuit = true;
            cvQuit.notify_all();
        }
    );


    std::thread thrProducer(
        [&]()
        {
            using namespace std;

            int nNum = 13;
            unique_lock<mutex> lock( mtxQuit );

            while ( ! m_bQuit )
            {
                while( cvQuit.wait_for( lock, chrono::milliseconds(75) ) == cv_status::timeout )
                {
                    nNum = nNum + 13 / 2;

                    unique_lock<mutex> qLock(mtxQueue);
                    cout << "Produced: " << nNum << "\n";
                    nNumbers.push( nNum );
                }
            }
        }   
    );

    std::thread thrConsumer(
        [&]()
        {
            using namespace std;
            unique_lock<mutex> lock(mtxQuit);

            while( cvQuit.wait_for(lock, chrono::milliseconds(150)) == cv_status::timeout )
            {
                unique_lock<mutex> qLock(mtxQueue);
                if( nNumbers.size() > 0 )
                {
                    cout << "Consumed: " << nNumbers.front() << "\n";
                    nNumbers.pop();
                }               
            }
        }
    );

    thrQuit.join();
    thrProducer.join();
    thrConsumer.join();

    return 0;
}
корм для рыб
источник
1
Супер! Спасибо за публикацию. Хотя, как я упоминал ранее, моей целью было просто объяснить концепцию мьютекса. Все другие учебные пособия усложняли работу с добавленными понятиями производителей и переменных состояния и т. Д., Из-за чего мне было очень трудно понять, что происходит на земле.
Nav
4

Функция pthread_mutex_lock()либо получает мьютекс для вызывающего потока, либо блокирует поток, пока мьютекс не будет получен. Связанное pthread_mutex_unlock()освобождает мьютекс.

Думайте о мьютексе как об очереди; каждый поток, который пытается получить мьютекс, будет помещен в конец очереди. Когда поток освобождает мьютекс, следующий поток в очереди отключается и теперь работает.

Критический участок относится к области кода , где недетерминизм возможно. Часто это происходит потому, что несколько потоков пытаются получить доступ к общей переменной. Критическая секция небезопасна, пока не установлена ​​какая-то синхронизация. Блокировка мьютекса - это одна из форм синхронизации.

chrisaycock
источник
1
Гарантируется ли, что именно следующая попытка потока будет введена?
Арсен Мкртчян
1
@ Арсен Нет гарантии. Это просто полезная аналогия.
chrisaycock
3

Вы должны проверить переменную мьютекса перед использованием области, защищенной мьютексом. Таким образом, ваш pthread_mutex_lock () может (в зависимости от реализации) дождаться освобождения mutex1 или вернуть значение, указывающее, что блокировка не может быть получена, если кто-то уже заблокировал ее.

Mutex - это просто упрощенный семафор. Если вы читаете о них и понимаете их, вы понимаете мьютексы. Есть несколько вопросов, касающихся мьютексов и семафоров в SO. Разница между двоичным семафором и мьютексом , когда мы должны использовать мьютекс, когда мы должны использовать семафор и так далее. Пример туалета в первой ссылке примерно такой же хороший пример, как можно себе представить. Весь код проверяет наличие ключа и резервирует его. Обратите внимание, что вы действительно не бронируете сам туалет, а ключ.

Makis
источник
1
pthread_mutex_lockне может вернуться, если кто-то еще держит замок. Это блокирует в этом случае, и в этом весь смысл. pthread_mutex_trylockэто функция, которая будет возвращаться, если блокировка удерживается.
R .. GitHub ОСТАНОВИТЬ ЛЬДА
1
Да, я сначала не понял, что это за реализация.
Макис
3

Для тех, кто ищет пример мьютекса с шортексом:

#include <mutex>

int main() {
    std::mutex m;

    m.lock();
    // do thread-safe stuff
    m.unlock();
}
пустота
источник