MPI programming with c/c++ part 1

MPI 란

→ 메모리를 공유하는 유무에 따라 나뉜다고 합니다.

설치 종류

• MPI program을 빌드하면 별도의 컴파일러가 필요합니다.
• c : mpicc
• c++ : mpicxx
• fortran : mpifort

위 언어에 따른 컴파일러를

구동 방식

• MPI 프로그램을 빌드를 진행하는데 저는 mpic++를 사용했습니다. (cpp 파일)

mpic++ -o [실행 파일 이름] [소스코드]

• 빌드 후 mpiexec나 mpirun로 실행합니다.
• 이때 -n 라는 옵션을 통해서 프로세스 개수를 지정해줄 수 있습니다.

mpirun -n [프로세스 개수][실행파일 이름][명령 인자들]

초기화 및 process rank

• MPI programming에서는 MPI_Init과 MPI_Finalize 라는 함수가 초기화와 종료를 담당합니다.

#include <iostream>
#include<string.h>
// MPI 헤더 파일
#include<mpi.h>

int n_size_;  // 프로세스의 총 갯수
int n_rank_;  // 각 프로세스에 부여된 랭크

int main(int argc, char *argv[]) {
    // MPI 초기화
    MPI_Init(&argc, &argv);

    // 프로세스 총 갯수 및 각 프로세스의 랭크
    MPI_Comm_size(MPI_COMM_WORLD, &n_size_);
    MPI_Comm_rank(MPI_COMM_WORLD, &n_rank_);

    if (n_rank_ == 0) {
        // 랭크가 0 인 프로세스
        std::cout << "We have " << n_size_ << " processess."<< std::endl;
    }

    // 모든 프로세스가 여기에 도달할 때 까지 대기
    MPI_Barrier(MPI_COMM_WORLD);

    // Hello World!
    std::cout << " [Processor "<<  n_rank_ << "}. Hello world!"<< std::endl;

    // MPI 종료
    MPI_Finalize();

    return 0;
}

1. MPI_Init 함수
• 명령행 인자들이 들어오면 포인터를 인자로 넘겨줍니다.

2. 프로세스의 rank는 프로세스에게 부여되는 고유 번호라고 생각하면 됩니다.
• 0에서 시작해서 프로세스 총 개수 -1 까지입니다.
• n_rank_는 총 rank의 개수
• n_size_는 모든 프로세스가 동일하게 갖는 값
• 위 2개의 변수 모두 프로세스의 고유 번호 및 개수와 관련된 값입니다.

MPI_Comm_size(MPI_COMM_WORLD, &n_size_);
MPI_Comm_rank(MPI_COMM_WORLD, &n_rank_);

• MPI 함수와 같이 위에 값들을 선언해 준다.
• MPI_COMM_WORLD는 MPI에서 커뮤니케이터의 역할을 수행하는 한 종류의 커뮤니케이터
• communicator란 서로 데이터를 주고 받는 프로세스들의 집합체
• 즉, 모든 프로세스들은 MPI_COMM_WORLD에 소속되어 데이터를 주고받습니다.

3. 총 process 개수 출력
• 프로세스의 총 개수를 출력하고 싶으면 rank가 0인 경우에만 출력할 수 있도록 구현했습니다.
• 한 번만 알면 되기 때문입니다.

4. MPI barrier를 통해 얻을 수 있는 효과
• 총 프로세스의 개수를 무조건 먼저 출력하고 난 후, 고유 프로세스들마다 print를 하고 싶으면 MPI_barrier를 사용합니다.
• 이를 통해 MPI_Barrier 구문에 모든 프로세스가 도착하기 전까지 다들 대기합니다.

5. MPI_Finalize
• MPI 종료의 역할을 담당합니다.

P2P 통신 방법

프로세스 간의 데이터 통신

• Send 와 Recv는 MPI의 기본 개념입니다.
• MPI의 모든 단일 기능은 전송과 호출을 통해 구현할 수 있다고 하네요!

• 다음과 같은 순서로 실행됩니다.
1. 프로세스 A는 프로세스 B에 메세지를 보내야한다고 결정되었습니다.
2. 프로세스 A는 필요한 모든 데이터를 buffer에 압축합니다.
• 여기서 데이터 압축 전에 쓰이는 buffer를 envelopes 이라고 부릅니다.
• 전송 전 단일 메세지를 데이터가 buffer에 압축한 뒤 communication device(네트워크)는 메세지를 적절한 위치로 라우팅하는 역할을 합니다.

• MPI_send, MPI_Recv의 함수 인자 부분을 살펴보겠습니다.

MPI_Send(
    void* data,
    int count,
    MPI_Datatype datatype,
    int destination,
    int tag,
    MPI_Comm communicator)

MPI_Recv(
    void* data,
    int count,
    MPI_Datatype datatype,
    int source,
    int tag,
    MPI_Comm communicator,
    MPI_Status* status)

• 여기서 주목해야 할 부분은 dataType입니다. MPI에서 쓰이는 data Type은 아래와 같습니다.



• 여기에 제공된 기본적인 data type 이외에 custom data type을 정의해서 통신에 사용할 수 있습니다. 이 실습은 추후에 따로 포스팅 해보겠습니다.

MPI send, recv program 예시

int world_rank;
MPI_Comm_rank(MPI_COMM_WORLD, &world_rank);
int world_size;
MPI_Comm_size(MPI_COMM_WORLD, &world_size);

int number;
if (world_rank == 0) {
    number = -1;
    MPI_Send(&number, 1, MPI_INT, 1, 0, MPI_COMM_WORLD);
} else if (world_rank == 1) {
    MPI_Recv(&number, 1, MPI_INT, 0, 0, MPI_COMM_WORLD,
             MPI_STATUS_IGNORE);
    printf("Process 1 received number %d from process 0\n",
           number);
}

1. MPI_Comm_rank, MPI_COMM_Size는 process rank와 world_size 를 결정하는데 쓰입니다.

2. 우선 world_rank가 0이라면 전송할 number를 -1로 정의하고 1번 process로 보냅니다.
• 이때 number의 주소값을 MPI_INT로 명시해서 보냅니다.

3. 그리고 world rank 1이라면 0번째로부터 오는 MPI_INT 타입의 데이터를 가져옵니다.

ping pong program 예시

int ping_pong_count = 0;
int partner_rank = (world_rank + 1) % 2;
while (ping_pong_count < PING_PONG_LIMIT) {
    if (world_rank == ping_pong_count % 2) {
        // Increment the ping pong count before you send it
        ping_pong_count++;
        MPI_Send(&ping_pong_count, 1, MPI_INT, partner_rank, 0,
                 MPI_COMM_WORLD);
        printf("%d sent and incremented ping_pong_count "
               "%d to %d\n", world_rank, ping_pong_count,
               partner_rank);
    } else {
        MPI_Recv(&ping_pong_count, 1, MPI_INT, partner_rank, 0,
                 MPI_COMM_WORLD, MPI_STATUS_IGNORE);
        printf("%d received ping_pong_count %d from %d\n",
               world_rank, ping_pong_count, partner_rank);
    }
}

1. ping_pong_count가 0에서 시작해서 PING_PONG_LIMIT 전까지 실행하는 것을 볼 수 있습니다.

2. 전송을 맡은 if문에서는 ping_pong_count 변수를 전송하는 것을 볼 수 있습니다.

3. 반대로 전송을 받은 else 에서는 rank와 count 그리고 전송한 rank를 출력합니다.

Ring program

int token;
if (world_rank != 0) {
    MPI_Recv(&token, 1, MPI_INT, world_rank - 1, 0,
             MPI_COMM_WORLD, MPI_STATUS_IGNORE);
    printf("Process %d received token %d from process %d\n",
           world_rank, token, world_rank - 1);
} else {
    // Set the token's value if you are process 0
    token = -1;
}
MPI_Send(&token, 1, MPI_INT, (world_rank + 1) % world_size,
         0, MPI_COMM_WORLD);

// Now process 0 can receive from the last process.
if (world_rank == 0) {
    MPI_Recv(&token, 1, MPI_INT, world_size - 1, 0,
             MPI_COMM_WORLD, MPI_STATUS_IGNORE);
    printf("Process %d received token %d from process %d\n",
           world_rank, token, world_size - 1);
}

1. rank가 0이 아니라면 world rank가 0인 프로세스로부터 token이라는 INT 값을 읽어서 출력합니다.

2. world rank가 0이라면 token에 -1을 넣습니다.

3. 중간 줄에 있는 MPI_Send에서 저희는 +1로 된 프로세스에 값을 send하는 것을 볼 수 있습니다.

4. 프로그램은 프로세스 0이 마지막 프로세스(n-1번째)로부터 값을 시도하기 전에 첫 번째 전송이 완료되었는지 확인합니다.

MPI broadcast & Collective communication

broadcast 전에 동기화

MPI_Barrier(MPI_Comm communicator)

시간 순으로 보는 동기화 과정

• 해당 사진 자료는 MPI_Barrier의 역할을 볼 수 있는 자료입니다.

1. T1 에서 Process 0는 먼저 MPI_Barrier를 만나지만, 아직 다른 프로세스들이 이 함수를 호출하지 않아서 기다립니다.

2. T2 에는 1,3 프로세스도 0번과 동일한 상태가 됩니다.

3. T3 에서 2번도 함수를 호출하여 이제 4개의 프로세스가 모두 호출한 상태입니다.

4. T4 에서 모든 프로세스가 같이 다음 코드를 실행하는 것을 볼 수 있습니다.

MPI_Broadcast로 broadcast

1. 병렬 프로그램에서 입력을 넣어줄 때

2. 모든 프로세스에게 config 인자들을 넘겨줄 때

1. root process의 경우 다른 process 들에게 데이터를 전달해 줍니다.

2. receive 역할의 프로세스로서 root process로부터 데이터를 받을 수 있습니다.

MPI_Send, MPI_Recv를 활용한 Broadcasting

void custom_bcast(void* data, int count, MPI_Datatype datatype, int root,
              MPI_Comm communicator) {
  int world_rank, world_size;
  MPI_Comm_rank(communicator, &world_rank);
  MPI_Comm_size(communicator, &world_size); 

  if (world_rank == root) { // if root
    for (int i = 0; i < world_size; i++) {
      if (i != world_rank) {
        MPI_Send(data, count, datatype, i, 0, communicator);
      }
    }
  } else { // not root 
    MPI_Recv(data, count, datatype, root, 0, communicator,
             MPI_STATUS_IGNORE);
  }
}
// Use Below commands
// mpic++ -o test2 broadcast.cpp
// mpirun -n 4 ./test2 

1. size와 rank를 초기화해주고

2. 조건문을 통해서 process rank에 따른 root 프로세스와 root 외 프로세스를 구별해서 값을 보내는 경우와 받는 경우로 나뉩니다.

더 효율적인 broadcast 방식

• custom_broadcast의 경우
• 이 방법의 경우 선형적인 시간복잡도를 갖게 됩니다.

• tree 기반 broadcast인 경우



• 해당 방법의 시간 복잡도는 tree 기반이게 아래와 같습니다.
• 간단한 설명
1. step 1번 때, Pid 0에서 1 프로세스에게 값을 전달합니다.
2. step 2번 때, Pid 0은 2, pid 1은 3에게 값을 전달합니다.
3. 모든 프로세스는 값을 다 받을 때까지 step i번 때마다 전달합니다.

그래서 얼마나 더 효율적?

process들의 개수가 많아질 수록 MPI_Bcast인 tree 방식이 더 빠른 것을 알 수 있습니다.

Tutorials · MPI Tutorial

Welcome to the MPI tutorials! In these tutorials, you will learn a wide array of concepts about MPI. Below are the available lessons, each of which contain example code.

https://mpitutorial.com/tutorials/

Broadcasting - Introduction to MPI

Explore this playground and try new concepts right into your browser

https://www.codingame.com/playgrounds/349/introduction-to-mpi/broadcasting