어쨌건간에 흘러가는 者

명시적 멀티스래딩의 방법
- 멀티스래드 프로세서는 동시에 실행될 각 스래드를 위해 별도의 Program Counter가 제공어야 하며, 넓게 보아 네가지 주요 방법이 존재한다.

interleaved multithreading
프로세서는 한번에 두 개 혹은 그 이상의 스래드를 다루며, 각 클록 사이클마다 어느 한 스래드로부터 다른 스래드로 스위칭한다. fine-grain multithreading이라고도 한다.

blocked multithreading
스래드의 명령어들은 cache miss와 같이 latency를 유발하는 사건이 발생할 때까지 연속해서 실행되고, 사건 발생 시 다른 스래드로 스위치된다. coarse-grain multithreading이라고도 부른다.

simultaneous multithreading: SMT
명령어들이 다수의 스래드로부터 수퍼스칼라 프로세서의 실행 유닛들로 동시에 발송(issue)된다. 넓은 수퍼스칼라 명령어 발송 능력과 다수의 thread context의 결합 형태이다. intel사의 Hyperthreading은 두 개의 스래드를 지원하는 SMT이다.

chip multiprocessing
전체 프로세서가 하나의 칩에 중복되어 들어가며, 각 프로세서는 별도의 스래드들을 처리한다. 파이프라인 설계에서 복잡도가 증가되는 것과는 상관없이 칩 상의 이용 가능한 영역이 효과적으로 사용될 수 있다는 장점이 있다. multicore(또는 chip level multiprocessing; CMP)가 여기에 속한다(?).

스칼라 프로세서의 경우
- 멀티스래딩을 지원하지 않는 단일 스래드 스칼라, interleaved multithreaded scalar, blocked multithreaded scalar가 있다.
다중 명령어 프로세서의 경우
- multithreading을 지원하지 않는 수퍼스칼라, 의존성으로 인해 사이클 당 발송 가능 명령어 수가 제한 받는 interleaved multirheading 수퍼스칼라, blocked multithreaded 수퍼스칼라, 단일 word에 여러 명령어가 담기도록 컴파일러에 의해 구성되는 VLIW(Very Large Instruction Word), interleaved multithreading VLIW, blocked multithreaded VLIW가 있다.
여러 스래드의 병렬적, 동시적 실행의 경우
- simultaneous multithreading, (그림의 경우) 각기 2-발송 수퍼스칼라 프로세서이자 각각의 스래드가 사이클 당 두 개의 명령어 발송이 가능한 chip multiprocessor가 있다.

reference:
컴퓨터시스템구조론 7판. William Stallings저, 김종현 역

메모리와 통신
- 병렬 컴퓨터에서 주기억 장치는 (단일 주소 공간 내에서 모든 프로세스 요소가 공유되는) 공유 메모리 형태와 각각의 프로세스 요소가 자신만의 지역 주소 공간을 갖는 분산 메모리(distributed memory) 형태로 분류된다. 분산 메모리란 메모리가 논리적으로 분산됨을 의미하지만 종종 물리적으로 분리됨을 암시하기도 한다. 분산 공유 메모리(distributed shared memory)는 이들 두 방식이 혼합된 것으로서, 프로세싱 요소는 자신만의 지역 메모리 뿐 아니라 비지역적 프로세서의 메모리에 에 액세스하기도 한다.

모든 주 메모리에 동일한 지연률(latency)와 대역폭(bandwidth)으로 액세스 가능한 컴퓨터 아키텍처는 Uniform Memory Access(UMA) 시스템이라 하며 통상 (물리적으로 분산되지 않은) 공유 메모리 시스템이 여기에 속한다. 또한 이러한 속성을 지니지 않은 아키텍처는 Non-Uniform Memory Access(NUMA)로 알려져 있다. 분산 메모리 시스템은 NUMA에 속한다.

병렬 컴퓨터에서는 하나 이상의 위치에 동일한 값을 저장하는 캐시(cache)를 구성하기가 어려우며, 이로 인해 잘못된 연산을 수행할 여지가 많다. 이러한 컴퓨터는 캐시 값을 추적하고 전략적으로 일소(purge)함으로 캐시 일관성을 이루는 cache coherency 시스템을 필요로 하며, Bus snooping(sniffing)은 이를 구현하는 가장 흔한 방법중 하나이다. 하지만 대규모의 고성능 캐시 일관성(cache coherence) 시스템 설계는 매우 어려우므로, 공유 메모리 컴퓨터 아키텍처는 분산 메모리 시스템에 비해 규모 확장이 어렵다.

프로세서 대 프로세서, 프로세서 대 메모리간 통신 H/W는 여러가지 방법으로 구현 가능하며, 그 방법으로서 공유(multiported, multiplexed) 메모리 기법 뿐 아니라 공유 버스 또는 star, ring, tree, hypercube, n-dimensional mesh 등의 여러 topology를 통해 상호 연결된 네트워크가 사용된다.

병렬 컴퓨터의 종류(classes of parallel computers)
- 병렬 컴퓨터는 하드웨어가 지원하는 병렬성의 수준에 따라 분류가 가능하다. 본 분류법은 기본 컴퓨팅 노드 간의 거리와도 얼마간 유사한 특징을 보이기도 하는데, mutually exclusive하지 않다는 데 주의하자. 예를 들어 SMP로 이루어진 클러스터가 있다.

1. 다중코어 컴퓨팅(multicore computing)
- 멀티코어 프로세서는 여러 실행 유닛(execution unit; core)로 이루어진 프로세서이다. 다중코어 프로세서는 수퍼스칼라 프로세서와는 다르다. 단일 사이클 당 여러 명령어를 실행하는 것은 동일하지만, 수퍼스칼라 프로세서는 하나의 명령어 스트림(thread)에서 처리하는 반면 다중코어 프로세서는 여러 명령어 스트림에서 명령어를 처리하기 때문이다. 각각의 코어는 잠재적으로 수퍼스칼라가 될 수도 있다.
(인텔의 HyperThreading으로 잘 알려진) 동시적 다중스래딩(simultaneous multithreading; SMT)은 가상 멀티코어(pseudo-multicoreism)의 초기 형식이다. 여러 명령어 스트림에서 명령어를 동시에 발송(issue)한다. 기본적으로 superscalar 구조를 요구한다. 반면 이에 대칭되는 형식을 가리켜 Temporal multithreading이라 하며 한번에 하나의 명령어 스트림에서 명령어를 발송한다.

참고) 이탤릭체의 내용은 Wikipedia의 내용이 잘못되어 수정한 것임. reference : William Stallings' 컴퓨터시스템구조론 7E, Simultaneous multithreading. Wikipedia

2. 대칭적 다중프로세싱(Symmetric multiprocessing: SMP)
SMP는 메모리를 공유하면서 버스를 통해 연결된 다수의 동일한 프로세서로 구성된 컴퓨터 시스템이다. 버스 경합(bus contention)으로 인해 버스 아키텍처는 확장이 어렵기 때문에, SMP는 일반적으로 32개 프로세서를 넘어서 구성되지 않는다.

분산 컴퓨팅(distributed computing)
(분산 메모리 다중 프로세서라고도 불리는) 분산 컴퓨터는 프로세싱 요소가 네트워크를 통해 연결된 분산 메모리 컴퓨터 시스템이다. 분산 컴퓨터는 확장에 매우 유리하다(highly scalable).

3. 클러스터 컴퓨팅(cluster computing)
클러스터는 가까이서 함께 동작하는 loosely coupled 컴퓨터의 그룹이지만 여러 면에서 보았을 때 이들은 단일 컴퓨터로 볼 수 있다. 클러스터는 네트워크로 연결된 여러 standalone 머신으로 구성된다. 클러스터 내의 머신은 대칭적일 필요는 없지만 이 경우 부하 분산(load balancing)이 더 어렵다.
가장 유명한 클러스터는 베오울프 클러스터(Beowulf cluster)로 이 클러스터는 TCP/IP 이더넷 랜으로 연결되어 있다. 또한 수퍼컴퓨터의 TOP500의 대다수가 클러스터이다.

4. 대규모 병렬 프로세싱(Massive Parallel Processing: MPP)
MPP는 네트워크로 연결된 매우 많은 수의 프로세서로 이루어진 단일 컴퓨터이다. MPP는 여러 면에서 클러스터와 비슷하지만 종종 프로세서 수가 100개를 훌쩍 넘어선다. MPP에서 각각의 CPU는 자신만의 메모리뿐 아니라 OS와 응용 프로그램의 복사본을 갖는다. 각각의 서브시스템은 high-speed interconnect를 통해 연결되어 있다.
TOP500의 수퍼컴퓨터 중 가장 빠른 Blue Gene/L이 바로 MPP이다.

5. 그리드 컴퓨팅(Grid computing)
그리드 컴퓨팅은 가장 분산된 형태의 병렬 컴퓨팅이다. 그리드 컴퓨팅은 특정 문제를 해결하기 위해 (수마일 이상 떨어진) 인터넷을 통해 연결된 컴퓨터를 사용한다. 인터넷은 낮은 대역폭과 극단적으로 높은 지연율이 생길 수 있으므로 통상 그리드 컴퓨팅은 오직 난해한 병렬 문제(embarrassingly parallel problem)를 다루는 데 사용한다. 많은 수의 그리드 컴퓨팅 응용이 만들어졌으며, SETI@home과 Folding@Home은 대표적인 예이다.
대부분의 그리드 컴퓨팅 응용이 미들웨어를 사용하여 네트워크 리소스 관리와 그리드 컴퓨팅 응용을 위한 소프트웨어 인터페이스의 표준화를 이룬다. 또한 그리드 컴퓨팅 소프트웨어는 CPU의 유휴 사이클(spare cycle)을 이용한다.

특화된 병렬 컴퓨터 - Vector Processors
벡터 프로세서(vectro processor)는 하나의 명령어로 큰 크기의 데이터 집합을 처리할 수 있는 컴퓨터 시스템 혹은 CPU로서, 수치 또는 벡터로 이루어진 선형 배열을 다루는 고성능 연산 시스템이다. 벡터 연산의 예로서, A = B x C에서 A, B, C 모두 64개의 64비트 소수점 수로 이루어진 벡터 연산이 되겠다. Flynn의 분류 체계 상 SIMD에 매우 가깝다.

소프트웨어
- 병렬 컴퓨터를 위한 여러 병행 프로그래밍 언어(concurrent programming language), 라이브러리, API, 병렬 프로그래밍 모델이 존재하며, 일반적으로 기반 메모리 아키텍처(공유 메모리, 분산 메모리, 공유 분산 메모리)에 따라 분류된다. 공유 메모리 프로그래밍 언어는 공유 메모리 변수를 통해, 분산 메모리의 경우는 메시지 전달(message passing)을 통해 통신을 이룬다. POSIX 스래드와 OpenMP는 공유 메모리 API에서, Message Passing Interface(MPI)는 메시지 전달 시스템 API에서 가장 폭넓게 사용된다.

reference:
Parellel Computing. Wikipedia