[풀스택] Application Layer messaging protocol

 

 

 

Kernel vs Application

• 과거 - 전통적인 인터넷 프로토콜은 운영체제 내부 커널에 위치
• 현대 - 운영체제 상위의 어플리케이션 계층으로 주로 제공

 

위치에 따른 장단점?

• 성능 (datarate, memory) 측면
  • 커널의 소프트웨어는 성능도 높고, 검증된 코드
• 개발 및 발전 용이성 (dev & user community) 측면
  • 커널에 코드 넣으려면, OS 회사에 부탁했다
  • 내가 짜서 내가 쓸게, 필요한 사람에게 공개할거야
    
  • 결국 이 용이함에 방점이 찍혔다. 

 

2010년부터 네트워크 기술의 가장 큰 차이점이 드러나기 시작
개발자 입장에서 1~4 layer 접근 -> OS 내부의 코드를 불러 사용했다
운영체제 내부의 소스 코드, 커널 코드를 건드리면 -> MS, 리눅스 파운데이션 허가

그냥 응용(application) 계층에서 통신 프로토콜을 짜자!
리눅스 커널과 무관하게, OS와 독립적으로 사용하자
커널 내부에 존재 X -? 어플리케이션 level
프로그래밍 언어에 STL로 들어가는 경우도 있다.

 

 

 

전통적인 인터넷 프로토콜

• Socket API은 Kernel과 응용 프로그램을 연결하는 고리
• Linux나 Unix를 포함한 POSIX 계열 운영체제는 소켓을 file descriptor로 애플리케이션에 노출함
• read / write 수준의 데이터 처리만 가능 -> 모두 파일처럼 취급
• POSIX 계열의 운영체제에서 소켓은 파일의 한 종류임
• 파일 계층은 단순한 검사만 하고, 파일 구조체에 연결된 소켓 구조체를 사용해서 소켓 함수를 호출함

 

 

 

https://zeromq.org

 

 

 

ZeroMQ (ØMQ, 0MQ, or zmq)

•  Application Layer Messaging Library
• 컴퓨터 간 정보 주고 받기 & 컴퓨터 내 정보 주고받기 (메모리 통신, 프로레스 간 정보 교환) 모두 가능 
• 대부분의 운영체제에 올라갈 수 있도록 포팅 

 

• 1:1 통신 코드를 항상 개발자들이 N:M으로 만들어야 했다
• 이를 제대로 하나 만들자 -> 이것으로 시작된 ZMQ
• N:M 프로그래밍 -> 라이브러리 

 

• zmq pattern
• 본인에게 맞는 그림을 선택
• 1:1 밑바닥부터 올라오는 코드는 안짜도 된다
• 처음부터 N:M을 지원 
  send() -> 알아서 subscriber에게 한번에 메세지를 다 보낸다
  일일이 내가 카운팅하고, 기록하고, 복사하는 행위를 모두 지움
• 1:1부터 N:m, fan-in, fan-out 도 모두 지원
  fan in/out 싹 모아서 주는 것 : divide and conquer
  병렬로 처리된 정보를 하나로 모으는 것
  

 

 

 

Zero Message Queue의 특징

• ZERO means: 
  zero broker (brokerless)
  and zero latency, zero cost (it’s free), zero administration
• 중앙 통제하는 브로커 없이, 정보 보낼 애가 받을 애한테 직접 보내면 됨
  TCP 소켓 프로그래밍 방식과 다르지 않다. 
  cf) 중앙 서버가 있어서 DM 발송 
  -> 사용자에 대한 정보를 갖고 있는 서버가, 나를 대신해서 보내줌 (브로커 0 -> 래빗) 
• High performance asynchronous messaging library
• Aimed at use in distributed or concurrent applications
  중앙 없으니 각자 알아서 하면 됨, 패턴으로 보면 분산 병렬처리 이미 구현됨
• No dedicated message broker 
• Resemble Berkeley socket API
  최대한 버클리 버전 TCP 모사하려고 노력함
  
• Supports messaging patterns: request/reply, publish/ subscriber, and others
• Run over a variety of transports: TCP/UDP, in-process, inter-process, multicast, web socket and more
• Guide for 60+ diagrams and 750 examples (@2021.07)