Latency-based congestion detection and control for datacenters

Abstract

인터넷 서비스들이 처리해야 하는 데이터의 규모가 늘어나면서, 데이터 센터의 성장이 급속화되고 있다. 이에 따라 데이터 센터의 내부 네트워크에서 필요한 성능 요구 사항들이 새롭게 생겨났는데, 서비스 사용자들이 경험하는 응답 시간을 줄이기 위해 노드와 노드 사이의 delay를 낮추는 것이 가장 큰 이슈 중 하나로 떠올랐다. 기존의 광역 네트워크에서도 낮은 delay 가 선호되는 것은 당연한 일이었지만, 데이터 센터 네트워크만의 구조적 특징이 delay 문제의 중요성을 더욱 부각시키게 되었다. 데이터 센터 네트워크가 기존의 광역 네트워크로부터 구별되는 가장 큰 차이점은 노드들 사이의 거리가 상대적으로 매우 짧아서 propagation delay가 전체 delay에서 차지하는 비중이 거의 없어진다는 부분이다. 따라서 스위치에서 생기는 queueing delay 가 전체 delaly의 대부분을 차지하게 되고, 이 queueing delay를 줄이는 것이 사용자 경험을 크게 향상시키는 방법이 될 수 있다.

데이터 센터의 queueing delay를 줄이기 위해서 다양한 방법들이 이전 연구에서 제안되었는데, 그 중 가장 대표적인 연구인 DCTCP는 과거의 TCP에서 네트워크 혼잡의 신호로 사용하던 패킷 손실을 대신하여 스위치가 패킷에 마킹을 해주는 ECN 필드를 사용하였다. 이를 통해 네트워크 혼잡을 더 빠르게 알아채고, 실제로 스위치 큐에 쌓여있는 패킷의 수를 추측하여 그에 알맞게 윈도우 크기를 줄이게 되어 네트워크 링크를 100\%로 사용하면서도 스위치 큐를 비교적 낮게 유지할 수 있게 된다. 하지만 이 방식에서는 ECN threshold를 관리자가 설정해주어야 하는 어려움과, 추측한 스위치의 패킷 개수가 부정확할 수 있다는 단점이 존재한다. DCTCP 이외에도 HULL 과 같은 스위치 기반의 솔루션이 존재하지만, 이들은 성능을 얻기 위해 스위치 내부를 수정해야하기 때문에, 실제 네트워크에 구현해서 사용하기에 어려움이 따른다.

본 연구에서는 end-to-end delay 측정을 통하여 데이터 센터 네트워크에서 스위치의 큐 길이를 더욱 정확하게 알아내고, 이 정보를 이용하여 데이터 센터 네트워크의 queueing delay 를 효과적으로 줄일 수 있는 새로운 알고리즘인 DX를 제안한다. 먼저 end-to-end delay 측정값으로부터 스위치 큐 길이를 알아내기 위해서, 우리는 스위치 큐가 아닌 다른 곳으로부터 나오는 delay, 즉 네트워크가 아닌 호스트에서 발생되는 delay 를 최대한 제거하는 측정 방식을 택하였다. 호스트에서 발생되는 delay 를 네트워크 delay로 잘못 받아들일 경우, 스위치의 큐를 실제보다 크게 측정하게 되는 오류가 생길 수 있다. 호스트 delay 를 제거하기 위하여 우리는 우선 커널 수준이 아닌 드라이버 수준에서 패킷 타임 스탬핑을 하였고, 더 나은 성능을 위해 패킷이 네트워크 인터페이스 카드 (NIC) 를 빠져나가기 직전인 하드웨어 수준에서의 타임 스탬핑도 구현해 테스트 하였다. 이에 추가로 burstiness 로부터 오는 순간적인 delay와 하드웨어 DMA 로부터 발생하는 delay 보정 기술을 개발하였고, 그 결과 10Gbps 링크 실험의 경우 드라이버 수준 측정에서 2us의 오차, 하드웨어 수준 측정에서 500ns의 오차로 네트워크 delay 를 측정할 수 있게 되었다. 이처럼 정확하게 측정된 queueing delay를 이용하여 우리는 DX라는 새로운 네트워크 혼잡 제어 알고리즘을 개발하였다...