Markov decision process based inventory management with multiple suppliers and supply/demand uncertainty

Abstract

공급 사슬 (supply chain) 이란 원자재를 제공하는 공급자에서부터 이를 유용한 제품으로 생산하고 소비자에게 전달하는 모든 과정을 의미하고, 이 과정에서 이윤을 최대로 하기 위해서 (또는 비용을 최소로 하기 위해서) 다양한 의사결정이 이루어지는데 이를 공급 사슬 계획 (supply chain planning) 이라고 한다. 본 연구에서는 공급 사슬 생산단계로 들어가는 재료를 효율적이고 지속적으로 관리하기 위한 원자재 조달 (procurement) 시스템의 일환으로서 원자재의 재고관리 문제를 다루었다. 이러한 재고관리 문제는 다단계로 이루어지는데, 시간단위에 따라서 더 세분화 될 수 있다. 공급자를 선택하고 주문정보를 결정하는 planning은 비교적 긴 시간단위인 달마다 이루어지는 반면, 주문 정보를 바탕으로 더 자세한 선적스케줄을 정하는 scheduling은 더 빠른 시간단위인 주나 일로 이루어진다. 재고관리는 수요와 공급을 기반으로 이루어지는데, 실제 공정에서는 수요와 공급에 불확실성이 존재하기 때문에 결정론적 알고리즘이나 rule을 기반으로 한 heuristic한 접근방식은 불확실성에 의해 차선책 (sub-optimal), 또는 실행불가능 (infeasible)한 해가 되어 지속적인 공정 운영을 제한한다. 또한, 다양한 공급자를 함께 고려할 때 여러 가지 기준들이 함께 고려되어 공급자의 기능을 평가하고 이를 바탕으로 공급자를 선택하는데 이는 다기준 (multi-criteria) 결정문제가 되어 하나 이상의 해를 제공한다. 따라서, 이러한 문제들을 모두 고려한 최적화 기반의 체계적인 공정운전 전략이 필요하다. 이에 본 연구에서는 수요와 공급의 불확실성을 확률론적으로 모델링하고 시스템의 상태를 기반으로 모든 확률적 가능성을 고려하여 최적의 의사결정 정책을 제시하는 Markov 결정 프로세스 (Markov decision process)를 이용하여 앞서 정의한 원자재 재고관리 문제를 구성하였다. 이는 일반적으로 동적 프로그래밍 (dynamic programming)을 이용해서 푸는데, 원자재 구입 planning과 scheduling의 사례 연구를 통해서 기존의 결정론적 알고리즘이나 rule기반의 heuristic한 방법에 비해 외부환경 (수요와 공급) 변화에 더 강건하고 유연한 해를 얻는 것을 확인할 수 있었다. 또한, 동적 프로그래밍의 결정적 단점인 계산시간을 줄이기 위해서 다양한 근사적인 기법이 사용된 근사적 동적 프로그래밍 (approximate dynamic programming)을 적용하였고, 이를 통해 목적함수의 손실과 계산시간 사이의 tradeoff를 적절히 고려한 새로운 대안을 제시하였다. 추가적으로, 서로 다른 시간 단위를 가지는 결정문제를 효율적으로 통합하는 이슈에 대해서 논의하고 이를 바탕으로 앞으로의 연구방향을 제시하였다. 각각의 문제가 서로 다른 시간 단위 내에서 실현되는 현재의 계층적 구조에서는 각 층 간의 소통이 원활하지 않고 또 상반되는 결론을 가질 수도 있다. 예를 들어 하위단계에서 발생한 예상치 못한 불확실성이 상위 단계에 영향을 미칠 수 있으므로, 효율적이고 지속 가능한 공정 운영을 위해서는 이러한 이슈가 중요해지고 있다.