현재 우리 팀의 Data Version 관리

• 한개의 Dataset version으로 유지되는 프로젝트는 없고 계속해서 Dataset version이 update 되고 있음
• 각 프로젝트 별로 cephfs에 개별로 관리하고 있음
• PIC의 경우 도영님께서 wiki에 정리 한 것 이외에는 프로젝트 ML Engineer만 학습데이터의 형상을 알고 있는 상황
• 추후 신규 입사자가 들어왔을 때 dataset의 위치를 알기 어렵고 Model의 reproduce가 어려운 상황

Data Version Control solution 도입 후 해결하기 바라는 점

• 모든 프로젝트의 Dataset의 version을 한눈에 볼 수 있어야 한다
• 신규입사자가 들어와도 Dataset version별로 model의 reproduce가 용이해야한다
• Data Version Control Solution은 Learning Curve가 적어야 한다
  • Learning Curve가 크다면 배보다 배꼽이 커지는 상황

What is DVC?

• 코드의 version은 Git을 통해 진행을 하고 있다

• DVC 자체에는 version 관리 기능이 없고 git의 revision 기반으로 버전관리를 한다

• Git LFS 와 비슷한 개념이지만 추가로 지원하는 기능들이 있다

  • pipeline
  • python API
  • multi storage support

  

  • Cached stage
    • Shared Cache 기능이 있어 1개의 PM장비에서 사용 할 경우 도움이 되지만 k8s 기반 개발환경을 사용하는 우리팀에는 큰 도움이 안되는 기능
  • LFS 대비 DVC의 장점은?

DVC 사용성

Versioning Data and Models