About Algorithm team - Model Compression Part

• LLM Quantization이 추론 효율성을 극대화할 수 있다는 점은 널리 알려져 있습니다. 그러나 이를 실제 서비스에 적용하는 것은 여전히 어려운 과제입니다. Model Compression Part는 사용자 친화적인 Model Compression 도구를 개발해 이러한 어려움을 해결하고, 고객이 자사 NPU를 최고의 효율로 활용할 수 있도록 지원하는 것을 목표로 합니다.

• Model Compression 도구가 Hardware-specific 최적화를 포함할 때, 효율성을 극대화할 수 있습니다. 우리는 이러한 요구를 충족하기 위해 자사 NPU에 특화된 최적화 기능을 갖춘 자체 도구를 개발하였으며, 이를 통해 NPU의 성능을 최대로 끌어올릴 수 있는 필수 소프트웨어 스택을 제공합니다.

• FuriosaAI Model Compression 도구는 자동화, 확장성, 안정성을 지속적으로 개선하면서 점점 더 많은 기능이 요구됩니다. 이에 따라 소프트웨어 엔지니어링 역량이 매우 중요한 상황입니다. 따라서 풍부한 소프트웨어 엔지니어링 경험을 보유하고 있으며, Model Compression 엔지니어로서 커리어를 발전시키고자 하는 인재를 찾고 있습니다.

Responsibilities

• Model Compression 도구 개발
  

• 다양한 양자화된 모델 확보 및 성능 검증

• 이를 기반으로 더 진보된 Compression Algorithm개발

Minimum Qualifications

• PyTorch 개발 경험이 풍부하신 분

• 상용 소프트웨어 개발 경험이 있으신 분

• 관련 분야에서 4년 이상의 실무 경력을 보유하신 분

Preferred Qualifications

• DevOps 및 MLOps에 대한 경험과 지식

• vLLM, TensorRT-LLM 등의 LLM inference tool을 사용한 경험

• Deep Learning Quantization 경험과 지식

• Deep Learning 가속과 관련된 회사에서의 근무 경험

Contact

• minsup.lee@furiosa.ai