문서

서비스

MUSE

Multi-server Unified Service Environment

연구실 계산 서버와 클러스터의 자원·작업·사용자별 사용량을 한 화면에서 관측하는 관리시스템.

MUSE 열기

무엇을 하는 서비스인가

MUSE 는 연구실 계산 서버와 클러스터를 한곳에서 관측하는 관리시스템입니다. 서버마다 CPU·GPU·메모리·저장공간이 얼마나 쓰이고 있는지, 누가 얼마나 쓰고 있는지, 클러스터 대기열에 무엇이 걸려 있는지를 실시간으로 보여 줍니다.

계산을 돌리기 전에 지금 어느 서버가 비어 있는지 확인하는 데 씁니다. 연구실 분석 서비스의 무거운 계산도 제출 전에 이 관측값을 봅니다.

MUSE 는 보기만 합니다. 대시보드에서 작업을 제출하거나 자원을 예약하지 않습니다 — 예약은 클러스터 스케줄러가 합니다.

시작하기 전에 알아야 할 것

연구실 서버 계정으로 로그인합니다. contextBio 통합계정이 아니라, 연구실 계산 서버에 쓰는 계정입니다. 서버 계정이 있어도 접속 허용 명단에 들어 있어야 들어갈 수 있습니다. 로그인이 안 되면 연구실 관리자에게 허용을 요청하십시오.

이 사이트 밖의 시스템입니다. 회사 사이트의 서비스 목록 "관리시스템" 묶음에 있는 MUSE 카드의 서비스 바로가기 를 누르면 MUSE 가 새 탭으로 열립니다. 사이트 안에 MUSE 화면이 따로 있지는 않습니다.

이름이 비슷한 도구와 다릅니다. AURORA의 변이 검출 도구 목록에 있는 MuSE 는 체세포 변이 검출 프로그램으로, 이 시스템과 관계가 없습니다.

쓰는 순서

  1. 사이트 서비스 목록의 MUSE 카드에서 서비스 바로가기 를 누릅니다
  2. 연구실 서버 계정으로 로그인합니다
  3. 대시보드 위쪽의 요약 카드와 이슈 기록에서 지금 문제가 있는 서버가 있는지 봅니다
  4. Slurm 패널에서 클러스터 대기열을 봅니다. 대기 중인 작업에는 기다리는 이유가 함께 나옵니다 — "내 작업이 왜 안 도는가"는 여기서 확인합니다
  5. 추세 차트와 표에서 서버별·사용자별 사용량을 보고 계산을 어디에 둘지 정합니다

화면에서 보는 것

대시보드는 위에서 아래로 이렇게 놓여 있습니다.

자리 보이는 것
요약 카드 전체 현황
이슈 기록 수집 중단, 디스크·메모리 부족, GPU 스로틀링 같은 이상과 그 이력. 긴급한 것은 머리글 아래 빨간 띠로 뜹니다
Slurm 지금 대기열의 실행·대기 작업과 노드 상태
재생 막대와 기간 선택 아래 추세 차트를 과거 시점으로 되돌려 봅니다
추세 차트 사용자별 CPU·메모리·GPU 상위 5명, 서버별 CPU·GPU 사용률
표 사용자별 사용량, 서버별 상태, 서버 사양 목록

대시보드 밖에도 몇 쪽이 더 있습니다 — 서버에 설치된 프로그램 목록, 공유 저장소의 데이터 목록, 서버 운영 규칙, 운영 플레이북.

반드시 알아야 할 것

Slurm 패널의 숫자는 예약이지 측정이 아닙니다. 작업이 요청한 CPU·GPU 를 보여 줄 뿐, 실제로 얼마나 쓰는지는 서버 표의 측정값을 봐야 합니다. 둘이 어긋나는 것이 정상입니다.

끝난 작업의 기록은 없습니다. Slurm 패널은 지금 대기열의 사진입니다. 끝난 작업은 몇 분 뒤 목록에서 사라지고 다시 볼 수 없습니다. 아주 짧은 작업은 갱신 사이에 지나가 아예 안 보일 수도 있습니다.

관측값이 없으면 "비어 있음"이 아니라 "모름"입니다. 수집이 끊긴 서버의 칸이 비어 있어도 그 서버가 놀고 있다는 뜻이 아닙니다. 이슈 기록에 수집 중단이 떠 있는지 함께 보십시오.

클러스터가 GPU 를 격리하지 않습니다. GPU 를 요청하지 않은 작업도 노드의 GPU 를 볼 수 있습니다. 다른 사람의 작업과 GPU 가 겹치는지 서버 표의 측정값으로 확인하십시오.

프로세스 중지는 관리자만 합니다. 관리자 화면에는 서버 전체의 프로세스 목록과 중지 기능이 있지만, 일반 사용자에게는 열리지 않습니다. 멈춰야 할 작업이 있으면 관리자에게 요청하십시오.

소프트웨어 설치 현황

MUSE 의 설치 구성 전부는 이 문서에서 확인하지 않았습니다. 확인된 구성 요소만 적습니다.

구성 요소 무엇에 쓰나 없거나 끊겼을 때 겪는 증상
서버별 수집 에이전트 각 서버의 CPU·GPU·메모리·저장공간과 사용자별 사용량 수집 그 서버가 이슈 기록에 수집 중단으로 뜹니다
Slurm 조회 대기열·노드 상태 Slurm 패널이 "컨트롤러 응답 없음"(빨강) 또는 "미배포"(회색)로 바뀝니다
시계열 저장소 추세 차트 추세 차트 아래에 갱신 실패 문구가 붙습니다. 추세는 최대 15일까지 볼 수 있습니다

막혔을 때 할 일

  1. 패널에 뜬 문구를 그대로 확인합니다 — 빈 표와 "응답 없음"과 "갱신 실패"는 서로 다른 상황입니다
  2. 화면 전체가 열리지 않거나 로그인이 막히면 연구실 관리자에게 알립니다
  3. 특정 서버만 수집 중단이면, 그 서버에 계산을 새로 올리기 전에 관리자에게 상태를 확인합니다

마지막 수정 ·