MLXP 사용하기

MLXP 사용 유의점

⚠️
  • 노트북은 켜져있는거 들어가시면 됩니다.
    만약, 켜져있는게 없으면 알려주세요.
  • 가상환경 이름을 ‘본인 이름 영문 이니셜_연구명(간단히)’ 으로 설정해 주시길 바랍니다.
    ex) ihson_aaai
  • 연구에서 사용하는 dataset은 모두 /irteam/dataset 폴더에 저장해서 실험 진행해 주시길 바랍니다.
  • 기본적으로 1인 1 GPU 이며, GPU 사용 인원이 없을 경우 남는 gpu를 적절히 사용해도 괜찮습니다.
  • GPU 를 모두 사용하고 있을 경우 GPU 하나에 최대 2개까지 연구를 돌릴 수 있도록 하겠습니다.
    이때는 상시 nvidia-smi 명령어를 통해 GPU 사용량 상태를 확인한 후, 사용량이 상대적으로 적은 GPU에 대해서 중복으로 돌려주세요.
    (OOM으로 인한 killed 방지)
  • 서버 Spec (1대당)
    • CPU: 64C/128T
    • 메모리: 2048G
    • GPU: NVIDIA H200 x 8개

접속하기

notion image
본 화면에서, 상단에 ‘gachon’, 나머지 부분에 전달받으신 아이디와 비밀번호를 입력해주시면 됩니다.
notion image
중앙에 Project들이 보입니다. (실제 접속환경과 다를 수 있음)
여기서 aimhi-2 를 눌러 Project에 진입할 수 있습니다.
notion image
들어가시면 이 화면일텐데, 좌측의 Notebooks를 클릭해줍니다.
notion image
Notebook들이 보입니다. 이미지처럼 connect를 눌러 진입해줍니다.
notion image
아마 이런 화면이거나, 다른 사람의 폴더에 들어간 상태일 수 있습니다.
VSC Web환경에 무사히 들어왔습니다.

작업 디렉토리 생성 &가상환경 만들기

  1. 개인 폴더 생성
  2. # mkdir {영어이름명} mkdir jhch # 폴더 생성 확인 ls # 작업 폴더로 이동 cd jhch
    Terminal 창을 열어 작업을 위한 개인 폴더를 생성해줍니다.
  3. 작업 폴더로 이동
  4. notion image
    현재 상태에서는 좌측에 불필요한 폴더들이 보입니다. url 입력창에 방금 만든 폴더 경로를 입력해줍니다.
    (url을 통해 작업할 공간을 옮겨다닐 수 있습니다.)
  5. 가상환경 경로 확인
  6. 작업 폴더에 conda 가상 환경을 만들어 주겠습니다. 먼저, 가상환경 생성 경로를 확인해주세요.
    # conda create -n {영어이름명_env} python={사용할 파이썬 버전} conda config --show envs_dirs
    notion image
    사진처럼 /home/irteam/conda_envs 가 가장 상단에 있는지확인해주세요.
    사진과 다르게 나온다면 꼭 알려주세요.
  7. 가상환경 생성
  8. # conda create -n {영어이름명_env} python={사용할 파이썬 버전} conda create -n jhch_env python=3.10
    conda 가상환경을 생성해줍니다.
    notion image
    이렇게 나오면 됩니다.
  9. 최종 확인
  10. notion image
    가상환경이 /home/irteam/conda_envs/~ 에 잘 저장되었는지 확인해주세요.

TensorBoard

notion image
MLXP는 Model의 학습 모니터링을 TensorBoard를 통해 제공하고 있습니다.
notion image
추가버튼을 누르면 위와 같은 화면이 뜹니다.
  • Name
    Tensorboard의 이름을 지정합니다.
    • Notebook 생성시의 이름과 연결되도록, {이름}-{tag} 형태로 적어주세요.
    • 추가 내용 필요시 {이름}-{tag}-{추가내용} 형태로 작성해주세요.
  • Storage Type
    Tensorboard의 로깅이 저장되는 장소를 정합니다. Volume으로 지정해주세요.
  • Volume
    Volume 이름은 public-workspace 로 지정해주세요.
    • Mountpath는 전체 경로가 아닌, home/irteam이하의 경로를 지정해주면 됩니다.
      ex) 전체 경로가 home/irteam/jhch/logs라면, jhch/logs만 기입.
  • Configurations
    꼭 둘다 체크해주셔야 합니다.
Object Storage/NCloud Storage
엔드포인트를 지정해주면 됩니다.
현재 Object Storage/NCloud Storage 서비스는 따로 제공하지 않고 있습니다.
Volume으로 지정해주세요.