upstage에서 제공한 remote 서버 스펙

root@instance-9263:~# lscpu
Architecture:                       x86_64
CPU op-mode(s):                     32-bit, 64-bit
Byte Order:                         Little Endian
Address sizes:                      43 bits physical, 48 bits virtual
CPU(s):                             48 (논리적 코어)
On-line CPU(s) list:                0-47
Thread(s) per core:                 2 (하이퍼스레 지, 2개의 thread로 동작)
Core(s) per socket:                 24 (물리적코어)
Socket(s):                          1
NUMA node(s):                       1
Vendor ID:                          AuthenticAMD
CPU family:                         23
Model:                              49
Model name:                         AMD Ryzen Threadripper 3960X 24-Core Processor
Stepping:                           0
Frequency boost:                    enabled
CPU MHz:                            2196.054
CPU max MHz:                        3800.0000
CPU min MHz:                        2200.0000
BogoMIPS:                           7600.14
Virtualization:                     AMD-V
L1d cache:                          768 KiB
L1i cache:                          768 KiB
L2 cache:                           12 MiB
L3 cache:                           128 MiB
NUMA node0 CPU(s):                  0-47
Vulnerability Gather data sampling: Not affected
Vulnerability Itlb multihit:        Not affected
Vulnerability L1tf:                 Not affected
Vulnerability Mds:                  Not affected
Vulnerability Meltdown:             Not affected
Vulnerability Mmio stale data:      Not affected
Vulnerability Retbleed:             Vulnerable
Vulnerability Spec store bypass:    Mitigation; Speculative Store Bypass disabled via prctl and seccomp
Vulnerability Spectre v1:           Mitigation; usercopy/swapgs barriers and __user pointer sanitization
Vulnerability Spectre v2:           Mitigation; Retpolines, IBPB conditional, STIBP conditional, RSB fill
                                    ing, PBRSB-eIBRS Not affected
Vulnerability Srbds:                Not affected
Vulnerability Tsx async abort:      Not affected
Flags:                              fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse
                                    36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rd
                                    tscp lm constant_tsc rep_good nopl nonstop_tsc cpuid extd_apicid aper
                                    fmperf pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 movbe popcn
                                    t aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy
                                     abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext 
                                    perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpb cat_l3 cdp_l3 hw
                                    _pstate ssbd mba ibpb stibp vmmcall fsgsbase bmi1 avx2 smep bmi2 cqm 
                                    rdt_a rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 
                                    xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local clzero irper
                                    f xsaveerptr wbnoinvd arat npt lbrv svm_lock nrip_save tsc_scale vmcb
                                    _clean flushbyasid decodeassists pausefilter pfthreshold avic v_vmsav
                                    e_vmload vgif umip rdpid overflow_recov succor smca sme sev sev_es

 

 

root@instance-9263:~# nvidia-smi
Fri Jul 26 23:16:10 2024       
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.86.10              Driver Version: 535.86.10    CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 3090        On  | 00000000:4B:00.0 Off |                  N/A |
| 38%   27C    P8              23W / 350W |  17190MiB / 24576MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
                                                                                         
+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
+---------------------------------------------------------------------------------------+

 

 

root@instance-9263:~# free -h
              total        used        free      shared  buff/cache   available
Mem:          251Gi        12Gi       182Gi       583Mi        56Gi       236Gi
Swap:            0B          0B          0B

 

 

apt-get update
apt-get install cgroup-tools
cgget -g memory:/

cgroup은 "control groups"의 약자로, 리눅스 커널의 기능 중 하나입니다. 이 기능은 프로세스 그룹의 자원 사용량(예: CPU, 메모리, 디스크 I/O 등)을 관리하고 제한하는 데 사용됩니다. cgroup은 시스템 자원을 세분화하여 할당하고, 특정 프로세스 그룹의 리소스 사용을 강제로 제한할 수 있도록 도와줍니다. 이는 시스템의 안정성과 효율성을 높이는 데 크게 기여합니다.

 

root@instance-9263:~# apt-get update
Get:1 http://security.ubuntu.com/ubuntu focal-security InRelease [128 kB]
Hit:2 http://archive.ubuntu.com/ubuntu focal InRelease   
Get:3 http://archive.ubuntu.com/ubuntu focal-updates InRelease [128 kB]
Get:4 http://security.ubuntu.com/ubuntu focal-security/universe amd64 Packages [1252 kB]
Hit:5 http://archive.ubuntu.com/ubuntu focal-backports InRelease
Get:6 http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages [4302 kB]
Get:7 http://archive.ubuntu.com/ubuntu focal-updates/universe amd64 Packages [1539 kB]
Fetched 7348 kB in 4s (1891 kB/s)                         
Reading package lists... Done
root@instance-9263:~# apt-get install cgroup-tools
Reading package lists... Done
Building dependency tree       
Reading state information... Done
The following additional packages will be installed:
  libcgroup1
The following NEW packages will be installed:
  cgroup-tools libcgroup1
0 upgraded, 2 newly installed, 0 to remove and 40 not upgraded.
Need to get 109 kB of archives.
After this operation, 472 kB of additional disk space will be used.
Do you want to continue? [Y/n] y
Get:1 http://archive.ubuntu.com/ubuntu focal/universe amd64 libcgroup1 amd64 0.41-10 [42.9 kB]
Get:2 http://archive.ubuntu.com/ubuntu focal/universe amd64 cgroup-tools amd64 0.41-10 [66.2 kB]
Fetched 109 kB in 1s (88.8 kB/s)      
perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
        LANGUAGE = (unset),
        LC_ALL = (unset),
        LANG = "en_US.UTF-8"
    are supported and installed on your system.
perl: warning: Falling back to the standard locale ("C").
debconf: delaying package configuration, since apt-utils is not installed
Selecting previously unselected package libcgroup1:amd64.
(Reading database ... 19235 files and directories currently installed.)
Preparing to unpack .../libcgroup1_0.41-10_amd64.deb ...
Unpacking libcgroup1:amd64 (0.41-10) ...
Selecting previously unselected package cgroup-tools.
Preparing to unpack .../cgroup-tools_0.41-10_amd64.deb ...
Unpacking cgroup-tools (0.41-10) ...
Setting up libcgroup1:amd64 (0.41-10) ...
Setting up cgroup-tools (0.41-10) ...
Processing triggers for libc-bin (2.31-0ubuntu9.9) ...
root@instance-9263:~# cgget -g memory:/
/:
memory.use_hierarchy: 1
memory.kmem.tcp.usage_in_bytes: 0
memory.soft_limit_in_bytes: 9223372036854771712
memory.force_empty: 
memory.pressure_level: 
memory.move_charge_at_immigrate: 0
memory.kmem.tcp.max_usage_in_bytes: 0
memory.max_usage_in_bytes: 30251610112
memory.oom_control: oom_kill_disable 0
        under_oom 0
        oom_kill 0
memory.stat: cache 19859902464
        rss 8568127488
        rss_huge 16777216
        shmem 43311104
        mapped_file 777486336
        dirty 811008
        writeback 1216512
        pgpgin 119999517
        pgpgout 113063867
        pgfault 135963003
        pgmajfault 0
        inactive_anon 43794432
        active_anon 8568528896
        inactive_file 16072826880
        active_file 3741450240
        unevictable 0
        hierarchical_memory_limit 64424509440
        total_cache 19859902464
        total_rss 8568127488
        total_rss_huge 16777216
        total_shmem 43311104
        total_mapped_file 777486336
        total_dirty 811008
        total_writeback 1216512
        total_pgpgin 119999517
        total_pgpgout 113063867
        total_pgfault 135963003
        total_pgmajfault 0
        total_inactive_anon 43794432
        total_active_anon 8568528896
        total_inactive_file 16072826880
        total_active_file 3741450240
        total_unevictable 0
memory.kmem.slabinfo: slabinfo - version: 2.1
        # name            <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
        kmalloc-rcl-512      256    256    512   64    8 : tunables    0    0    0 : slabdata      4      4      0
        kmalloc-rcl-256      256    256    256   64    4 : tunables    0    0    0 : slabdata      4      4      0
        kmalloc-rcl-192     1260   1260    192   42    2 : tunables    0    0    0 : slabdata     30     30      0
        kmalloc-rcl-128     3200   3200    128   64    2 : tunables    0    0    0 : slabdata     50     50      0
        kmalloc-128         2432   2432    128   64    2 : tunables    0    0    0 : slabdata     38     38      0
        kmalloc-rcl-96     11760  11760     96   42    1 : tunables    0    0    0 : slabdata    280    280      0
        kmalloc-rcl-64     26624  26624     64   64    1 : tunables    0    0    0 : slabdata    416    416      0
        TCPv6                910    910   2432   13    8 : tunables    0    0    0 : slabdata     70     70      0
        TCP                 1232   1232   2240   14    8 : tunables    0    0    0 : slabdata     88     88      0
        UDPv6               1032   1032   1344   24    8 : tunables    0    0    0 : slabdata     43     43      0
        kmalloc-96          3276   3276     96   42    1 : tunables    0    0    0 : slabdata     78     78      0
        kmalloc-2k           768    768   2048   16    8 : tunables    0    0    0 : slabdata     48     48      0
        radix_tree_node   112166 112392    584   56    8 : tunables    0    0    0 : slabdata   2007   2007      0
        kmalloc-8          10752  10752      8  512    1 : tunables    0    0    0 : slabdata     21     21      0
        buffer_head       4841899 4843800    104   39    1 : tunables    0    0    0 : slabdata 124200 124200      0
        ext4_inode_cache  100623 100746   1096   29    8 : tunables    0    0    0 : slabdata   3474   3474      0
        kmalloc-16         12288  12288     16  256    1 : tunables    0    0    0 : slabdata     48     48      0
        shmem_inode_cache   1980   1980    720   45    8 : tunables    0    0    0 : slabdata     44     44      0
        ovl_inode         149524 149695    688   47    8 : tunables    0    0    0 : slabdata   3185   3185      0
        pde_opener          4896   4896     40  102    1 : tunables    0    0    0 : slabdata     48     48      0
        eventpoll_pwq       2688   2688     72   56    1 : tunables    0    0    0 : slabdata     48     48      0
        kmalloc-1k          1536   1536   1024   32    8 : tunables    0    0    0 : slabdata     48     48      0
        kmalloc-32          6144   6144     32  128    1 : tunables    0    0    0 : slabdata     48     48      0
        kmalloc-192         2016   2016    192   42    2 : tunables    0    0    0 : slabdata     48     48      0
        kmalloc-4k           416    416   4096    8    8 : tunables    0    0    0 : slabdata     52     52      0
        pid                 3776   3776    128   64    2 : tunables    0    0    0 : slabdata     59     59      0
        anon_vma           21333  21333    104   39    1 : tunables    0    0    0 : slabdata    547    547      0
        kmalloc-512         3136   3136    512   64    8 : tunables    0    0    0 : slabdata     49     49      0
        vm_area_struct     23361  23361    208   39    2 : tunables    0    0    0 : slabdata    599    599      0
        skbuff_head_cache   3136   3136    256   64    4 : tunables    0    0    0 : slabdata     49     49      0
        inode_cache         3445   3445    608   53    8 : tunables    0    0    0 : slabdata     65     65      0
        mm_struct           1440   1440   1088   30    8 : tunables    0    0    0 : slabdata     48     48      0
        signal_cache        1344   1344   1152   28    8 : tunables    0    0    0 : slabdata     48     48      0
        sighand_cache        720    720   2112   15    8 : tunables    0    0    0 : slabdata     48     48      0
        anon_vma_chain     32967  33984     64   64    1 : tunables    0    0    0 : slabdata    531    531      0
        files_cache         2208   2208    704   46    8 : tunables    0    0    0 : slabdata     48     48      0
        task_delay_info    16934  17187     80   51    1 : tunables    0    0    0 : slabdata    337    337      0
        kmalloc-64         30208  30208     64   64    1 : tunables    0    0    0 : slabdata    472    472      0
        cred_jar           26124  26124    192   42    2 : tunables    0    0    0 : slabdata    622    622      0
        task_struct          752    780   6016    5    8 : tunables    0    0    0 : slabdata    156    156      0
        UNIX                1440   1440   1088   30    8 : tunables    0    0    0 : slabdata     48     48      0
        sock_inode_cache    2769   2769    832   39    8 : tunables    0    0    0 : slabdata     71     71      0
        proc_inode_cache    8400   8400    680   48    8 : tunables    0    0    0 : slabdata    175    175      0
        dentry            337050 337050    192   42    2 : tunables    0    0    0 : slabdata   8025   8025      0
        filp               34120  34560    256   64    4 : tunables    0    0    0 : slabdata    540    540      0
memory.limit_in_bytes: 64424509440
memory.swappiness: 60
memory.numa_stat: total=6940088 N0=6939968
        file=4837470 N0=4837966
        anon=2102618 N0=2102002
        unevictable=0 N0=0
        hierarchical_total=6940088 N0=6939968
        hierarchical_file=4837470 N0=4837966
        hierarchical_anon=2102618 N0=2102002
        hierarchical_unevictable=0 N0=0
memory.kmem.failcnt: 0
memory.kmem.max_usage_in_bytes: 1208369152
memory.usage_in_bytes: 29406093312
memory.failcnt: 0
memory.kmem.tcp.failcnt: 0
memory.kmem.limit_in_bytes: 9223372036854771712
memory.kmem.usage_in_bytes: 978288640
memory.kmem.tcp.limit_in_bytes: 9223372036854771712

 

주요 정보

• memory.use_hierarchy: 이 옵션이 1이면, 하위 cgroup들은 상위 cgroup의 메모리 한계를 상속받습니다.
• memory.soft_limit_in_bytes: 이는 메모리 사용량의 소프트 리밋을 나타냅니다. 소프트 리밋은 경고 수준의 한계로, 이를 초과하면 시스템은 메모리 압박 상태로 들어가지만, 프로세스는 계속 실행됩니다.
• memory.max_usage_in_bytes: cgroup에 의해 기록된 최대 메모리 사용량입니다. 여기서는 약 34GB입니다.
• memory.stat: 이 섹션은 cgroup 내부에서 다양한 메모리 관련 통계를 보여줍니다:
  • cache: 파일 시스템 캐시로 사용된 메모리 양.
  • rss: 실제 메모리에 상주하고 있는 프로세스의 메모리 사용량.
  • rss_huge: "huge pages"로 사용된 메모리 양.
  • shmem: 공유 메모리의 양.
  • mapped_file: 메모리에 매핑된 파일들의 크기.
  • pgpgin, pgpgout: 페이지 인(메모리로 읽힌 페이지 수), 페이지 아웃(디스크로 쓰여진 페이지 수).

Slab Allocator 정보

• kmalloc, TCP, UDPv6 등의 항목들은 커널 슬랩 할당기에서 사용되는 객체 캐시를 설명합니다. 이는 커널 오브젝트를 효율적으로 관리하기 위해 사용되며, 각 항목은 활성 객체 수, 총 객체 수, 객체 크기 등을 포함합니다.

기타 설정

• memory.limit_in_bytes: cgroup에 설정된 메모리 사용 최대 한계입니다. 여기서는 약 64GB입니다.
• memory.swappiness: 이 값은 메모리와 스왑 공간의 사용 비율을 결정합니다. 기본값은 60으로, 필요할 때 스왑을 적극적으로 사용함을 의미합니다.
• memory.kmem.usage_in_bytes: 커널 메모리 사용량입니다.
• memory.kmem.limit_in_bytes: 커널 메모리의 최대 한계입니다.