遊ばせてる機械を働かせる

持ってる GPU 一覧
- 参考）研究室にある GPU
有効活用

持ってる GPU 一覧

ディープラーニング用に以下の GPU を持ってる。

GPU	RAM	CUDAコア	単精度性能	Tensorコア	Tensor性能	RTコア	RT性能	使いどころ
GeForce RTX 2080 Mobile	8GB	2,944	10.1 TFLOPS	368		46		小さくて軽いモデル用
GeForce RTX3080	10GB	8,704	29.8 TFLOPS	272	238 TFLOPS	68	58 TFLOPS	わりと重いモデル用
NVIDIA RTX A4000	16GB	6,144	19.2 TFLOPS	192	153 TFLOPS	48	37 TFLOPS	わりと大きいモデル用
GeForce RTX3090	24GB	10,496	35.7 TFLOPS	328	285 TFLOPS	82	69 TFLOPS	大きくて重いモデル用

https://www.gdep-sol.co.jp/nvidia-rtxa4000.html

3080 と A4000 は計算量ヘビーかメモリヘビーかで使い分けてる。

参考）研究室にある GPU

GPU	RAM	CUDAコア	単精度性能	Tensorコア	Tensor性能	使いどころ
TITAN V	12GB HBM2	5120	13.8 TFLOPS	640	110 TFLOPS	2枚刺しで RetinaNet 学習させたり
RTX8000	48GB GDDR6	4608		576
DGX A100						Transformer系

https://www.hpctech.co.jp/gpuproduct/nvidia-titan-v.html

有効活用

稼働してない空き時間がもったいないので、ハッシュパワーを売ってみよう。

rigs

rig0
- DEEP-17FG102-i7-VORVI
- 第8世代インテル Core i7とGeForce RTX 2080搭載144Hz対応17型フルHDディープラーニング専用パソコン [SSD+HDD搭載]
- 盛り：メインメモリ 32GB / 2nd ストレージ 2TB HDD
- 2019年11月に 346,434 円で購入
- Ubuntu 20.04
rig1
- GALLERIA XA7R-R39
- ガレリア XA7R-R39 RTX3090搭載 Minecraft Starter Collection同梱版モデル
- AMD Ryzen 7 3700X 8-Core Processor 3.60 GHz
- 盛り：なし
- 2021年4月に 353,280 円で購入
- Wndows 10 Home
- 購入後の変更
  - Windows 11 Home にアップグレード
  - メモリ倍増（rig2 から取ったものを追加）
rig2
- GALLERIA ZA7R-R38
- GALLERIA ZA7R-R38 3700X搭載 Minecraft Starter Collection同梱版モデル
- RTX3080搭載
- 盛り：なし
- 2021年5月に 283,280 円で購入
- Wndows 10 Home
- 購入後の変更
  - Windows 11 Home にアップグレード
  - RAM 32GB に換装
  - 追加 GPU を装着

追加 GPU
- NVIDIA RTX A4000 16GB GDDR6 を 2021年10月に 138,564 円で購入
- https://www.e-trend.co.jp/items/1227236

rig0 の GPU 詳細

lspci -vnn |grep VGA -A 12

01:00.0 VGA compatible controller [0300]: NVIDIA Corporation TU104BM [GeForce RTX 2080 Mobile] [10de:1ed0] (rev a1) (prog-if 00 [VGA controller])

	Subsystem: CLEVO/KAPOK Computer TU104BM [GeForce RTX 2080 Mobile] [1558:7710]
	Flags: bus master, fast devsel, latency 0, IRQ 156
	Memory at dd000000 (32-bit, non-prefetchable) [size=16M]
	Memory at 90000000 (64-bit, prefetchable) [size=256M]
	Memory at a0000000 (64-bit, prefetchable) [size=32M]
	I/O ports at e000 [size=128]
	Expansion ROM at 000c0000 [virtual] [disabled] [size=128K]
	Capabilities: <access denied>
	Kernel driver in use: nvidia
	Kernel modules: nvidiafb, nouveau, nvidia_drm, nvidia

01:00.1 Audio device [0403]: NVIDIA Corporation TU104 HD Audio Controller [10de:10f8] (rev a1)

nvidia-smi -q

==============NVSMI LOG==============

Timestamp : Tue Apr 27 11:27:10 2021
Driver Version : 460.73.01
CUDA Version : 11.2

Attached GPUs : 1
GPU 00000000:01:00.0

   Product Name                          : GeForce RTX 2080
   Product Brand                         : GeForce
   Display Mode                          : Enabled
   Display Active                        : Enabled
   Persistence Mode                      : Disabled
   MIG Mode
       Current                           : N/A
       Pending                           : N/A
   Accounting Mode                       : Disabled
   Accounting Mode Buffer Size           : 4000
   Driver Model
       Current                           : N/A
       Pending                           : N/A
   Serial Number                         : N/A
   GPU UUID                              : GPU-e43eb9c0-18b4-c184-96c5-096968434aad
   Minor Number                          : 0
   VBIOS Version                         : 90.04.3B.00.7A
   MultiGPU Board                        : No
   Board ID                              : 0x100
   GPU Part Number                       : N/A
   Inforom Version
       Image Version                     : G001.0000.02.04
       OEM Object                        : 1.1
       ECC Object                        : N/A
       Power Management Object           : N/A
   GPU Operation Mode
       Current                           : N/A
       Pending                           : N/A
   GPU Virtualization Mode
       Virtualization Mode               : None
       Host VGPU Mode                    : N/A
   IBMNPU
       Relaxed Ordering Mode             : N/A
   PCI
       Bus                               : 0x01
       Device                            : 0x00
       Domain                            : 0x0000
       Device Id                         : 0x1ED010DE
       Bus Id                            : 00000000:01:00.0
       Sub System Id                     : 0x77101558
       GPU Link Info
           PCIe Generation
               Max                       : 3
               Current                   : 3
           Link Width
               Max                       : 16x
               Current                   : 16x
       Bridge Chip
           Type                          : N/A
           Firmware                      : N/A
       Replays Since Reset               : 0
       Replay Number Rollovers           : 0
       Tx Throughput                     : 25000 KB/s
       Rx Throughput                     : 74000 KB/s
   Fan Speed                             : N/A
   Performance State                     : P2
   Clocks Throttle Reasons
       Idle                              : Not Active
       Applications Clocks Setting       : Not Active
       SW Power Cap                      : Not Active
       HW Slowdown                       : Not Active
           HW Thermal Slowdown           : Not Active
           HW Power Brake Slowdown       : Not Active
       Sync Boost                        : Not Active
       SW Thermal Slowdown               : Active
       Display Clock Setting             : Not Active
   FB Memory Usage
       Total                             : 7973 MiB
       Used                              : 4587 MiB
       Free                              : 3386 MiB
   BAR1 Memory Usage
       Total                             : 256 MiB
       Used                              : 19 MiB
       Free                              : 237 MiB
   Compute Mode                          : Default
   Utilization
       Gpu                               : 100 %
       Memory                            : 87 %
       Encoder                           : 0 %
       Decoder                           : 0 %
   Encoder Stats
       Active Sessions                   : 0
       Average FPS                       : 0
       Average Latency                   : 0
   FBC Stats
       Active Sessions                   : 0
       Average FPS                       : 0
       Average Latency                   : 0
   Ecc Mode
       Current                           : N/A
       Pending                           : N/A
   ECC Errors
       Volatile
           SRAM Correctable              : N/A
           SRAM Uncorrectable            : N/A
           DRAM Correctable              : N/A
           DRAM Uncorrectable            : N/A
       Aggregate
           SRAM Correctable              : N/A
           SRAM Uncorrectable            : N/A
           DRAM Correctable              : N/A
           DRAM Uncorrectable            : N/A
   Retired Pages
       Single Bit ECC                    : N/A
       Double Bit ECC                    : N/A
       Pending Page Blacklist            : N/A
   Remapped Rows                         : N/A
   Temperature
       GPU Current Temp                  : 86 C
       GPU Shutdown Temp                 : 99 C
       GPU Slowdown Temp                 : 94 C
       GPU Max Operating Temp            : 87 C
       GPU Target Temperature            : N/A
       Memory Current Temp               : N/A
       Memory Max Operating Temp         : N/A
   Power Readings
       Power Management                  : N/A
       Power Draw                        : 127.36 W
       Power Limit                       : N/A
       Default Power Limit               : N/A
       Enforced Power Limit              : N/A
       Min Power Limit                   : N/A
       Max Power Limit                   : N/A
   Clocks
       Graphics                          : 1635 MHz
       SM                                : 1635 MHz
       Memory                            : 6801 MHz
       Video                             : 1515 MHz
   Applications Clocks
       Graphics                          : N/A
       Memory                            : N/A
   Default Applications Clocks
       Graphics                          : N/A
       Memory                            : N/A
   Max Clocks
       Graphics                          : 2100 MHz
       SM                                : 2100 MHz
       Memory                            : 7001 MHz
       Video                             : 1950 MHz
   Max Customer Boost Clocks
       Graphics                          : 2100 MHz
   Clock Policy
       Auto Boost                        : N/A
       Auto Boost Default                : N/A
   Processes
       GPU instance ID                   : N/A
       Compute instance ID               : N/A
       Process ID                        : 1291
           Type                          : G
           Name                          : /usr/lib/xorg/Xorg
           Used GPU Memory               : 35 MiB
       GPU instance ID                   : N/A
       Compute instance ID               : N/A
       Process ID                        : 1976
           Type                          : G
           Name                          : /usr/lib/xorg/Xorg
           Used GPU Memory               : 90 MiB
       GPU instance ID                   : N/A
       Compute instance ID               : N/A
       Process ID                        : 2104
           Type                          : G
           Name                          : /usr/bin/gnome-shell
           Used GPU Memory               : 29 MiB
       GPU instance ID                   : N/A
       Compute instance ID               : N/A
       Process ID                        : 4379
           Type                          : C
           Name                          : /home/xxxxxxx/t-rex/t-rex
           Used GPU Memory               : 4417 MiB

TDP は 150W で確かに Mobile なんだけど、Clocks - Video : 1515 MHz / Max Clocks - Video : 1950 MHz って Mobile じゃない RTX 2080 と比べても高くて、なにこれ。
素で動かすと稼働中 86C / 116W になっててサーマルスロットリングしてるっぽいのに、わりと良いハッシュレート（37.33MH/s, 322kH/W）出てる。期せずして良いグラボなの？
nvidia-smi の power-limit が効かないのだけが残念なんだけど、trex の --lock-cclock は効いて 86W ぐらいで 420kH/W 超えてるので、満足。

rig1 の GPU 詳細

nvidia-smi.exe -q

==============NVSMI LOG==============

Timestamp : Tue Apr 27 16:52:29 2021
Driver Version : 460.89
CUDA Version : 11.2

Attached GPUs : 1
GPU 00000000:05:00.0

   Product Name                          : GeForce RTX 3090
   Product Brand                         : GeForce
   Display Mode                          : Enabled
   Display Active                        : Enabled
   Persistence Mode                      : N/A
   MIG Mode
       Current                           : N/A
       Pending                           : N/A
   Accounting Mode                       : Disabled
   Accounting Mode Buffer Size           : 4000
   Driver Model
       Current                           : WDDM
       Pending                           : WDDM
   Serial Number                         : N/A
   GPU UUID                              : GPU-72811139-92c2-4cc9-ce03-da2a1a90ff31
   Minor Number                          : N/A
   VBIOS Version                         : 94.02.26.08.BC
   MultiGPU Board                        : No
   Board ID                              : 0x500
   GPU Part Number                       : N/A
   Inforom Version
       Image Version                     : G001.0000.03.03
       OEM Object                        : 2.0
       ECC Object                        : N/A
       Power Management Object           : N/A
   GPU Operation Mode
       Current                           : N/A
       Pending                           : N/A
   GPU Virtualization Mode
       Virtualization Mode               : None
       Host VGPU Mode                    : N/A
   IBMNPU
       Relaxed Ordering Mode             : N/A
   PCI
       Bus                               : 0x05
       Device                            : 0x00
       Domain                            : 0x0000
       Device Id                         : 0x220410DE
       Bus Id                            : 00000000:05:00.0
       Sub System Id                     : 0x22041569
       GPU Link Info
           PCIe Generation
               Max                       : 4
               Current                   : 4
           Link Width
               Max                       : 16x
               Current                   : 16x
       Bridge Chip
           Type                          : N/A
           Firmware                      : N/A
       Replays Since Reset               : 0
       Replay Number Rollovers           : 0
       Tx Throughput                     : 94000 KB/s
       Rx Throughput                     : 141000 KB/s
   Fan Speed                             : 83 %
   Performance State                     : P2
   Clocks Throttle Reasons
       Idle                              : Not Active
       Applications Clocks Setting       : Not Active
       SW Power Cap                      : Active
       HW Slowdown                       : Not Active
           HW Thermal Slowdown           : Not Active
           HW Power Brake Slowdown       : Not Active
       Sync Boost                        : Not Active
       SW Thermal Slowdown               : Not Active
       Display Clock Setting             : Not Active
   FB Memory Usage
       Total                             : 24576 MiB
       Used                              : 5614 MiB
       Free                              : 18962 MiB
   BAR1 Memory Usage
       Total                             : 256 MiB
       Used                              : 228 MiB
       Free                              : 28 MiB
   Compute Mode                          : Default
   Utilization
       Gpu                               : 100 %
       Memory                            : 100 %
       Encoder                           : 0 %
       Decoder                           : 0 %
   Encoder Stats
       Active Sessions                   : 0
       Average FPS                       : 0
       Average Latency                   : 0
   FBC Stats
       Active Sessions                   : 0
       Average FPS                       : 0
       Average Latency                   : 0
   Ecc Mode
       Current                           : N/A
       Pending                           : N/A
   ECC Errors
       Volatile
           SRAM Correctable              : N/A
           SRAM Uncorrectable            : N/A
           DRAM Correctable              : N/A
           DRAM Uncorrectable            : N/A
       Aggregate
           SRAM Correctable              : N/A
           SRAM Uncorrectable            : N/A
           DRAM Correctable              : N/A
           DRAM Uncorrectable            : N/A
   Retired Pages
       Single Bit ECC                    : N/A
       Double Bit ECC                    : N/A
       Pending Page Blacklist            : N/A
   Remapped Rows                         : N/A
   Temperature
       GPU Current Temp                  : 60 C
       GPU Shutdown Temp                 : 98 C
       GPU Slowdown Temp                 : 95 C
       GPU Max Operating Temp            : 93 C
       GPU Target Temperature            : 83 C
       Memory Current Temp               : N/A
       Memory Max Operating Temp         : N/A
   Power Readings
       Power Management                  : Supported
       Power Draw                        : 268.80 W
       Power Limit                       : 270.00 W
       Default Power Limit               : 350.00 W
       Enforced Power Limit              : 270.00 W
       Min Power Limit                   : 100.00 W
       Max Power Limit                   : 365.00 W
   Clocks
       Graphics                          : 1665 MHz
       SM                                : 1680 MHz
       Memory                            : 9501 MHz
       Video                             : 1470 MHz
   Applications Clocks
       Graphics                          : N/A
       Memory                            : N/A
   Default Applications Clocks
       Graphics                          : N/A
       Memory                            : N/A
   Max Clocks
       Graphics                          : 2100 MHz
       SM                                : 2100 MHz
       Memory                            : 9751 MHz
       Video                             : 1950 MHz
   Max Customer Boost Clocks
       Graphics                          : N/A
   Clock Policy
       Auto Boost                        : N/A
       Auto Boost Default                : N/A

GPU の型番は Palit NED3090019SB-132BA(RTX3090 24G GDDR6X1H3P)
リファレンスモデルと同等スペックらしくここの評価では最下位になってる。

3DMark (Time Spy) の Score は 15,920 平均（15,937 / 15,984 / 15,828 / 15,931）で GALLERIA の販売ページに掲載されてるスコア 16,488 と比べても低いし、ベンチマークの分布的にも下位より。ハズレ個体かな。

ベンチマークのスクショ

rig0 + rig1 で ethermine プールに参加

rig1 は power-limit を 300W にしてる。ハッシュレートが 350W と大差ない（むしろ良い？）ため。 -- 2021-04-27 (火) 10:16:54
簡易電力量計の表示で 2 台の合計が 570W 強。電気代で 400 円/日くらい。 -- 2021-04-27 (火) 10:17:02
断続的にやってるし、夜間は（騒音下げるため）さらに power-limit 落としたりしてるので、フルで稼働させた場合の報酬は掴めてないけどおそらく（今の ETH レートなら）1,400 円/日くらいで、電気代を引いて 1,000 円/日くらいは収支プラスになる気がする。 -- 2021-04-27 (火) 10:46:13
rig1@250W ハッシュレート 88.2 MH/s で Estimated Earnings 0.00290 ETH/day -- 2021-04-29 (木) 11:14:50
rig0 (37.06MH/s) + rig1@300W (106.86MH/s) で単純比したら 0.00470 ETH/day で 300,000 jpy/ETH なら 1,419.6 jpy/day なので二個上だいたい合う感じ -- 2021-04-30 (金) 17:17:14

rig0 + rig1 + rig2 で NiceHash プールに参加

NiceHash QuickMiner 付属の OCTune を見てると、rig1 の RTX3090 の VRAM 温度が容易に 100℃ 超えてしまう。VRAM の推奨温度は 0-95℃ らしいので、ファン制御を VRAM Temp 基準にしつアンダークロックするほうが良さげ。今の所 Core clock limit: 960 MHz, Memory clock: 9050 MHz で落ち着いてる。100 MH/s まで落ちるけど、しゃぁない。 -- 2021-05-19 (水) 12:20:50
rig2 の RTX3080 は VRAM 温度そこまで上がらない。Medium セッティングにしても 94℃ で安定してて 95-95 MH/s 掘れる。 -- 2021-05-19 (水) 12:34:22
と思いきや rig2 も Lite でも Fan 100% 回るようになった。むー -- 2021-05-24 (月) 15:13:13
結局 rig1 と rig2 はいずれも NHQM（ていうか OCTune）で Lite 設定にして t-rex で運用してる。 -- 2021-08-12 (木) 13:05:28
rig0 は t-rex --lock-cclock 1200 で運用。37.30 MH/s, [T:69C, P:89W, E:424kH/W] 出てる。 -- 2021-08-12 (木) 13:06:02
いま現在で電気代引いて 1,363円/日の利益ペース。 -- 2021-08-12 (木) 13:34:14