最新のAI、128GBでもメモリ不足、最低144GB、推奨192GBに

2024年12月9日

1: 名無しさん＠涙目です。(北海道) [CN] 2024/12/09(月) 10:08:37.25 ID:iPcWmA7D0 BE:422186189-PLT(12015)

sssp://img.5ch.net/ico/folder1_03.gif
https://gigazine.net/news/20241209-nvidia-gpu-apple-silicon-inference/

120: 名無しさん＠涙目です。(茸) [US] 2024/12/09(月) 11:14:01.66 ID:8A4EEo0+0

>>1
なんとかギリ

129: 名無しさん＠涙目です。(茸) [FR] 2024/12/09(月) 11:22:19.48 ID:h0g4oWbo0

そんなもん要らんわ。>>1

2: 名無しさん＠涙目です。(北海道) [CN] 2024/12/09(月) 10:08:44.97 ID:iPcWmA7D0 BE:422186189-PLT(12015)

sssp://img.5ch.net/ico/folder1_03.gif
M2 Ultra 76-Core GPU 192GB　　76.28 36.25 12.13 4.71
RTX 3090 24GB 6個　　　　　　　101.07 45.55 16.93 5.82
RTX A6000 48GB 4個　　　　　　　93.73 38.87 14.32 4.74
RTX 4090 24GB 8個　　　　　　　116.13 52.12 18.76 6.45
RTX 6000 Ada 48GB 4個　　　　　118.99 50.25 17.96 6.06

3: 名無しさん＠涙目です。(北海道) [CN] 2024/12/09(月) 10:09:09.82 ID:iPcWmA7D0 BE:422186189-PLT(12015)

sssp://img.5ch.net/ico/folder1_03.gif
GPU 8B Q4_K_M 8B F16 70B Q4_K_M 70B F16
RTX 3070 8GB 70.94 メモリ不足メモリ不足メモリ不足
RTX 3080 10GB 106.40 メモリ不足メモリ不足メモリ不足
RTX 3080 Ti 12GB 106.71 メモリ不足メモリ不足メモリ不足
RTX 3090 24GB 111.74 46.51 メモリ不足メモリ不足
RTX 4070 Ti 12GB 82.21 メモリ不足メモリ不足メモリ不足
RTX 4080 16GB 106.22 40.29 メモリ不足メモリ不足
RTX 4090 24GB 127.74 54.34 メモリ不足メモリ不足

4: 名無しさん＠涙目です。(茸) [US] 2024/12/09(月) 10:09:49.64 ID:6FRwUbgX0

そんなん自前で揃えても数年後には化石だからキリがないよ

5: 名無しさん＠涙目です。(福井県) [AU] 2024/12/09(月) 10:13:10.00 ID:ILsBYcRu0

リソースを無駄に使うのはいくらでも出来る
それが意味のある使い方家と言うと全然そんなこと無いって言う

11: 名無しさん＠涙目です。(茸) [CN] 2024/12/09(月) 10:15:42.57 ID:urgCKUnr0

>>5
Llama3の8Bと70Bは天と地の差がある。
しかもGPT4の足元にも及んでいない最底辺

6: 名無しさん＠涙目です、(香川県) [PE] 2024/12/09(月) 10:13:51.22 ID:GWReo2BW0

AIで生成した物の使い道が承認欲求

7: 名無しさん＠涙目です。(東京都) [KR] 2024/12/09(月) 10:13:52.46 ID:5paW6Qfd0

やべー
96GBしかないわー

8: 名無しさん＠涙目です。(みょ) [BR] 2024/12/09(月) 10:13:59.73 ID:WRx9gijV0

速攻ブレーカーが落ちるレベル