LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

テクノロジーカテゴリーの変更を依頼記事元:

225 usersがブックマークコメント

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti

もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に... もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし

lyiase これは鵜呑みにしてはいけないが、何らかの理由で用意できない場合はあり。AI研究者が想定しているのは Ubuntu + CUDA なので、Mac Studioは100万円するがメモリ以外は普通に辛く、メンバーが去って行くリスクがあるよ

2024/04/24 リンク

yarimoku 「自覚してください」的な強い言い回しを好んで使う人をしばしば見かけるけど、なんの影響でそんな文体になるんだろうか。

2024/04/25 リンク

bakuhate LLM開発者はまぁ頑張って欲しいけどそんなに未来あるプロダクトじゃないと思うんですよね。集金難しいしレッドオーシャン化がえげつないですわ。

sh2 2024年はMac Studio有力、会社でもL40Sの予算を少し削ってMac Studioを増やそうと画策している。一方2025年になればAMD Zen 5 APUのStrix HaloがLPDDR5X 8533MT/s 8 Channelで546GB/sとの噂、Ryzen AIも搭載しているので対抗馬になるかなと思っている

BOUSOUNINJIN M1 Mac studio 32GBでStableDiffusion使ってみたが、確かにメモリの分だけ3080よりも高画素な画像をクラッシュせず出力できた。ただ速度は3080よりちょい遅い。

puhu208n M1～M3のGPU性能については、特にWeb系イケイケはAppleのクッソ雑な「エヌビディアーの3070より高速です(※通常デスクトップ版とは言っていない)」グラフで本当に速いと誤解してる場合があるので注意な。3060Tiより遅いはず。

shields-pikes まあ、そのローカルLLMでテストや趣味の開発以外に何をするかだよね。LLM連携のシステムを全社に導入したり、顧客向けWebサービスとして運営したりするときに、まだまだAPI連携以外の選択肢はメリットが少ないのでは。

rdlf M2 MacBook Airの16GBモデルでもllama3なら実用的な速度で動いたけど、llama3:70Bはダメだ…10分くらい待って数文字しか返ってこない。

stealthinu うーん。学習には使えないんじゃないの？とか思って。まあ推論だけでいいのかなあ。3090x2+メモリオフロードとかのほうが汎用性ありそうに思ってしまう。

mapk0y backspace.fm で Command R+ 試してたけど、Web上で数秒で終わる内容が M3 Max つんだ全部盛りの MacBookPro で8分ちょっとかかってた。メモリ90Gぐらい食うけど他のリソースはあまり消費せず熱くもならなかったらしい。メモリバス？

2024/04/28 リンク

dec123456789 claude haikuやgpt-3.5が高いと言ってるけど、コスト計算するとMac studioを24時間フル稼働させるよりも普通に安いんだが。実際には稼働しない時間もあるからもっと安くなるだろうし。

misshiki “Mac Studioはコスパがよく、かつノーメンテナンスでいけるため、いま買うならメモリ96GBか、メモリ192GBのどちらかのMac Studioが最善手です。”

youichirou 少々遅くても高コスパでめっちゃくちゃ広大なVRAMとして扱えるの魅力よね。円安でM3/M4 Studioはどうなるんだろう…。

buhoho 個人的には好きだけどローカルLLMって仕事になるのか？普通にOpenAIとかAnthropicのAPI叩いたほうが高性能+安いし、仕事で相談されたら絶対にそっちすすめる。

KoshianX APU のメインメモリとビデオメモリの共有というのがLLMではコスト的に有利という話か。Meteor Lake や Ryzen 8040 なんかもそういう点では悪くないかもしれないが、GPU パワーはやっぱ Apple Silicon なのかねえ

etah https://www.reddit.com/r/LocalLLaMA/comments/16m432j/mac_studio_m2_ultra_192gb_seems_pretty_ideal_for/ ／海外でもこの手の話題は盛り上がるみたいね/今年PTA役員やってるからMacStudioM3待ち、でも学割対象になるのかはどうなんすかね？無理かも