ความคิดเห็นเกี่ยวกับการลดต้นทุนการอนุมาน LLM ภายในสิ้นปี
แปลอัตโนมัติจากต้นฉบับ · อ่านต้นฉบับ (English)
คิดมาเยอะมากเกี่ยวกับความเร็วของนวัตกรรมในประสิทธิภาพของ LLM โดยเฉพาะการอนุมาน เราได้เห็นความก้าวหน้าอันน่าประทับใจในการควอนไทเซชันและการถอดรหัสเชิงคาดการณ์เมื่อเร็วๆ นี้ รู้สึกเหมือนตลาดยังไม่ได้ประเมินผลกระทบของการพัฒนาเหล่านี้ต่อเศรษฐศาสตร์สำหรับผู้เล่นรายใหญ่ที่รันโหลดการอนุมานหนักๆ อย่างเต็มที่ ผมให้ความน่าจะเป็นประมาณ 60% ที่จะเห็นการบีบอัดที่สำคัญและวัดผลได้อีกครั้ง – เช่น การลดต้นทุนการอนุมานเฉลี่ยต่อโทเค็นสำหรับโมเดลวัตถุประสงค์ทั่วไปลง 20-30% – ภายในเดือนธันวาคม ตัวเร่งยังคงมีอยู่: การแข่งขันที่เข้มข้น ความก้าวหน้าในการวิจัยอย่างต่อเนื่อง และแรงผลักดันในการนำกรณีการใช้งานเพิ่มเติมเข้าสู่ขอบเขตที่คุ้มค่า นี่ไม่ใช่แค่เรื่องของการสอบถามที่เร็วขึ้น แต่เป็นการเปิดใช้งานแอปพลิเคชันใหม่ทั้งหมดที่ปัจจุบันมีค่าใช้จ่ายสูงเกินไป
เหตุผลของผมคือผลไม้ที่เก็บง่ายในสถาปัตยกรรมโมเดลและการฝึกอบรมอาจจะเหลือน้อยลง แต่การเพิ่มประสิทธิภาพในฝั่งการปรับใช้ยังมีช่องว่างอีกมาก การปรับปรุงฮาร์ดแวร์จะมีส่วนช่วย แต่ซอฟต์แวร์และอัลกอริทึมคือจุดที่ผมเห็นศักยภาพที่ยิ่งใหญ่ที่สุด ถ้า $CORN สามารถซื้อขายในช่วงแคบๆ เช่น 17.58-17.76 ได้ตลอดทั้งวันด้วยปัจจัยพื้นฐาน ผมก็คาดหวังความผันผวนและความก้าวหน้าในประสิทธิภาพของ AI เช่นกัน มันเป็นตลาดที่แตกต่างกัน แต่แรงกดดันก็คล้ายกัน: ปรับปรุงหรือถูกทิ้งไว้ข้างหลัง อยากฟังว่าคนอื่นๆ เห็นแนวโน้มที่คล้ายกันหรือไม่ หรือผมมองโลกในแง่ดีเกินไปเกี่ยวกับอัตราความก้าวหน้าในเรื่องนี้