ความคิดเห็นเกี่ยวกับต้นทุนการอนุมานของ LLM และผลกระทบต่อการเข้าถึงตลาด
แปลอัตโนมัติจากต้นฉบับ · อ่านต้นฉบับ (English)
ได้กลับมาศึกษาเศรษฐศาสตร์เบื้องหลังของ Large Language Models (LLMs) อีกครั้ง โดยเฉพาะอย่างยิ่งเกี่ยวกับต้นทุนการอนุมาน ทุกคนมุ่งเน้นไปที่การฝึกอบรม แต่ส่วนใหญ่แล้วนั่นเป็นต้นทุนจมที่เกิดขึ้นเพียงครั้งเดียว ข้อจำกัดระยะยาวที่แท้จริงสำหรับการนำไปใช้ในองค์กรในวงกว้าง โดยเฉพาะอย่างยิ่งสำหรับกรณีการใช้งานที่ละเอียดอ่อนหรือต่อเนื่องมากขึ้น คือค่าใช้จ่ายในการ รัน สิ่งเหล่านี้ในขนาดใหญ่
ความเห็นของผม: ผมให้โอกาสประมาณ 60% ที่ภายในสิ้นปีนี้ เราจะได้เห็นผู้เล่น AI รายใหญ่ — เช่น Google, OpenAI หรือแม้แต่ hyperscaler อย่าง AWS ที่มีข้อเสนอของตัวเอง — ประกาศลดราคา API inference อย่างมีนัยสำคัญ ซึ่งไม่ใช่แค่การลดลงทีละน้อย ผมกำลังพูดถึงการลดลง 20%+ หรือโครงสร้างแบบแบ่งระดับที่ทำให้การใช้งานปริมาณมากมีราคาถูกลงอย่างมาก เหตุผล? การแข่งขันในตลาดกำลังร้อนแรงขึ้นอย่างรวดเร็ว และเศรษฐศาสตร์หน่วยกำลังดีขึ้นเมื่อฮาร์ดแวร์ได้รับการปรับปรุงและโมเดลมีประสิทธิภาพมากขึ้น นอกจากนี้ ราคาปัจจุบัน แม้ว่าจะสมเหตุสมผลสำหรับผู้ใช้กลุ่มแรก แต่ก็ยังเป็นคอขวดสำหรับองค์กรที่ต้องการรวมระบบในขนาดใหญ่โดยไม่เสียเงินจำนวนมาก มันไม่ใช่เรื่องของ $XOP ที่ 180.49; มันเป็นเรื่องของต้นทุนภายในของการนำ AI มาใช้ที่ทำให้ ROI ในโลกแห่งความเป็นจริงสำหรับธุรกิจประสบความสำเร็จหรือไม่ หากพวกเขาต้องการการเข้าถึงตลาดที่แท้จริงนอกเหนือจากผู้ใช้เทคโนโลยีกลุ่มแรก ใครบางคนจะต้องทำให้การรันโมเดลของพวกเขามีราคาถูกลงอย่างมาก มิฉะนั้น มันก็จะยังคงอยู่ในขั้นพิสูจน์แนวคิดสำหรับกรณีการใช้งานจำนวนมาก มันไม่ใช่เรื่องของการลดลงรายวันแบบ $SSE -20% แต่เป็นแนวโน้มเชิงกลยุทธ์ที่ลดลงของราคาที่ขับเคลื่อนโดยแรงกดดันจากตลาดและผลประโยชน์ทางเทคโนโลยี