今天看到個一時之間令人訝異的新聞,是在商周上看到,內容很簡單,就是一位知名上市公司董事長說他們公司兩個月燒掉六十億token,他想要表達公司對AI的支持,並且他說"台灣不能再用人海戰術 要轉型成應用大國"
雖然我對他的想法大致是支持的,但那兩個月燒六十億token實在少得可憐。
我現在在一個小型AI公司工作,公司裡面只有7個工程師。我今天到其中一個我們使用的LLM的API key使用紀錄,光是7/2~7/3,就超過1.7億token。我們使用不只一個LLM(openai, claude, gemini都有用) 每個LLM大致上是均勻使用。也就是說,一個正常工作日,在我們這個小公司就要花到5億token,兩個月下來,最起碼220億token。但我們只是個七個人的小公司啊!這個上市公司,可是有八萬員工的公司,當然其中6萬多人是產線作業員,但白領以及工程師也有上萬人。如果他們真的把AI當作重要的程式設計,系統開發等工具,絕對不可能只有六十億token。
也有可能是董事長講錯,也有可能是記者記錯。但無論如何,沒有意識到這六十億token對於該公司是相當小,是個很奇怪的事情。我覺得更有可能的是,畢竟是硬體廠商,領導階層可能真的不解AI"應用"發展的現況,以至無法在心裡理解token數量的大致規模。
也有可能是董事長講錯,也有可能是記者記錯。但無論如何,沒有意識到這六十億token對於該公司是相當小,是個很奇怪的事情。我覺得更有可能的是,畢竟是硬體廠商,領導階層可能真的不解AI"應用"發展的現況,以至無法在心裡理解token數量的大致規模。
但我相信,他在腦海裡必能快速計算公司每個月可以生產多少AI伺服器,會有多少獲利,主要產線有哪些問題等等。
當然token隨便亂用也不是好事,可是以資深程式設計師來說,使用各種工具的情況下,一個月花到上億token真的很容易啊。