Typingmind其實是KEENLITY的遺珠之一,我們原本想要談合作,但是Typingming的Premium是不提供經銷或是移轉授權的,而高階的Custom服務則完全沒有經銷優惠,反而是要我們先付一筆錢再自己疊價上去賣,看不懂商業邏輯,而不懂的事情不要碰,所以最後也就沒有談成,但Typingmind確實是個不錯的軟體。所以今天這篇不是業配,因為不給合作,我也不給連結了。
當初會找到這個軟體,主要的目的是降低AI訂閱的費用,試著算一下我的使用案例:
翻譯:
我大多時候是用來翻譯英文、韓文,主要是我懶得讀,我如果可以用中文一倍速讀,我為何要用外語25倍速呢?所以翻譯佔我使用案例的大宗,大約80%。字數其實都不多,大多是信件往來,或是比較難讀的文章,Chrome內建翻譯不足以很快理解時,我就會用AI翻譯。
程式:
我們軟體測試管理系統Armoury+ 所使用的前端套件其實有Demo網站,原始碼範例都很清楚,但搜尋過程太冗長,我不如直接請AI給我一個可用的基礎原始碼,我再來修改,效率就更高了。大概佔我10%
雜七雜八的問題:
例如之前很紅的墨雨雲間,人物之間的關係有點複雜,就問AI;WordPress的設定和外掛問題;前陣子想做豆花,我也直接問他熟石膏、鹽滷、葡萄糖酸內酯差別是什麼。
在上述使用狀況下,每個月20美金的訂閱費,我會覺得有點貴,反倒覺得GitHub Copilot的10美金滿划算的,所以為了上述用例,我開始尋找可以讓我使用自己的AI API Key的軟體。
這裡列出一些研究過的軟體名稱供參考:
BoltAI, MindMac, Open-WebUI, Msty
這些都是允許使用自己Key的軟體或介面,而Typingmind勝出的原因大概有幾點:
買斷:
他不是月費,畢竟如果還要付月費,我不如直接訂原廠的。
Token統計:
雖然不是絕對準確,但是看到費用一直加上去,還能抑制一下自己一直打字的衝動。
模型相容:
市面上喊得出名字的模型的API都可以使用,雖然我目前只使用OpenAI和Anthropic,但難保未來不會有其他需求。
本地資料:
雖然你最終仍要把問題和答案從AI公司的伺服器拿下來,但後續的儲存,全部都是存在你的電腦瀏覽器上,只要你的電腦保管好,就不會有外洩的疑慮,也可設定使用前加密,更多一層保護。
跨設備備份:
本地儲存雖然安全,但如果不同設備之間可以互通以前的問答紀錄好像很方便(雖然用到現在覺得對我沒用處),他有提供包含在內的小量雲服務的同步機制,如果要很大容量的,就得付月費了。
自選帶入過往的對話:
AI每次的對話其實都是把前幾次你給的Prompt和他給你的回答一併送給API,所以你每次消耗的Token實際上不是你當次所打的數量,而是之前大部分的內容,也就是Context Token,對話長度很長的時候其實很貴,Typingmind可以設定只紀錄前一個、前兩個….或全部的對話,以我翻譯的需求,每次紀錄一個就夠了。
還有很多功能,但我都用不太到,平常人也不太會用,像是使用本機的模型、訓練模型、語音輸入等等
這邊給幾個挑使用自己API工具的兩個選擇方向:
網頁還是本機
網頁屬於雲服務,也就是你仍然有需要把一些東西存在雲上,或是整體服務是依賴雲的,當雲掛了你也就不能用了,雖然機會很小。
網頁會輸本機的地方有一個,就是「Use inline in my app」,意思就是,我是否能在我電腦或設備上的其他App去呼叫AI助手,舉個例子,你在Word上寫文章,想要AI幫你寫一段,就可以用關鍵字叫助手幫忙;你在用Gmail回信,想叫助手幫忙回,也可以用關鍵字叫助手寫。不過試用了幾套,不一定能夠完美達成,像寫信這個任務,始終把產出的內容寫在寄件人那欄上…..然後網頁就一直Error。
如果你有需要跟其他App互動,那本機才有這功能,就朝這方向找就行;如果沒有需要,我覺得網頁就足夠且免掉了檢查更新的麻煩。