2024/1/1-1/10 AI 新知

語言

Gemini in Reasoning: Unveiling Commonsense in Multimodal Large Language Models [論文] Gemini Pro 的複雜推理能力評估

Distributed Inference and Fine-tuning of Large Language Models Over The Internet [論文] Petals 分散式推論微調超大 LLM 系統

TinyLlama: An Open-Source Small Language Model [論文] [開源] 用大資料集訓練 1.1B 小模型之成果

Improving Text Embeddings with Large Language Models [論文] 使用 LLM 生成合成資料集，訓練更好的 Text Embedding (用作 RAG 之類任務)

Task Contamination: Language Models May Not Be Few-Shot Anymore [論文] LLM 在訓練截止日期之前及之後的能力相差很大，代表數據污染問題嚴重 (我推測很多新模型號稱勝過舊模型，因為都有拿更新的訓練集做訓練，其實並未真正勝過舊的)

影像

GradientSurfer/Draw2Img: A simple web UI for interactive text-guided image to image generation, intended for any age and skill level [開源] 隨手畫，即時對應生圖

AnyText AI: FREE Revolutionize Your Images with AI-Powered Text Editing 可指定位置、變形、多語言、控制樣式等方式生成良好文字圖片

Comflowy Introduction ComfyUI AI 繪圖環境的教學

音訊

OpenVoice [開源] 即時複製多國語音，控制情緒、口音等

多模態

From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations [開源] FB 由語音對語生成逼真全身 3D 影片

DLYuanGod/TinyGPT-V: TinyGPT-V: Efficient Multimodal Large Language Model via Small Backbones [開源] 含完整訓練集及中途成果之小型 GPT-V

工具

vignshwarar/AI-Employe: Create browser automation as if you were teaching a human using GPT-4 Vision 以 GPT-4V 在本機瀏覽器 AI 自動化完成任務

Fast inference engine | Nitro 本機執行 3MB 小程式，支援 跨平台/CPU/GPU/多模態(即將支援) 等推理功能

Auto Wiki by Mutable.ai 已將熱門 GitHub 儲存庫以 AI 撰寫摘要整理及程式文件，其他儲存庫也可請求加入

Mobile ALOHA 史丹佛大學的機器人，有看到人操控示範，也有自主運作。但看到它在家運作的影片，都沒看到後面，我在猜是有人操控的狀態!? 因為動作真的做得非常細膩

理論

Efficient LLM inference 要降低推理成本，此文說首先要優化程式，若有資源就蒸餾，沒有再用量化

Chess-GPT's Internal World Model [開源] 重頭訓練玩西洋棋模型，不告知規則也不給予狀態，單單要求預測下一個字元，模型就能學會規則，計算狀態，甚至包括預測對方棋力的能力。另每場遊戲都不與訓練集重覆，故作者認為這不是由於記住訓練集所得的能力

趨勢

OpenAI and journalism OpenAI 對紐約時報控告的反擊，說是利用多年廣泛流傳的文章，刻意寫冗長摘要的提示，刻意操控模型要它吐出文章；另說可退出訓練 (但我認為這點站不住腳，退出只是不讓機器人爬現在的網站，但先前已在訓練集的內容仍無法去除，現有模型的知識也無法修改)

The Four Wars of the AI Stack (Dec 2023 Recap) 談到四種 AI 戰爭 (資料來源、GPU 富者/窮者、多模態、向量資料庫/RAG/Ops)，還有 AI 推理價格戰

Attacks on machine learning models 整理出多種攻擊各類型 AI 模型的方法

Thousands of AI Authors on the Future of AI 大規模調查 AI 研究人員對未來 AI 進展速度的看法