12/15-12/31 AI 新知

語言

OpenAI Begins Tackling ChatGPT Data Leak Vulnerability 攻擊 ChatGPT 之問題已開始解決，但仍不完美

An In-depth Look at Gemini's Language Abilities 評測說 Gemini Pro 英文略遜於 GPT-3.5 Turbo，但翻譯能力較強

Phi-2: The surprising power of small language models - Microsoft Research 微軟推出的 2.7B 小模型，某些方面能力可與 25 倍大的模型相當

(Long)LLMLingua | Designing a Language for LLMs via Prompt Compression [開源][論文] 微軟使用小模型將輸入文字壓縮 (去掉不重要部份)，效能損失極微，壓縮率可高達 20 倍! 可用於輸入更長文本，減少成本、加快速度，正確率甚至還可能提升!

How we built "Mistral 7B Fine-Tune Optimized," the best 7B model for fine-tuning [開源] Mistral 7B 微調模型竟可超越 GPT-4! 合併兩個模型可以獲得部份甚至全部能力!

yule-BUAA/MergeLM: Codebase for Merging Language Models [開源] 可將模型 90~99% 參數設為零不影響效能，再將同源不同模型以參數平均合併為新模型，一次獲得多個模型的能力

SJTU-IPADS/PowerInfer: High-speed Large Language Model Serving on PCs with Consumer-grade GPUs [開源] PowerInfer 可在消費級 4090 上跨各種 LLM (包括 Llama 2 系列/Falcon-40B) 以平均超過 13 Tokens 速度進行推理，只比 A100 慢 18%

Paper page - LLM in a flash: Efficient Large Language Model Inference with Limited Memory [開源] 將超大模型放在 Flash 記憶體 (SSD?) 中推理的方法

How to make LLMs go fast 理解 LLM 加速之各種技術

Time is Encoded in the Weights of Finetuned Language Models [論文] 建立時間向量，微調 LLM 以針對週期性資訊有更佳推論成果

Weight Subcloning: Direct Initialization of Transformers Using Larger Pretrained Ones [論文] 權限壓縮複製為小模型以達成小模型快速遷移學習

Discovering Latent Knowledge in Language Models Without Supervision [論文] 搜尋語言模型的內部知識，避免幻覺或說謊的問題

Mapping the semantic void: Strange goings-on in GPT embedding spaces GPT-J 的 4096 維空間 tokens 存在於兩個超球殼交集間。另先前發現的特異故障 tokens 多數接近質心 (也有遠離的)，可能因為訓練期的資料不多，因此接近於原始的隨機初始值