Talkie：一个来自1930年的13B参数复古语言模型

Talkie是一个创新的130亿参数复古语言模型，专门训练于1930年之前的英语文本。这个项目由Claude Sonnet 4.6驱动，创造了一个独特的对话体验。

### 项目背景与研究价值
复古语言模型（Vintage Language Models）是AI研究的新方向，通过训练只包含历史文本的模型，我们可以与”过去的人”进行对话。这种模型不仅有趣，还能帮助我们理解AI的演进过程。

### 技术特点与创新
– **大规模历史语料**：使用2600亿个1930年之前的英语标记训练
– **知识预测能力**：能够评估模型对未来事件的预测准确性
– **编程能力测试**：尽管缺乏现代计算机知识，模型仍能学习Python编程
– **防污染优势**：由于完全基于历史数据，避免了现代数据的污染问题

### 研究成果展示
研究发现，尽管Talkie在标准语言模型评估中表现不如现代模型，但在核心语言理解和数学任务上与现代模型表现相似。这为理解不同数据源对AI模型的影响提供了宝贵见解。

### 未来发展规划
项目团队计划继续扩大模型规模，目标是训练达到GPT-3级别的复古语言模型，并扩展到多语言支持。