Austin Starks详细对比了Anthropic的Claude 3.5 Sonnet和OpenAI的GPT-4o两大领先的AI语言模型。通过使用NexusTrade这个AI驱动的交易平台，文章重点评估了这两个模型在速度、准确性和用户体验方面的表现，并通过多个测试详细展示了它们的优缺点。
初步印象
- Claude 3.5 Sonnet：
- 起初，Claude的表现并不令人印象深刻，主要由于其高昂的成本和看似任意的API规则。然而，Claude的最新版本在性能和用户体验上有了显著提升。
- GPT-4o：
- GPT-4o在某些任务上表现出色，但整体表现不稳定，常常无法满足用户的期望。
测试1：创建具有定义参数的投资组合
- 任务描述：
- 生成一系列语法有效的JSON，并总结信息，这是AI语言模型在实际使用中的一个强大用例。
- GPT-4o表现：
- 响应时间较快，中间请求响应时间为3-3.5秒，最终响应时间为53.5秒。
- 输出内容虽然正确，但显得机械，包含了用户不需要的填充词。
- Claude 3.5 Sonnet表现：
- 每个中间响应时间为3.6-4秒，最终响应时间为83.5秒，显著慢于GPT-4o。
- 输出内容更为人性化，准确描述了策略规则，没有多余的填充词，用户体验更好。
测试2：创建带有自定义指标的复杂投资组合
- 任务描述：
- 配置几乎可以想象的任何交易策略，包括对技术和基本指标进行算术运算。
- GPT-4o表现：
- 生成的投资组合配置中买入策略配置错误，包含未指定的其他条件。
- 止损策略配置不合理，未能准确反映预期的百分比变化。
- Claude 3.5 Sonnet表现：
- 尽管响应时间为180秒，但生成的配置100%准确，完全符合给定的复杂策略，表现出色。
测试3：使用AI驱动的股票筛选器
- 任务描述：
- 基于特定标准查询股票，例如查找2016年至2020年现金流增长最高的五家公司。
- GPT-4o表现：
- 在26秒内提供了响应，但结果的准确性存疑，一些数据看起来不合理。
- Claude 3.5 Sonnet表现：
- 由于生成的查询过于复杂，模型未能返回响应，显示出处理某些复杂查询的局限性。
成本对比与综合分析
- 成本：
- Claude的输入令牌成本几乎是GPT-4o的一半，输出令牌成本相同，且上下文窗口比GPT-4o大50%。
- 综合分析：
- Claude 3.5 Sonnet在推理和提供人性化响应方面表现更好，适合需要复杂配置的任务。
- GPT-4o响应速度更快，可能更适合对速度要求高的任务。
- 综合考虑成本、上下文窗口、速度和推理能力，Claude 3.5 Sonnet稍胜一筹，但具体选择取决于用户的具体需求。
全文翻译