你只管提需求，大模型解决问题：图表处理神器 SheetCopilot 上线 ...

♀OVE↘摑儞

机器之心专栏
8 b( O' V, I) W9 a2 G机器之心编辑部
6 Q8 y! U# s6 m: C$ B+ _0 d6 o各位表格大师终于可以跟那些繁琐的手动操作说再见了！近日，一款名叫 SheetCopilot 的智能体横空出世，让每个人只需要发号施令就可实现流畅的表格操控。
这种丝滑的操作流程简直是职场人的福音！

1 v  t1 i* N! b, A0 y( ?

近日，来自中科院自动化所、港理工等机构的研究者们造出了一个「表格 AI 助手」SheetCopilot，该智能体能根据用户指令生成操纵表格的解决方案并在特定软件（如：Excel、GoogleSheets 等）上执行。SheetCopilot 可以快速连接多款表格处理软件，且支持多表操作、图表绘制和数据透视表生成，有望赋能多个领域的表格数据处理和可视化，并向实现通才智能助手迈出关键一步。

3 w6 c: ^3 _, H* z

8 x  z( i' s0 U网站：https://sheetcopilot-demo.github.io/
+ N$ ~/ X% X; H# `论文：https://arxiv.org/abs/2305.19308
让我们首先通过以下示例来感受 SheetCopilot 如何显著提升工作效率。
假如你是一个刚入职小白，有一天老板要求你帮他分析销售数据。你拿到表格一看，上千行的数据眼花缭乱，一时不知从何下手，于是你边查边做。
首先，你尝试采用把各 Product 名称提取出来，然后用公式对各 Product 的收入求和。


+ w/ H) g' z# `: j" k, n* J  f
搞了二十多分钟，SUMIF 一直报 "#NAME?" 的错误，遂放弃。
继续上网搜索，发现还有数据透视表（Pivot table）这么方便的工具，于是开始第二次挑战。
' Y7 V" S0 K  b/ b" ?


又花了二十多分钟，终于搞定。整个过程将近一个小时，效率不如人意。以后每次老板交个你新的表格处理任务，你之前的经验派不上用场，又得从头开始边查网站边做 : （。
6 X" e  E# a9 f6 a你的同事则使用 SheetCopilot，伸个懒腰的工夫就把各种奇怪的要求都完成了 : ）。

; l; q$ ^, m; u0 A. A; x0 Q

看到 SheetCopilot 如此丝滑，你也简单尝试了一下，画个图不在话下。
" @) h, P1 _6 y
$ k8 f" ~# t$ Q( R& r. G

* n5 L+ _1 S# Z! m有了 SheetCopilot，你再也不用把鼠标滑过半张桌子的距离来选中超出屏幕的数据了，轻松让上千行数据在多张表之间辗转腾挪。
8 f0 z2 F4 B$ G( m8 Z) A
: O/ w+ V! C" C( {7 g
) t$ e0 l7 Y" C4 ?. d9 k8 V
( _: z$ Q0 r( L为什么提出 SheetCopilot
% D* s, v4 U; |- I- U$ n5 g. x长久以来，人们一直渴望拥有即使没有专业经验也能熟练掌握复杂软件的能力。许多人都曾遇到过这样的情况：不知如何操作 PhotoShop 的繁琐界面，想要分析数据却不知道数据透视表这一高级功能，想要绘制齿轮却对 Solidworks 一无所知。
随着具有强大语言理解和生成能力的大型语言模型（LLM）的出现，这个愿景比以往任何时候都更接近现实。如果能够引导 LLM 掌握各种软件，就能够释放出 LLM 几乎无限的潜能，进而让人类的生产力达到前所未有的高度。
这篇文章指出电子表格（Spreadsheet）是进行这项研究的理想基础，因为它是一种常见的多功能生产工具。然而，表格操控面临着多样化的挑战，用户难以掌握足够的表格处理和编程技巧以应对变化多端的任务需求。
" H3 c! t1 V7 b, ^2 j+ I7 [" B如果有一种通才 AI 智能体，它掌握丰富的软件操控技能，那么不仅办公效率能得到极大提升，企业产出也会大大加快。SheetCopilot 的出现正好契合了人们这样的远景。
& Z7 G' }' Y/ ^& }SheetCopilot 有哪些亮点
1. 覆盖表格处理的典型需求
SheetCopilot 涵盖了表格操作的几乎所有典型任务，可以出色地完成各式图表生成任务。
0 {0 V. C  Y' U" ^8 ]3 l8 v! @9 I
; n  y8 I$ H4 k

销售数据分析


1 C6 W2 Y- V: C
9 g, u$ A8 ^5 S1 P实验图表绘制
% `/ H9 [$ Z& c3 D
$ ]  [1 I4 ^" p" c2 M, t

# p* b$ i: {8 a; Z$ J; l复杂公式计算


  c' a6 ?1 p+ B/ l/ Q
/ ~0 X9 c) V( m# b* ?4 J2 e, s应用条件格式
2. 超越基于 VBA 的方法
" g8 p' I9 _# {) f8 q- ^4 bSheetCopilot 优于用 GPT-3.5 生成 VBA 代码并执行的方法，生成的解决方案的显著优于后者（见下图），这使得 SheetCopilot 有望成为数据处理人员未来强大的 AI 辅助工具。


& U! ]! }( s  k- N, J
不仅如此，相比于晦涩的 VBA 代码，SheetCopilot 生成的解决方案包含通俗易懂的步骤，这免去了学习新编程语言并艰难调试的痛苦。
0 i; d, }8 F6 ]  E8 |+ t1 j6 e

, k7 M8 d) v  e/ |  ~* P( v1 P
左图：冗长的 VBA 代码；右图：SheetCopilot 简单易懂的解决方案。
3. 舒适的使用体验
, H6 t) s1 Y4 h+ I. a% sSheetCopilot 在网络连接稳定的情况下，仅需约 10 步多表组合操作，即可在上千行数十列的表格中快速完成任务。这不仅解放了用户疲惫的双眼，还节省了查找网站并逐个尝试操作步骤所浪费的时间，同时也避免了学习 VBA 的成本。



方法原理
; K" K; k7 x/ c; }, e这篇文章将表格操控所需的核心功能抽象为一组虚拟 API（称为原子操作，见下图），用于生成解决方案，作为 LLM 与应用软件之间交互的桥梁。
! i+ j7 m& }! D8 b5 T# {  E

7 \* ?$ U! j+ ^
最简单的方法是对 LLM 的一次查询（query）生成一个任务的所有步骤。然而，随着任务复杂度的增加，后序步骤更加依赖前序步骤的执行结果，导致这种开环控制难以得到正确结果。例如，如果无法确定筛选后可见数据的位置，LLM 就难以确定操作范围。
为了实现高效的闭环控制，SheetCopilot 根据软件状态反馈和外置原子操作知识库优化解决方案，提升了成功率和效率。
) O. l/ N4 ?4 e# R如何评测
该文提出了一个高质量评测基准。该基准的任务具有多样化的表述，并涉及丰富的原子操作，如下面词云所示：



5 @0 D! O2 b: l' Z  Q此基准采用了如下有关成功率的指标（越高越好）：
Exec@1：生成的任务解决方案的执行成功率。
' A# b& l' q4 B- D" j6 w) kPass@1：任务通过率，即执行后能匹配上任意参考答案的解决方案的占比。
此基准还考虑如下效率指标（越低越好）：
A50：将符合任务要求的解决方案的步数除以参考答案最少步数，然后对所有计算结果取中位数。
A90：计算方式同上，但取所有计算结果的 90 分位数。该指标反映动作数的极值分布。
实验结果

2 P( `9 ~8 G; ~6 w1 K# h

表 1：在 SheetCopilot 数据集上对比 GPT-3.5-Turbo、GPT-4、Claude 以及生成 VBA 的方法。
! _1 t2 H4 \1 C% S4 r/ ?3 a" U不出意料，GPT-4 符合任务要求的解决方案占比最高且效率最优，而 GPT-3.5-Turbo 则紧随其后，Claude 最次但也接近 GPT-3.5-Turbo。
一个值得关注的结果是，与将用户指令翻译成 VBA 代码并在 Excel 上执行的方法对比，SheetCopilot 取得了非常出色的成功率。这意味着 SheetCopilot 让软件智能控制离我们又近了一大步，让不会编程的用户能以日常交流的方式指挥计算机完成繁杂的工作。
我们再通过下面各个细分类别上的指标来看一看这三个 LLM 各自的优缺点。
4 h2 Y& N; V# Z( ^7 I

& u3 E0 L; t- G. q8 u: ~; X; U; z
8 m- ]* k2 f, o$ D( O  g& U# MGPT-3.5 和 GPT-4 轻而易举地解决了 Management（排序、筛选等表格管理操作）和 Entry &manipulation（数据输入与操纵）这两类任务，均取得了 100% 可执行率。此外，三个 LLM 在不同任务类别中各自表现出最佳效率，这一有趣的发现表明每个 LLM 都有其独特的优势，GPT-4 也难以完胜其它模型。
结语
SheetCopilot 借助 LLM 成功地将感知、推理和决策通过文字接口构成了一个闭环，实现高效的电子表格操控，促进智能软件控制更上一层楼，也为对通才智能体感兴趣的研究者带来了新的灵感。
THE END
2 `8 x& U8 B. F. N转载请联系本公众号获得授权
% X6 T  W; u2 ]0 l9 a) J6 J; |- k投稿或寻求报道：content@jiqizhixin.com