Bull 1.0
A Big Bench for Text-to-SQLs in Financial Analysis
A Big Bench for Text-to-SQLs in Financial Analysis
BULL is collected from the practical financial analysis business of Hundsun Technologies Inc., including databases for fund, stock, and macro economy.
| Rank | Model | EX (%) | ||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | FinSQL + LLaMA2 | 82.2 | ||||||||||||||||||||||||||||
| 2 | FinSQL + T5-large | 81.5 | ||||||||||||||||||||||||||||
| 3 | Picard* + T5-large | 79.3 | ||||||||||||||||||||||||||||
| 4 | RESDSQL* + T5-large | 78.8 | ||||||||||||||||||||||||||||
| 5 | Token Preprocessing* + T5-large | 67.5 | ||||||||||||||||||||||||||||
| Rank | Model | EX (%) | ||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | FinSQL + Baichuan2 | 76.6 | ||||||||||||||||||||||||||||
| 2 | Picard* + mT5-large | 72.7 | ||||||||||||||||||||||||||||
| 3 | FinSQL* + mT5-large | 70.4 | ||||||||||||||||||||||||||||
| 4 | RESDSQL* + mT5-large | 66.9 | ||||||||||||||||||||||||||||
| 5 | Token Preprocessing* + T5-large | 60.2 | ||||||||||||||||||||||||||||