Investigating accuracy and robustness

Investigating accuracy and robustness · Suhas Shankar

%23%20%2F%2F%2F%20script%0A%23%20dependencies%20%3D%20%5B%22plotly%3E%3D7.1.0%22%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20mo%2C%20np%2C%20pd%2C%20plt%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20Investigating%20accuracy%20and%20robustness%0A%0A%20%20%20%20**A%20local%20experiment%20with%20Qwen3.5-0.8B%20and%20answer-preserving%20rewrites%20of%20easy%20MATH%20problems.**%0A%0A%20%20%20%20We%20ask%20whether%20a%20problem's%20unperturbed%20solve%20accuracy%20tells%20us%20how%20much%20its%0A%20%20%20%20accuracy%20will%20degrade%20after%20perturbations.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22We%20provide%20a%20simple%20mechanism%20that%20could%20explain%20the%20observed%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22inverted-U%20pattern%20in%20accuracy%20drop%20across%20problem%20difficulty.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Very%20hard%20problems%20have%20little%20accuracy%20to%20lose%3B%20very%20easy%20problems%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22are%20less%20susceptible%20to%20prompt%20perturbations%3B%20and%20problems%20near%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20model's%20capability%20threshold%20are%20the%20most%20brittle.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22TL%3BDR%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%201.%20Experiment%20setup%0A%0A%20%20%20%20%20%20%20%20For%20each%20math%20problem%2C%20we%20use%20a%20strong%20LLM%20(GPT%206.1%20Sol%20Medium)%20to%20make%20five%0A%20%20%20%20%20%20%20%20question%20perturbations%3A%20typos%2C%20rephrasing%2C%20renaming%2C%20domain%20changes%2C%20and%0A%20%20%20%20%20%20%20%20irrelevant%20details.%20We%20measure%20the%20small%20Qwen%20model's%20accuracy%20on%20the%0A%20%20%20%20%20%20%20%20original%20and%20every%20perturbation.%0A%0A%20%20%20%20%20%20%20%20%60max_acc_drop%20%3D%20accuracy(original)%20%E2%88%92%20accuracy(worst-performing%20perturbation%20type)%60%0A%0A%20%20%20%20%20%20%20%20A%20problem%20is%20**robust**%20when%20%60max_acc_drop%20%E2%89%A4%200.10%60%2C%20**non-robust**%20when%0A%20%20%20%20%20%20%20%20%60max_acc_drop%20%E2%89%A5%200.25%60%2C%20and%20**unlabelled**%20in%20between.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%22More%20Details%22%3A%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20-%20**Dataset%3A**%20100%20distinct%20Level%201%20training%20problems%20from%0A%20%20%20%20%20%20%20%20%20%20%60EleutherAI%2Fhendrycks_math%60%20(revision%0A%20%20%20%20%20%20%20%20%20%20%6021a5633873b6a120296cce3e2df9d5550074f4a3%60%2C%20seed%2042)%2C%20excluding%0A%20%20%20%20%20%20%20%20%20%20diagram%20markup.%20We%20split%20by%20original%20problem%3A%2080%20train%20and%2020%20test.%0A%20%20%20%20%20%20%20%20-%20**Perturbations%3A**%20The%20original%20plus%20five%20independently%20generated%0A%20%20%20%20%20%20%20%20%20%20Codex%20CLI%20perturbations%20per%20problem%20give%20600%20variants.%20Codex%20CLI%0A%20%20%20%20%20%20%20%20%20%20used%20GPT-6.1-Sol%20with%20medium%20reasoning%20effort.%20The%20prompts%20requested%0A%20%20%20%20%20%20%20%20%20%20the%20same%20answer%2C%20but%20this%20was%20not%20independently%20verified%20for%20every%0A%20%20%20%20%20%20%20%20%20%20perturbation.%0A%20%20%20%20%20%20%20%20-%20**Solve%20model%3A**%20%60Qwen%2FQwen3.5-0.8B%60%2C%20revision%0A%20%20%20%20%20%20%20%20%20%20%602fc06364715b967f1860aea9cf38778875588b17%60.%20Each%20variant%20had%20ten%0A%20%20%20%20%20%20%20%20%20%20independently%20seeded%20attempts%3A%20temperature%201.0%2C%20top-p%200.95%2C%20top-k%2020%2C%0A%20%20%20%20%20%20%20%20%20%20presence%20penalty%201.5.%0A%20%20%20%20%20%20%20%20-%20**Thinking%20and%20scoring%3A**%20The%20thinking%20budget%20was%204%2C096%20tokens.%20vLLM%0A%20%20%20%20%20%20%20%20%20%20forced%20%60%3C%2Fthink%3E%60%20at%20the%20limit%3B%20the%20full%20response%20cap%20was%206%2C144%20tokens.%0A%20%20%20%20%20%20%20%20%20%20Math-Verify%20checked%20the%20final%20boxed%20answer.%20Unfinished%20thinking%20or%20no%0A%20%20%20%20%20%20%20%20%20%20extractable%20final%20answer%20counted%20as%20incorrect.%0A%20%20%20%20%20%20%20%20-%20**Accuracy%3A**%20The%20fraction%20correct%20among%20ten%20attempts.%20A%20negative%0A%20%20%20%20%20%20%20%20%20%20%60max_acc_drop%60%20means%20even%20the%20worst%20perturbation%20outperformed%20the%20original.%0A%20%20%20%20%20%20%20%20%20%20These%20are%20exploratory%20labels%20derived%20from%20this%20local%20run.%0A%0A%20%20%20%20%20%20%20%20**Exact%20perturbation%20instructions**%20(each%20Codex%20request%20also%20asked%20for%0A%20%20%20%20%20%20%20%20one%20answer-preserving%20perturbation%2C%20without%20a%20solution%20or%20commentary)%3A%0A%0A%20%20%20%20%20%20%20%20%7C%20Type%20%7C%20Instruction%20given%20to%20Codex%20%7C%0A%20%20%20%20%20%20%20%20%7C%3A--%7C%3A--%7C%0A%20%20%20%20%20%20%20%20%7C%20%60no_perturb%60%20%7C%20Copy%20the%20original%20verbatim%3B%20no%20Codex%20call.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60rephrase%60%20%7C%20Rewrite%20the%20problem%20using%20different%20wording%20and%20sentence%20structure%20while%20preserving%20its%20meaning.%20Keep%20all%20mathematical%20quantities%2C%20symbols%2C%20assumptions%2C%20and%20the%20requested%20result%20unchanged.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60rename%60%20%7C%20Rename%20variables%20or%20named%20entities%20consistently%20throughout%20the%20problem.%20Use%20distinct%2C%20unambiguous%20replacements%20and%20preserve%20all%20mathematical%20relationships%20and%20constraints.%20Preserve%20conventional%20notation%2C%20units%2C%20and%20constants.%20If%20the%20requested%20answer%20is%20symbolic%2C%20keep%20its%20target%20symbols%20unchanged%20so%20the%20answer%20remains%20the%20same.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60domain%60%20%7C%20Transfer%20the%20problem%20to%20a%20different%20plausible%20surface%20domain%20or%20story.%20Preserve%20its%20mathematical%20structure%2C%20numerical%20values%2C%20units%2C%20constraints%2C%20and%20requested%20result.%20Do%20not%20introduce%20new%20assumptions%20such%20as%20integer-only%20quantities%2C%20rounding%2C%20or%20physical%20restrictions.%20For%20an%20abstract%20problem%2C%20use%20a%20light%20framing%20that%20leaves%20the%20formal%20mathematics%20intact.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60distract%60%20%7C%20Insert%20a%20small%20amount%20of%20plausible%20but%20irrelevant%20background%20information%20into%20the%20problem.%20The%20added%20information%20must%20not%20change%20any%20mathematical%20constraint%2C%20introduce%20ambiguity%2C%20or%20be%20needed%20to%20solve%20the%20problem.%20Preserve%20the%20original%20mathematical%20content%20and%20requested%20result.%20%7C%0A%20%20%20%20%20%20%20%20%7C%20%60typos%60%20%7C%20Introduce%20a%20few%20harmless%20typographical%20or%20formatting%20changes%2C%20such%20as%20a%20minor%20spelling%20error%20in%20an%20ordinary%20word%20or%20extra%20whitespace.%20Keep%20the%20problem%20clearly%20understandable.%20Do%20not%20change%20numbers%2C%20variables%2C%20operators%2C%20negations%2C%20mathematical%20terminology%2C%20or%20LaTeX%20commands.%20%7C%0A%0A%20%20%20%20%20%20%20%20%22%22%22)%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pd)%3A%0A%20%20%20%20def%20read_public_csv(name)%3A%0A%20%20%20%20%20%20%20%20path%20%3D%20str(mo.notebook_location()%20%2F%20%22public%22%20%2F%20name)%0A%20%20%20%20%20%20%20%20if%20path.startswith((%22http%3A%2F%2F%22%2C%20%22https%3A%2F%2F%22))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20io%20import%20BytesIO%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20urllib.request%20import%20urlopen%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20pd.read_csv(BytesIO(urlopen(path).read()))%0A%20%20%20%20%20%20%20%20return%20pd.read_csv(path)%0A%0A%20%20%20%20return%20(read_public_csv%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20read_public_csv)%3A%0A%20%20%20%20train_df%20%3D%20read_public_csv(%22variant_accuracy.csv%22)%0A%20%20%20%20accuracy_df%20%3D%20train_df.pivot(index%3D%22problem_id%22%2C%20columns%3D%22perturbation_type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20values%3D%22accuracy%22)%0A%20%20%20%20perturbation_types%20%3D%20accuracy_df.columns.drop(%22no_perturb%22)%0A%20%20%20%20accuracy_df%5B%22max_acc_drop%22%5D%20%3D%20(accuracy_df.no_perturb%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20-%20accuracy_df%5Bperturbation_types%5D.min(axis%3D1)).round(10)%0A%20%20%20%20mo.md(f%22**Analysis%20set%3A**%20%7Btrain_df.problem_id.nunique()%7D%20original%20problems%2C%20%22%0A%20%20%20%20%20%20%20%20%20%20f%22%7Blen(train_df)%7D%20variants%2C%20%7Blen(train_df)%20*%2010%3A%2C%7D%20solve%20attempts.%22)%0A%20%20%20%20return%20accuracy_df%2C%20train_df%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%202.%20Does%20unperturbed%20accuracy%20relate%20to%20max_acc_drop%3F%0A%0A%20%20%20%20The%20figure%20below%20shows%20the%20accuracy%20of%20the%20unperturbed%20(original)%20problem%0A%20%20%20%20on%20the%20x-axis.%20For%20each%20problem%2C%20the%20y-axis%20shows%20%60max_acc_drop%60%3A%20the%20maximum%0A%20%20%20%20drop%20in%20accuracy%20under%20perturbation.%20We%20observe%20high%20%60max_acc_drop%60%20values%20in%0A%20%20%20%20the%20middle%2C%20around%200.4%E2%80%930.6%20unperturbed%20accuracy.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(accuracy_df%2C%20plt)%3A%0A%20%20%20%20_bucket%20%3D%20accuracy_df%5B%5B%22no_perturb%22%2C%20%22max_acc_drop%22%5D%5D.dropna()%0A%20%20%20%20_stats%20%3D%20_bucket.groupby(%22no_perturb%22).max_acc_drop.agg(%5B%22count%22%2C%20%22mean%22%2C%20%22std%22%5D)%0A%20%20%20%20_levels%20%3D%20_stats.index.tolist()%0A%20%20%20%20_distributions%20%3D%20%5B_bucket.loc%5B_bucket.no_perturb.eq(level)%2C%20%22max_acc_drop%22%5D.to_numpy()%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20level%20in%20_levels%5D%0A%20%20%20%20_positions%20%3D%20list(range(len(_levels)))%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(10%2C%205))%0A%20%20%20%20_ax.violinplot(_distributions%2C%20positions%3D_positions%2C%20showextrema%3DFalse%2C%20widths%3D0.8)%0A%20%20%20%20_ax.errorbar(_positions%2C%20_stats%5B%22mean%22%5D%2C%20yerr%3D_stats%5B%22std%22%5D.fillna(0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fmt%3D%22o%22%2C%20color%3D%22black%22%2C%20capsize%3D5%2C%20label%3D%22Mean%20%C2%B1%201%20standard%20deviation%22)%0A%20%20%20%20_ax.axhline(0%2C%20color%3D%22gray%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D1)%0A%20%20%20%20_ax.axhline(0.25%2C%20color%3D%22tab%3Ared%22%2C%20linestyle%3D%22%3A%22%2C%20linewidth%3D1.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Non-robust%20at%20drop%20%E2%89%A5%200.25%22)%0A%20%20%20%20_ax.set_xticks(_positions%2C%20%5Bf%22%7Blevel%3A.1f%7D%5Cn(n%3D%7Bcount%7D)%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20for%20level%2C%20count%20in%20zip(_levels%2C%20_stats%5B%22count%22%5D)%5D)%0A%20%20%20%20_ax.set(xlabel%3D%22Unperturbed%20accuracy%22%2C%20ylabel%3D%22Accuracy%20drop%20to%20worst%20perturbation%20type%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Worst%20accuracy%20drop%20by%20unperturbed%20accuracy%22)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%203.%20Sigmoid%20shape%20of%20difficulty%20vs%20success%20rate%0A%0A%20%20%20%20One%20typically%20expects%20success%20to%20stay%20low%20on%20hard%20tasks%2C%20rise%20quickly%20near%20the%0A%20%20%20%20model's%20capability%20threshold%2C%20and%20level%20off%20on%20easy%20tasks.%20That%20would%20give%0A%20%20%20%20a%20sigmoid-shaped%20curve%3Csup%3E*%3C%2Fsup%3E%3A%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt)%3A%0A%20%20%20%20_ease%20%3D%20np.linspace(0%2C%201%2C%20400)%0A%20%20%20%20_success%20%3D%201%20%2F%20(1%20%2B%20np.exp(-8%20*%20(_ease%20-%200.5)))%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(8%2C%203.5))%0A%20%20%20%20_ax.plot(_ease%2C%20_success%2C%20linewidth%3D2)%0A%20%20%20%20_ax.set(xlabel%3D%22Difficulty%20of%20task%20(harder%20-%3E%20easier)%22%2C%20ylabel%3D%22Success%20rate%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xlim%3D(0%2C%201)%2C%20ylim%3D(0%2C%201)%2C%20xticks%3D%5B%5D)%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20In%20our%20setup%2C%20each%20variant%20of%20each%20problem%20is%20a%20task.%20We%20estimate%20task%0A%20%20%20%20difficulty%20from%20its%20rank%20after%20sorting%20all%20**480%20training%20variants**%20by%0A%20%20%20%20observed%20accuracy%20(higher%20rank%20means%20easier).%20The%20moving%20average%20of%20success%0A%20%20%20%20rate%20looks%20sigmoid-shaped.%0A%0A%20%20%20%20*Note%20that%20rank%20based%20on%20observed%20accuracy%20is%20a%20noisy%20estimate%20of%20the%0A%20%20%20%20task's%20true%20difficulty.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20plt%2C%20train_df)%3A%0A%20%20%20%20window%20%3D%20100%0A%20%20%20%20ordered%20%3D%20train_df.sort_values(%22accuracy%22).reset_index(drop%3DTrue)%0A%20%20%20%20rolling_mean%20%3D%20ordered.accuracy.rolling(window%2C%20center%3DTrue%2C%20min_periods%3D1).mean()%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(10%2C%204))%0A%20%20%20%20_ax.plot(np.arange(len(ordered))%2C%20ordered.accuracy%2C%20%22.%22%2C%20alpha%3D0.3%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3D%22Observed%20accuracy%22)%0A%20%20%20%20_ax.plot(np.arange(len(ordered))%2C%20rolling_mean%2C%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22Rolling%20mean%20(window%3D%7Bwindow%7D)%22)%0A%20%20%20%20_ax.set(xlabel%3D%22Variant%20position%2C%20sorted%20by%20accuracy%20(harder%20%E2%86%92%20easier)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ylabel%3D%22Accuracy%22%2C%20ylim%3D(0%2C%201))%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20_fig%0A%20%20%20%20return%20ordered%2C%20rolling_mean%2C%20window%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%3Cem%3E%3Csup%3E*%3C%2Fsup%3E%20Khoi%20Tran%20suggested%20this%20sigmoid-curve%20framing%20in%20a%20conversation.%3C%2Fem%3E%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%204.%20Do%20variants%20of%20a%20problem%20cluster%3F%0A%0A%20%20%20%20If%20perturbations%20make%20modest%20changes%20to%20effective%20difficulty%2C%20the%20six%0A%20%20%20%20variants%20of%20one%20original%20should%20occupy%20nearby%20positions.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20train_df)%3A%0A%20%20%20%20_originals%20%3D%20train_df.loc%5Btrain_df.perturbation_type.eq(%22no_perturb%22)%5D%0A%20%20%20%20_options%20%3D%20dict(zip(_originals.original_problem%2C%20_originals.problem_id))%0A%20%20%20%20problem_selector%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D_options%2C%20value%3Dnext(iter(_options))%2C%20searchable%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%20label%3D%22Original%20problem%22%2C%0A%20%20%20%20)%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20problem_selector%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20title%3D%22Interactive%3A%20Choose%20a%20problem%20from%20the%20dropdown%20below%3B%20red%20points%20show%20its%20variants.%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(problem_selector%2C)%0A%0A%0A%40app.cell%0Adef%20_(ordered%2C%20problem_selector%2C%20rolling_mean%2C%20window)%3A%0A%20%20%20%20import%20plotly.graph_objects%20as%20go%0A%0A%20%20%20%20_selected%20%3D%20ordered.problem_id.eq(problem_selector.value)%0A%20%20%20%20_original%20%3D%20ordered.perturbation_type.eq(%22no_perturb%22)%0A%20%20%20%20_fig%20%3D%20go.Figure()%0A%20%20%20%20_fig.add_scatter(x%3Dordered.index%2C%20y%3Drolling_mean%2C%20mode%3D%22lines%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20line%3Ddict(color%3D%22gray%22)%2C%20name%3Df%22Rolling%20mean%20(%7Bwindow%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20hoverinfo%3D%22skip%22)%0A%20%20%20%20for%20_name%2C%20_mask%2C%20_color%2C%20_symbol%2C%20_size%2C%20_opacity%20in%20%5B%0A%20%20%20%20%20%20%20%20(%22Other%20variants%22%2C%20~_selected%2C%20%22lightgray%22%2C%20%22circle%22%2C%206%2C%200.6)%2C%0A%20%20%20%20%20%20%20%20(%22Selected%20perturbations%22%2C%20_selected%20%26%20~_original%2C%20%22red%22%2C%20%22circle%22%2C%2010%2C%201)%2C%0A%20%20%20%20%20%20%20%20(%22Original%20problem%22%2C%20_selected%20%26%20_original%2C%20%22red%22%2C%20%22star%22%2C%2016%2C%201)%2C%0A%20%20%20%20%5D%3A%0A%20%20%20%20%20%20%20%20_part%20%3D%20ordered.loc%5B_mask%5D%0A%20%20%20%20%20%20%20%20_hover%20%3D%20(%7B%22hoverinfo%22%3A%20%22skip%22%7D%20if%20_name%20%3D%3D%20%22Other%20variants%22%20else%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22customdata%22%3A%20_part.perturbation_type%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hovertemplate%22%3A%20%22Perturbation%3A%20%25%7Bcustomdata%7D%3Cbr%3EAccuracy%3A%20%25%7By%3A.1f%7D%3Cbr%3EPosition%3A%20%25%7Bx%7D%3Cextra%3E%3C%2Fextra%3E%22%2C%0A%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20_fig.add_scatter(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D_part.index%2C%20y%3D_part.accuracy%2C%20mode%3D%22markers%22%2C%20name%3D_name%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20marker%3Ddict(color%3D_color%2C%20symbol%3D_symbol%2C%20size%3D_size%2C%20opacity%3D_opacity)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20**_hover%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20_fig.update_layout(xaxis_title%3D%22Variant%20position%2C%20sorted%20by%20accuracy%20(harder%20%E2%86%92%20easier)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20yaxis_title%3D%22Accuracy%22%2C%20yaxis_range%3D%5B-0.1%2C%201.1%5D%2C%20hovermode%3D%22closest%22)%0A%20%20%20%20_fig%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20Statistical%20test%20for%20clustering%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd%2C%20train_df)%3A%0A%20%20%20%20_ranks%20%3D%20train_df.accuracy.rank(method%3D%22average%22).to_numpy()%0A%20%20%20%20_groups%2C%20_%20%3D%20pd.factorize(train_df.problem_id)%0A%20%20%20%20_counts%20%3D%20np.bincount(_groups)%0A%20%20%20%20_strata%20%3D%20list(train_df.groupby(%22perturbation_type%22).indices.values())%0A%0A%20%20%20%20def%20_dispersion(values)%3A%0A%20%20%20%20%20%20%20%20means%20%3D%20np.bincount(_groups%2C%20weights%3Dvalues)%20%2F%20_counts%0A%20%20%20%20%20%20%20%20variances%20%3D%20np.bincount(_groups%2C%20weights%3D(values%20-%20means%5B_groups%5D)%20**%202)%20%2F%20_counts%0A%20%20%20%20%20%20%20%20return%20variances.mean()%0A%0A%20%20%20%20observed_dispersion%20%3D%20_dispersion(_ranks)%0A%20%20%20%20null_dispersion%20%3D%20np.empty(10_000)%0A%20%20%20%20_rng%20%3D%20np.random.default_rng(42)%0A%20%20%20%20for%20_i%20in%20range(len(null_dispersion))%3A%0A%20%20%20%20%20%20%20%20_shuffled%20%3D%20_ranks.copy()%0A%20%20%20%20%20%20%20%20for%20_indices%20in%20_strata%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_shuffled%5B_indices%5D%20%3D%20_rng.permutation(_ranks%5B_indices%5D)%0A%20%20%20%20%20%20%20%20null_dispersion%5B_i%5D%20%3D%20_dispersion(_shuffled)%0A%20%20%20%20p_value%20%3D%20(1%20%2B%20(null_dispersion%20%3C%3D%20observed_dispersion).sum())%20%2F%20(len(null_dispersion)%20%2B%201)%0A%20%20%20%20reduction%20%3D%201%20-%20observed_dispersion%20%2F%20null_dispersion.mean()%0A%20%20%20%20return%20null_dispersion%2C%20observed_dispersion%2C%20p_value%2C%20reduction%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20p_value%2C%20reduction)%3A%0A%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20To%20formalise%20the%20observation%2C%20we%20test%20a%20null%20in%20which%20each%20variant%20can%20take%0A%20%20%20%20any%20observed%20rank%20within%20its%20perturbation%20type.%20The%20mean%20within-problem%0A%20%20%20%20**variance**%20of%20global%20accuracy%20ranks%20is%20**%7Breduction%3A.1%25%7D%20lower**%20than%20under%0A%20%20%20%20this%20null%20(one-sided%20**p%20%3D%20%7Bp_value%3A.4g%7D**)%2C%20giving%20strong%20evidence%20of%0A%20%20%20%20clustering.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20null_dispersion%2C%20observed_dispersion%2C%20plt)%3A%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(9%2C%204))%0A%20%20%20%20_ax.hist(null_dispersion%2C%20bins%3D40%2C%20alpha%3D0.7%2C%20label%3D%22Shuffled%20within%20perturbation%20type%22)%0A%20%20%20%20_ax.axvline(observed_dispersion%2C%20color%3D%22tab%3Ared%22%2C%20linewidth%3D2%2C%20label%3D%22Observed%22)%0A%20%20%20%20_ax.set(xlabel%3D%22Mean%20within-problem%20global-rank%20variance%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ylabel%3D%22Permutation%20count%22)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%20%20%20%20mo.accordion(%7B%22More%20details%22%3A%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%20%20%20%20We%20use%20a%20permutation%20test.%20First%2C%20rank%20all%20variants%20by%20accuracy%20and%0A%20%20%20%20%20%20%20%20measure%20the%20mean%20within-problem%20variance%20of%20those%20global%20ranks%20(ties%0A%20%20%20%20%20%20%20%20get%20average%20ranks).%20Then%20randomly%20permute%20ranks%20**within%20each%0A%20%20%20%20%20%20%20%20perturbation%20type**%2010%2C000%20times.%20This%20preserves%20each%20type's%20rank%0A%20%20%20%20%20%20%20%20distribution%20while%20breaking%20which%20variants%20belong%20to%20the%20same%20problem.%0A%20%20%20%20%20%20%20%20The%20p-value%20is%20the%20fraction%20of%20permutations%20with%20variance%20at%20most%20as%0A%20%20%20%20%20%20%20%20small%20as%20observed%2C%20with%20a%20one-count%20correction.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22Observed%20variance%3A%20**%7Bobserved_dispersion%3A%2C.1f%7D**%3B%20permutation%20mean%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7Bnull_dispersion.mean()%3A%2C.1f%7D**.%22)%2C%0A%20%20%20%20%5D)%7D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20p_value%2C%20reduction)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(f%22The%20variants%20of%20each%20original%20cluster%20in%20global%20accuracy%20rank%3A%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22within-problem%20dispersion%20is%20**%7Breduction%3A.1%25%7D%20lower**%20than%20the%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22permutation%20mean%20(p%20%3D%20%7Bp_value%3A.4g%7D).%22)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22success%22%2C%20title%3D%22Supported%3A%20variants%20of%20a%20problem%20cluster%20around%20original%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%205.%20Do%20perturbations%20shift%20difficulty%20in%20one%20direction%3F%0A%0A%20%20%20%20Rank%20each%20original%20and%20its%20five%20rewrites%20*within%20that%20group*%2C%20from%0A%20%20%20%20hardest%20(rank%201)%20to%20easiest%20(rank%206).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20plt%2C%20train_df)%3A%0A%20%20%20%20_within%20%3D%20train_df.assign(%0A%20%20%20%20%20%20%20%20group_rank%3Dtrain_df.groupby(%22problem_id%22).accuracy.rank(method%3D%22average%22)%0A%20%20%20%20)%0A%20%20%20%20_originals%20%3D%20_within.loc%5B_within.perturbation_type.eq(%22no_perturb%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%22problem_id%22%2C%20%22accuracy%22%2C%20%22group_rank%22%5D%5D%0A%20%20%20%20_group_size%20%3D%20train_df.groupby(%22problem_id%22).size().iloc%5B0%5D%0A%20%20%20%20_center%20%3D%20(_group_size%20%2B%201)%20%2F%202%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(9%2C%204))%0A%20%20%20%20_ax.hist(_originals.group_rank%2C%20bins%3Dnp.arange(0.75%2C%20_group_size%20%2B%200.5%2C%200.5)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22white%22)%0A%20%20%20%20_ax.axvline(_center%2C%20color%3D%22tab%3Ared%22%2C%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20label%3Df%22Group%20center%20(%7B_center%3Ag%7D)%22)%0A%20%20%20%20_ax.set_xticks(np.arange(1%2C%20_group_size%20%2B%200.5%2C%200.5))%0A%20%20%20%20_ax.set(xlabel%3D%22Original's%20rank%20within%20its%20six%20variants%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ylabel%3D%22Number%20of%20original%20problems%22)%0A%20%20%20%20_ax.legend()%0A%20%20%20%20_fig.tight_layout()%0A%0A%20%20%20%20_comparisons%20%3D%20train_df.loc%5Btrain_df.perturbation_type.ne(%22no_perturb%22)%5D.merge(%0A%20%20%20%20%20%20%20%20_originals%5B%5B%22problem_id%22%2C%20%22accuracy%22%5D%5D.rename(%0A%20%20%20%20%20%20%20%20%20%20%20%20columns%3D%7B%22accuracy%22%3A%20%22original_accuracy%22%7D)%2C%0A%20%20%20%20%20%20%20%20on%3D%22problem_id%22%2C%20validate%3D%22many_to_one%22%2C%0A%20%20%20%20)%0A%20%20%20%20_delta%20%3D%20_comparisons.accuracy%20-%20_comparisons.original_accuracy%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22Mean%20original%20rank%20**%7B_originals.group_rank.mean()%3A.2f%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22(center%20%7B_center%3Ag%7D).%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22Of%20the%20400%20perturbations%2C%20**%7B(_delta%20%3C%200).mean()%3A.1%25%7D**%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22were%20harder%2C%20**%7B(_delta%20%3E%200).mean()%3A.1%25%7D**%20easier%2C%20and%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**%7B(_delta%20%3D%3D%200).mean()%3A.1%25%7D**%20tied%20on%20observed%20accuracy.%22)%2C%0A%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Unsupported%3A%20There%20is%20no%20evidence%20to%20suggest%20that%20perturbations%20systematically%20make%20the%20problem%20more%20difficult%20or%20easier%20than%20the%20original%22%2C%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%206.%20Can%20original%20accuracy%20predict%20the%20robustness%20label%3F%0A%0A%20%20%20%20We%20try%20to%20predict%20a%20problem's%20**robustness**%20label%20from%20its%20%60no_perturb%60%0A%20%20%20%20accuracy.%20We%20compare%20logistic%20regression%20using%20that%20accuracy%20alone%20with%20a%0A%20%20%20%20model%20that%20also%20uses%20its%20distance%20from%200.5.%20The%20scores%20use%20five-fold%20CV%20on%0A%20%20%20%20a%20balanced%20sample%20of%20labelled%20problems.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(accuracy_df%2C%20mo%2C%20pd%2C%20read_public_csv)%3A%0A%20%20%20%20_drop%20%3D%20accuracy_df.max_acc_drop%0A%20%20%20%20_label%20%3D%20pd.Series(pd.NA%2C%20index%3Daccuracy_df.index%2C%20dtype%3D%22boolean%22)%0A%20%20%20%20_label.loc%5B_drop%20%3C%3D%200.10%5D%20%3D%20True%0A%20%20%20%20_label.loc%5B_drop%20%3E%3D%200.25%5D%20%3D%20False%0A%20%20%20%20_n_per_class%20%3D%20_label.value_counts().min()%0A%20%20%20%20_metrics%20%3D%20read_public_csv(%22cv_metrics.csv%22)%0A%20%20%20%20_single%20%3D%20_metrics.loc%5B_metrics.model.eq(%22accuracy_only%22)%5D.set_index(%22fold%22)%0A%20%20%20%20_both%20%3D%20_metrics.loc%5B_metrics.model.eq(%22accuracy_and_distance%22)%5D.set_index(%22fold%22)%0A%20%20%20%20_fold_rows%20%3D%20%22%5Cn%22.join(%0A%20%20%20%20%20%20%20%20f%22%7C%20%7B_fold%7D%20%7C%20%7B_single.loc%5B_fold%2C%20'roc_auc'%5D%3A.3f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20f%22%7B_single.loc%5B_fold%2C%20'accuracy'%5D%3A.3f%7D%20%7C%20%7B_both.loc%5B_fold%2C%20'roc_auc'%5D%3A.3f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20f%22%7B_both.loc%5B_fold%2C%20'accuracy'%5D%3A.3f%7D%20%7C%22%0A%20%20%20%20%20%20%20%20for%20_fold%20in%20_single.index%0A%20%20%20%20)%0A%20%20%20%20_summary%20%3D%20(%0A%20%20%20%20%20%20%20%20%22%7C%20Logistic%20regression%20features%20%7C%20Mean%20CV%20AUC%20%7C%20Mean%20CV%20accuracy%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%22%7C%3A--%7C--%3A%7C--%3A%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20%60no_perturb%60%20accuracy%20%7C%20**%7B_single.roc_auc.mean()%3A.3f%7D**%20%7C%20%22%0A%20%20%20%20%20%20%20%20f%22%7B_single.accuracy.mean()%3A.3f%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7C%20Accuracy%20%2B%20distance%20from%200.5%20%7C%20%7B_both.roc_auc.mean()%3A.3f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20f%22**%7B_both.accuracy.mean()%3A.3f%7D**%20%7C%22%0A%20%20%20%20)%0A%20%20%20%20_details%20%3D%20(%0A%20%20%20%20%20%20%20%20f%22We%20used%20five%20shuffled%2C%20stratified%20folds%20on%20a%20balanced%20sample%20of%20%22%0A%20%20%20%20%20%20%20%20f%22%7B2%20*%20_n_per_class%7D%20labelled%20original%20problems%20(%7B_n_per_class%7D%20per%20class).%20%22%0A%20%20%20%20%20%20%20%20f%22The%20other%20%7Bint(_label.isna().sum())%7D%20training%20problems%20are%20unlabelled.%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%22%7C%20Fold%20%7C%20Accuracy-only%20AUC%20%7C%20Accuracy-only%20accuracy%20%7C%20Two-feature%20AUC%20%7C%20Two-feature%20accuracy%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%22%7C--%3A%7C--%3A%7C--%3A%7C--%3A%7C--%3A%7C%5Cn%22%0A%20%20%20%20%20%20%20%20f%22%7B_fold_rows%7D%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%22These%20labels%20come%20from%20%60max_acc_drop%60%2C%20which%20includes%20%60no_perturb%60%20%22%0A%20%20%20%20%20%20%20%20%22accuracy.%20The%20results%20show%20predictive%20association%20in%20this%20local%20sample%2C%20%22%0A%20%20%20%20%20%20%20%20%22not%20an%20independent%20effect%20of%20difficulty.%22%0A%20%20%20%20)%0A%0A%20%20%20%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(_summary)%2C%0A%20%20%20%20%20%20%20%20mo.accordion(%7B%22More%20details%22%3A%20mo.md(_details)%7D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%207.%20Why%20this%20matters%0A%0A%20%20%20%20-%20**Classifier%20design%3A**%20The%20accuracy-only%20model%20has%20slightly%20higher%20CV%20AUC%3B%0A%20%20%20%20%20%20however%2C%20a%20linear%20feature%20can%20miss%20easy%20problems%20that%20are%20also%20robust.%0A%20%20%20%20%20%20Knowing%20the%20mechanism%20motivates%20a%20nonlinear%20feature%20despite%20its%20lower%20score.%0A%20%20%20%20-%20**Generalization%3A**%20Knowing%20the%20mechanism%20helps%20us%20design%20models%20that%0A%20%20%20%20%20%20generalize%20to%20unseen%20data%2C%20such%20as%20a%20set%20of%20very%20easy%20problems.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%208.%20Limitations%20of%20the%20study%0A%0A%20%20%20%20-%20**Scope%3A**%20Repeat%20this%20experiment%20with%20larger%20models%2C%20more%20math%20problems%2C%0A%20%20%20%20%20%20and%20increasing%20output-token%20budgets.%0A%20%20%20%20-%20**Difficulty%20estimate%3A**%20We%20infer%20difficulty%20from%20the%20model's%20own%20accuracy.%0A%20%20%20%20%20%20Problems%20with%20independently%20known%2C%20increasing%20difficulty%20would%20test%20the%0A%20%20%20%20%20%20proposed%20relationship%20more%20directly.%0A%20%20%20%20-%20**Sampling%20resolution%3A**%20Ten%20attempts%20per%20variant%20cannot%20reliably%20distinguish%0A%20%20%20%20%20%200.90%20accuracy%20from%200.99.%20More%20attempts%20could%20show%20more%20clearly%20that%0A%20%20%20%20%20%20near-perfect%20problems%20are%20more%20robust.%0A%20%20%20%20-%20**Representativeness%3A**%20LLM-generated%20perturbations%20may%20not%20reflect%20the%0A%20%20%20%20%20%20range%20of%20wording%2C%20formatting%2C%20and%20context%20changes%20a%20model%20encounters%20in%0A%20%20%20%20%20%20practice.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%209.%20Related%20work%0A%0A%20%20%20%20-%20**Difficulty%20and%20success%20rate%3A**%20Item%20response%20theory%20(IRT)%20models%20the%0A%20%20%20%20%20%20probability%20of%20solving%20a%20task%20as%20a%20sigmoid%20of%20model%20ability%20minus%20task%0A%20%20%20%20%20%20difficulty.%20%5BLi%20et%20al.%2C%202025%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2511.04120)%20apply%0A%20%20%20%20%20%20IRT%20to%20mathematical%20reasoning%20with%20LLMs.%0A%20%20%20%20-%20**Perturbations%20and%20solve%20rates%3A**%20%5BZhou%20et%20al.%2C%202024%5D(https%3A%2F%2Faclanthology.org%2F2024.naacl-long.153%2F)%0A%20%20%20%20%20%20measure%20solve-rate%20changes%20between%20math%20problems%20and%20their%20paraphrases.%0A%20%20%20%20%20%20Most%20changes%20in%20their%20GSM8K%20study%20were%20within%2025%20percentage%20points%2C%20though%0A%20%20%20%20%20%20they%20also%20report%20substantial%20changes%20in%20both%20directions.%0A%0A%20%20%20%20In%20a%20preliminary%20literature%20review%20with%20Codex%2C%20I%20did%20not%20find%20a%20paper%20that%0A%20%20%20%20combines%20these%20ideas%20to%20explain%20why%20perturbation-induced%20accuracy%20drops%20may%0A%20%20%20%20peak%20near%20a%20model's%20capability%20threshold.%0A%0A%20%20%20%20%23%23%23%20References%0A%0A%20%20%20%20Li%2C%20X.%2C%20Xu%2C%20M.%2C%20Tao%2C%20W.%2C%20Zhu%2C%20H.%2C%20Zhao%2C%20Y.%2C%20Zhang%2C%20J.%2C%20%26%20Lan%2C%20Y.%20(2025).%0A%20%20%20%20%5B*RIDE%3A%20Difficulty%20Evolving%20Perturbation%20with%20Item%20Response%20Theory%20for%0A%20%20%20%20Mathematical%20Reasoning*%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2511.04120).%20arXiv%3A2511.04120.%0A%0A%20%20%20%20Zhou%2C%20Y.%2C%20Zhu%2C%20Y.%2C%20Antognini%2C%20D.%2C%20Kim%2C%20Y.%2C%20%26%20Zhang%2C%20Y.%20(2024).%0A%20%20%20%20%5B*Paraphrase%20and%20Solve%3A%20Exploring%20and%20Exploiting%20the%20Impact%20of%20Surface%20Form%0A%20%20%20%20on%20Mathematical%20Reasoning%20in%20Large%20Language%20Models*%5D(https%3A%2F%2Faclanthology.org%2F2024.naacl-long.153%2F).%0A%20%20%20%20In%20*Proceedings%20of%20NAACL-HLT%202024*%20(pp.%202793%E2%80%932804).%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A