DeepSeek-AIチームは論文「DeepSeek-OCR：コンテキスト光学圧縮」を発表し、視覚モダリティを用いて長文テキストのコンテキストを圧縮する新しい手法を提案しました。Hugging Faceのページによると、このモデルには30億のパラメータが含まれています。