Google翻訳より優秀と話題のDeepLを試してみて少し気になった点



Google翻訳より精度が高いという噂のDeepLを、英語記事を作成する時のたたき台作成のために試してみました。
結論から言うと、「う〜ん、手放しで褒めるようなものかな?」という感想です。
「英→日のアウトプットの読みやすさ」はとても良いと思うんですが、精度的にはちょっと微妙な所もあるんじゃない?と思います。
アウトプットのクオリティがなまじ高いですが、仕事や研究で使用したケースの場合「アウトプットが自然な日本語≠正確に訳せている」ということを理解して使わないと、痛い目見るんじゃないかなと思います。プライベートで海外の記事とかフォーラムを見る分には現状でもかなり良いツールだと思います。

よかったところ

単語・熟語・パーツ単位での候補機能


日→英の時の機能ですが、これめちゃくちゃ便利ですね。
「う〜んこれちょっとニュアンス違うよな」と思った単語をクリックすると、別の言い回しの候補が出てきて変更が可能です。別の候補を選択すると、文章自体を再構築してくれます。

英→日で比較的自然な日本語がアウトプットされる

らしいです。
これに関しては僕は普段英語を読む時にGoogle翻訳は使わないため正直よくわかりません。この記事を執筆するにあたり、ネット上のニュース英文をいくつか翻訳にかけてみましたが、そこまで違いがあるかなという感じでした。Google翻訳が55点だったらDeepLが65〜70点くらいって感じかな?まあ確かにDeepLのアウトプットのが読みやすいのは間違い有りません。

微妙だったところ

単語・熟語単位での候補機能

これは長所ではあるんですが、同時に短所でもあります。手動で置換すると、文全体が再構築されるため、複数箇所を手動で置換すると「さっき手動で変換した部分も再構築されて戻ってしまう」という事態が発生します。
僕はこれに気づかず、6000後の英文を1から再確認しないといけなくなりました。
せめて手動で変更したところはフィックスした上で文を再構築してほしいですね。

日→英で主語を抜くとガクンと精度が落ちる

まあこれは仕方がないことですかね。
日本語は主語が抜けることが多いですが、主語が抜けているとヘンテコな訳になることが多いです。
逆に主語がわかりやすく書かれている日本語であればかなり良い感じの英語に訳されるなと感じました。

すごいすごいすごいと言われている事への違和感

Twitterを見てると「すごいすごい」という意見が8割で、2割くらいの人が「良いけど、絶賛するほどでもない」という意見でした。

ちょっと疑問に思ったのは、「すごいすごい」って言っている人たちは「アウトプットされた文の正確性を判断できているのかな」という点です。「アウトプットされた日本語が自然」「方言も訳せる」などといった点のみ評価されているため、訳が正確かどうかがは見られていない気がするんですよね。

例えば、DeepLについてググったら「いかにDeepLがすごいか」ということを紹介してるブログが上位に出てきたんで見てみましたが、その方が検証するために使用されていた文は以下のような文でした。

昔々あるところに、おじいさんとおばあさんが暮らしていました。毎日、おじいさんは山へ芝刈りに、おばあさんは川へ洗濯に行きました。ある日のこと、おばあさんが川で洗濯をしていると、どんぶらこっこ どんぶらこと川上からとても大きな桃が1つ流れてきました。「まあ、おいしそうな桃。おじいさんのお土産にしましょう。」おばあさんは流れてくる桃をすくい上げ、にこにこ家へ帰りました。

DeepLによる翻訳結果は以下の通りです。

Once upon a time, there lived an old man and his grandmother. Every day, my grandfather went to the mountains to mow the lawn and my grandmother went to the river to do laundry. One day, an old lady was doing laundry in the river, and a very large peach came from the top of the river. ”Well, it’s a tasty looking peach. Let’s have it as a souvenir for your grandfather. Grandmother scooped up a stream of peaches and went home to Nikoniko’s house.

1文目からして「婆さんどれだけ高齢なんだよ・・・」ってなりますからね。ちなみにそのブログの方は日→英→日に再翻訳した時の再現性を誇っていましたので、英訳を読んでいなかった可能性もあります。たださすがに1行目くらいは読むと思いますし、1行目からして内容がヤバすぎるから理解していれば気づくと思います。ちなみに個人的なツボはscooped up a stream of peachesです。天国感ありますよね。

あとtwitterでは、意味が全く逆になったりする方もいたようです。

僕も試してみましたが、たしかに反対になってますね・・・。

手放しでは褒めていなかった皆さんの意見はこんな感じですね。まあ僕も大体同意です。

万能ツールではないと理解して使用するのが良いのでは

現時点でもDeepLが優秀なのは間違いないですし、ディープラーニングでさらに優秀になっていくのも間違いないでしょう。
表面上のアウトプットが自然なのはかなりの強みですが、翻訳精度という意味ではGoogle翻訳と同じレベルと考えたほうが良いと思います。現段階では、「完璧に翻訳できる魔法のツールではない」という事を理解した上で利用すれば有効に使えるツールだと思います。