Google翻訳より精度が高いという噂のDeepLを、英語記事を作成する時のたたき台作成のために試してみました。
結論から言うと、「う〜ん、手放しで褒めるようなものかな?」という感想です。
「英→日のアウトプットの読みやすさ」はとても良いと思うんですが、精度的にはちょっと微妙な所もあるんじゃない?と思います。
アウトプットのクオリティがなまじ高いですが、仕事や研究で使用したケースの場合「アウトプットが自然な日本語≠正確に訳せている」ということを理解して使わないと、痛い目見るんじゃないかなと思います。プライベートで海外の記事とかフォーラムを見る分には現状でもかなり良いツールだと思います。
目次
よかったところ
単語・熟語・パーツ単位での候補機能
日→英の時の機能ですが、これめちゃくちゃ便利ですね。
「う〜んこれちょっとニュアンス違うよな」と思った単語をクリックすると、別の言い回しの候補が出てきて変更が可能です。別の候補を選択すると、文章自体を再構築してくれます。
英→日で比較的自然な日本語がアウトプットされる
らしいです。
これに関しては僕は普段英語を読む時にGoogle翻訳は使わないため正直よくわかりません。この記事を執筆するにあたり、ネット上のニュース英文をいくつか翻訳にかけてみましたが、そこまで違いがあるかなという感じでした。Google翻訳が55点だったらDeepLが65〜70点くらいって感じかな?まあ確かにDeepLのアウトプットのが読みやすいのは間違い有りません。
微妙だったところ
単語・熟語単位での候補機能
これは長所ではあるんですが、同時に短所でもあります。手動で置換すると、文全体が再構築されるため、複数箇所を手動で置換すると「さっき手動で変換した部分も再構築されて戻ってしまう」という事態が発生します。
僕はこれに気づかず、6000後の英文を1から再確認しないといけなくなりました。
せめて手動で変更したところはフィックスした上で文を再構築してほしいですね。
日→英で主語を抜くとガクンと精度が落ちる
まあこれは仕方がないことですかね。
日本語は主語が抜けることが多いですが、主語が抜けているとヘンテコな訳になることが多いです。
逆に主語がわかりやすく書かれている日本語であればかなり良い感じの英語に訳されるなと感じました。
すごいすごいすごいと言われている事への違和感
Twitterを見てると「すごいすごい」という意見が8割で、2割くらいの人が「良いけど、絶賛するほどでもない」という意見でした。
ちょっと疑問に思ったのは、「すごいすごい」って言っている人たちは「アウトプットされた文の正確性を判断できているのかな」という点です。「アウトプットされた日本語が自然」「方言も訳せる」などといった点のみ評価されているため、訳が正確かどうかがは見られていない気がするんですよね。
RT @鍵: DeepLすごいって言ってる人の80%って正直原文が何を言ってるのかも分からずに出てきた日本語の自然さだけで評価してるフシがあるように思える
— 💣卵生ホエール🐳 (@323O65281) April 19, 2020
例えば、DeepLについてググったら「いかにDeepLがすごいか」ということを紹介してるブログが上位に出てきたんで見てみましたが、その方が検証するために使用されていた文は以下のような文でした。
昔々あるところに、おじいさんとおばあさんが暮らしていました。毎日、おじいさんは山へ芝刈りに、おばあさんは川へ洗濯に行きました。ある日のこと、おばあさんが川で洗濯をしていると、どんぶらこっこ どんぶらこと川上からとても大きな桃が1つ流れてきました。「まあ、おいしそうな桃。おじいさんのお土産にしましょう。」おばあさんは流れてくる桃をすくい上げ、にこにこ家へ帰りました。
DeepLによる翻訳結果は以下の通りです。
Once upon a time, there lived an old man and his grandmother. Every day, my grandfather went to the mountains to mow the lawn and my grandmother went to the river to do laundry. One day, an old lady was doing laundry in the river, and a very large peach came from the top of the river. ”Well, it’s a tasty looking peach. Let’s have it as a souvenir for your grandfather. Grandmother scooped up a stream of peaches and went home to Nikoniko’s house.
1文目からして「婆さんどれだけ高齢なんだよ・・・」ってなりますからね。ちなみにそのブログの方は日→英→日に再翻訳した時の再現性を誇っていましたので、英訳を読んでいなかった可能性もあります。たださすがに1行目くらいは読むと思いますし、1行目からして内容がヤバすぎるから理解していれば気づくと思います。ちなみに個人的なツボはscooped up a stream of peachesです。天国感ありますよね。
あとtwitterでは、意味が全く逆になったりする方もいたようです。
deepLを試しに使った際に正反対の訳になったので、これだけで読むと誤った理解をする可能性もあります😓
志水先生は心配なさそうですが😁 https://t.co/VXj8XlHoaM pic.twitter.com/QVaBiO9Bn3
— ゆーさく / 臨床で使える知識を発信 (@kotokotoY66) April 11, 2020
手放しでは褒めていなかった皆さんの意見はこんな感じですね。まあ僕も大体同意です。
趣味で時短のためにDeepl翻訳をたまに使うようになったんだけれど、大意を損なわない自然な訳という意味ではGoogle翻訳に勝るものの、口語や少し複雑な英文になると「一見自然で合ってそうな全然違う日本語」になるからアウトプットに利用するならあくまでも参考に留めるのがよき、という感想。
— Guido_Unknown (@ash_bluebird) April 19, 2020
DeepL翻訳がグーグルより精度高いみたいなことをネットでちらほら見かけるんだけど、うーん、訳抜けが多いかなって印象です。グーグルもしかり。日本語の表現という点では口語っぽくて自然な日本語になってはいるので一見精度が高そうに見えるけれども訳抜けは翻訳者としては見過ごせないので
— chatgris (@coconvl) April 8, 2020
色々翻訳すると文意理解は普通にDeepLもGoogleもどっちもどっちやな。日本語の主語を取り間違えるのは今の機械翻訳の技術ではどうにもならなさそうだ。DeepLが出力する英語が自然だからバズってるのかな。英語の出力を徹底的にチューニングすれば「なんかすげえ」と騒ぐ人がいるってことか。
— Ikebe Sadao (@bonyarou) March 29, 2020
DeepL、ちょっと試して見ましたが、出力される日本語は結構なめらかですね。でもそれを見て信頼すると裏切られます(笑) 現時点ではまあ機械翻訳のレベルはその程度です。つまり、その外国語が一定レベル理解できる人でないと安易に使うのは危険なのです。
— 中国語翻訳者 箭子 喜美江 (@YAKO_Kimie) March 27, 2020
万能ツールではないと理解して使用するのが良いのでは
現時点でもDeepLが優秀なのは間違いないですし、ディープラーニングでさらに優秀になっていくのも間違いないでしょう。
表面上のアウトプットが自然なのはかなりの強みですが、翻訳精度という意味ではGoogle翻訳と同じレベルと考えたほうが良いと思います。現段階では、「完璧に翻訳できる魔法のツールではない」という事を理解した上で利用すれば有効に使えるツールだと思います。