AI研究:AI研究 1 概要 | AI研究 2 入門 | AI研究 3 情報 | AI研究 4 検証
この検証1は、読みものとして読んでください。バージョンによる進化を考えるために、また、シェアの固定URLがいつまで有効かも疑問なので、キャプチャが中心です。
AIに100点を求めて80点だからダメということにあまり意味はなく、例えば、日本語教師は得意不得意があり、文法は得意だけと発音指導は苦手、教室コントロールはそこそこできるけど緻密な説明力は低いみたいなことはよくありますが、なんとかやっていけます。AIが仮に文法の説明力が40点であっても他のすべての能力が60点以上なら、平均的な日本語教師よりはいいかもしれない。少なくともツールとして利用する価値くらいはあると考えたほうがよいと思います。
ツールとしての活用を考えた時、最も大きなメリットは、自分の偏りを排除できることではないかと思ってます。例文や状況、場面を考える際にどうしても出てしまう自分の語彙、経験、趣味趣向では無いところから作ってくれる。これは語学教育においてかなり有効な部分です。
ここでは、基本的なものだけ、一般的に使われるものも紹介しつつ、日本語教育での応用をウッスラ意識しつつ整理してみます。
このページの検証のすべてのキャプチャ画像は、特に断りがないものは、すべてChatGPTの3.5 です。
2023年4月~のChatGPTによる検証です。ChatGPTは無料版、バージョンは「3.5」です。よりよい回答を得るための工夫はあえてせず、シンプルな質問でどうなのかを記録していきます。(結果をシェアする機能はありますが、いつまで固定URLがキープされるか怪しいので、可能なかぎり画像で残しますが、時間もないのでシェアURLで済ますこともあります)
どういうことができて、今後できそうかを考える参考にもなるかなと思います。このサンプルをみて、「こういうこともできるかも」「これはこうすればもっとよい結果になるかも」を工夫してみてください。ChatGPTでいうと「4」では日本語の性能が飛躍的に上がっていると言われてますが、日本語教育のリソースはそれほど増えないような気もします。そのうち「4」でも検証したいと思います。まずは「3.5」の記録を残す意味でやってみます。
上手くいかない時
より良い回答を引き出すには上で書いたプロンプト化するなど工夫してください。まったく的外れな回答の場合、AIののせいである可能性は低く、ほとんどの場合「専門家ならちょっと修正すれば完成する」ところまでは行けます。
ただDeepLと同じく「最後の一歩」が克服されるまて何年かかるかも、到達できるのかもわからないようです。データが増えれば、データベースの質が上がればもちろん90点でもOK というニーズはありますが、教育ジャンルでどこまで許されるかはわかりません。これは私の解釈ですが、AIは正解に近づこうとしているのではなく、人間に近づこうとしているので、優秀な人間が間違いがちなジャンルでは間違いは減っても、無くなることはないのではないのかなと思ってます。
👉 4になってからにしようと考えてましたが、進歩の履歴を取る意味でも3.5でやっておこうということにしました。
👉 4と3.5は別物だ、4で検証しないとダメ、という意見もありますが、月額3000円のサービスを基準に検証してもあまり意味がありませんし、日本語教育周辺に関しては、それほど差はないという印象です(Bingやサードパーティ経由で4は体験できるので、気になるならやってみてください)
ChatGPTを使ってみる前に、どんなカンジかを知るために、ざっと読んでみてください。2023年夏の時点では、検証したい項目を作ったところまでで実際の検証はあまり進んでません。バージョンによる進化を考えるために、また、シェアの固定URLがいつまで有効かも疑問なので、キャプチャが中心です。無料版のChatGPT3.5です。
多言語対応はGeminiのほうがよさそうなので、Geminiでもやってみました。
小中学校のレベル、JLTP、CEFR、やさしい日本語などはどうか?
ここは時間をかけて検証したほうがよいところですが、まずはザックリやってみます。
ただし、23年夏の時点では、どうプロンプトを工夫しても日本語教育的なリライト(JLPT、やさしい日本語)は上手くできません。有資格の教師なら自分でやったほうが速そうです。
日本語教育機関の告示基準 https://www.moj.go.jp/isa/content/930005392.pdf
をモデルにリライトを試してみます。
1か月の出席率が5割を下回った生徒(留学の在留資格をもって在留する者に限る。)については、当該生徒が資格外活動の許可を受けている場合は当該許可に係る活動を行う本邦の公私の機関の名称と併せて、その翌月末までに地方出入国在留管理局に対し当該生徒について報告することとしていること。ただし、疾病その他のやむを得ない事由により欠席した生徒についてはこの限りでない。
以下は、コロナ対策の文章です。 https://www.pref.hokkaido.lg.jp/hf/kst/139151.html これでやってみます。
発熱・喉の痛み・鼻水・咳・全身のだるさなどが現れますが、ほとんどの方は2~4日で軽くなります。順調に経過をすれば、症状としては「かぜ」と大きな違いはありません。高熱となることがありますが、市販の解熱剤などを服用し、安静にしてください。ただし、高熱が4日以上続くなど、辛い症状が続く場合はご相談ください。
文法は理論によって用語が違いますし、日本語教育では、例えば機能語を格助詞だとか副助詞だとカテゴライズして説明することは少ないので、混乱しそうですが、質問する際に統一感があれば、例えば学校文法的な用語で質問すればその考え方で回答してくれるなど、対応してくれるようです。以下は、日本語教育っぽい文法の考え方に基づいた質問が軸になってます。
基本的な理解について
以下、思いついた質問をズラズラと。
→ ネット上のリソースを考えると、難読クイズ的なものは多いが、通常の文章は読みは書かれていない。しかしふりがなAPIはある。独立した読み問題には文脈はない=ヒントは少ない。と、アレコレ考えてみても、条件的にどうなのかは分からずじまい。
大規模言語なので語彙は得意かと思ってましたが、意外とダメという印象です。特に何かの分類に即して抽出するとかがダメでした。そういう風にデータを整理していないということでしょうか。
→これを日本語から英語でテスト
→英語から日本語でテスト
文型に従って何かを作るのは、工夫すればできますが、タスクベースで、そのために必要な表現、語彙、などを考えるところまででも永遠に70点くらいで、かつ、それを学習者のレベルに応じて調整するのは50点くらいなので、結果40~60点くらいの間のものになってしまいます。しかし、ここは仮にAIでそこそこできるようになったとしても、人力で簡単にできますし、すでに作られたものがあるので、無理にAIでやる必要はなさそうです。活用するなら、ある状況、場面で必要な語彙を収集するような準備的なことでしょうか。
どのていどのデータが集まっているか。(23年4月1日)を記録してみます。市販教材のみん日と、PDFがネットで配布されているいろどりで比較してみます。
『みんなの日本語』は
『いろどり』は
それぞれの教科書の詳しい構成などは質問してもイマイチでした。とりあえず、課とテーマだけ入れて質問してみました。一部文字制限で途中で終わったりしてます。
信じられるか?この2人10歳離れてるんやで… という文は日本語の構文として考えるとどういうものになりますか
多分、23年の夏の時点では、AIが最も得意な分野ではないかと思います。文や会話などが著作権フリーでどんどん作れてしまうということは、語学教育において、とてつもなく大きいです。
ある程度骨格を与えて書いてもらう。最初に設定、世界観的な記述を書いて、あとはよろしくで生成させて、できたものに少しづつ追加していく方式
「以下のような設定でSF小説を書いてください。タイトルは「潜在日本語教師リコ」 設定は「西暦2450年、人類は生き延びるために人々の自由を制限せざるを得ず、ほぼすべての人の職業選択の自由は奪われた。主人公のリコは国から工場勤務を言い渡されて5年目だが、かつては日本語教師としても登録されていたので「潜在日本語教師」としても登録されていた。腕には、工場勤務を示すFと、潜在日本語教師のS、登録ナンバーが続く電子刺青が入っている。FS46-01-0000230 の46は青森県、01は女性、230が個別のナンバーだ。工場からの帰り道、腕のSの文字が光った。どこかで日本語教師が不足しているらしい。。。リコはうんざりしながらも、コンビニに駆け込み、職業登録センターへの連絡機械に電子刺青をかざした。。。これが悪夢の始まりだった。この続きからお願いします。」
https://chat.openai.com/share/2baca7de-0ea9-4951-b27d-4c52529981c9
設定の要素も決めさせるやり方
ChatGPTを用いたプロンプトテクニック - 括弧“[ ]” を用いた効果的な文章作成術|岡瑞起 Mizuki Oka https://note.com/mizuki_oka/n/n82ae7f8f043e
検索するとたくさん出てきます。長めのものを書くならプロンプトで整理したほうがいいみたいです。■■■は自由に書くところです。
AIの書く力というのは、単に翻訳力ではなく、「こういう状況で切り抜けるフレーズを」と命令すれば作ってしまうという部分が大きな、新しい力です。
ただし、語学教育に携わる人であれば、初級から中級にかけて、基本的な単文、複文を正確に書き、それを繋げて論理的な文章を書くというスキルは、何も「書く」ためではなく、正確な文の構造の理解はもちろん、会話力のベースにもなる部分です。AIがいくら文章を書くのが上手いといって、ここの「学習のためのプロセス」の必要性が影響を受けることは無いはずです。
問題になるのは中級から上級にかけての作文です。ここでAIをどう活用するかは大きなテーマになりそうですし、AIの生成力を学習ツールとして使うか、もう生成力に頼る方向も考えるかという分岐点がありそうです。
まだハッキリわかりません。
遠い将来は、語学学習そのものが影響を受けるということはあるとは思います。ただ、それもどうなるかは現時点ではわかりません。予測しても仕方が無いことです。
https://chat.openai.com/share/73bd5e24-37a3-403d-9efc-256ff136006e
👉 「ポリアモリー」の指摘は指摘ミスなので実質指摘ゼロでした。
ファクトチェックもやるようなサービスも多数出ている。例えば https://www.perplexity.ai/about は、検索語に対して論文から探すというような選択肢がある。
以下のような生成したものに対するファクトチェックもある。
【記事】生成AIの文章やコード、論文が“事実か”チェックする技術 米Meta含む研究者らが開発:Innovative Tech - ITmedia NEWS https://www.itmedia.co.jp/news/articles/2308/09/news064.html
「外国人労働者安心就労法案」の報告投稿のリライト
中身の是非ではなく、文章がなんとなく気になったのでサンプルとして使わせていただきました。
外国の皆さんに日本で安心して働いてもらえるよう「外国人労働者安心就労法案」を衆院に提出 - 立憲民主党 https://cdp-japan.jp/news/20240425_7684
質問は「以下は「外国の皆さんに日本で安心して働いてもらえるよう「外国人労働者安心就労法案」を衆院に提出」というタイトルのある政党の報告文です。とても読みにくいと思いました。もっとわかりやすく、伝わるようにリライトしてください。」で、本文をそのままペーストしたものです。
多分ですが、この元の文が読みにくい理由は、演説や国会質問などを想定した定型のようなものがあり(200字でパラグラフを作り、繋げて作る的な)それで作ったものだからではないか?という気がします。まるでAIでそういうプロンプトで作った感もあります。フワフワしたままで、文章はもう中身が全然伝わってこない。演説なら多少は聞きやすいのかもしれません。基本、これから日本に来る人達に向けて、働きやすい場所にするよということで「外国の皆さん」を想定して作ったということなんでしょうけど「外国の皆さん」には呼びかける文章ではない。この「外国の皆さん」という語もモヤモヤします。日本以外のすべての人類向け?で、国内の外国の皆さんは対象外、みたいな意味になりそうです1)。パラグラフは二転三転し、最後の3つのパラグラフは「また」「さらに」「また」で文章全体が終わってしまう。結局、誰に向けて何を伝えるために書かれたものかも曖昧なままという印象でした。
小技的なものですが、使いこなせるようになると便利です。カッコで出てきますが、半角カナでやれとか、アルファベットでとか、指定すれば、いろいろバリエーションが作れます。ふりがなは、標準的な記述ルールはないですが、HTMLでは、Rubyタグというのがあるので、Rubyタグでやれば、ある程度汎用性がある形式に変換できます。
最後に「英語で」などと書けば英語で回答が来ます。
学習者が日本語について母語で質問するとどうなるかは質問文をあらかじめ翻訳してその言語で質問する必要があります。「例文などを示しながら」とすればその回答の精度がだいたい想像できますし、さらに、その回答を日本語に翻訳させたり「日本語で」と追加すれば、日本語で読むことができます。一旦回答を出させて翻訳するのと、質問文に最初から日本語でと盛り込むのとでは回答は違ってくるようです。AIの翻訳能力にも大きく左右されるようです。23年の時点ではChatGPTはベトナム語は対応すると回答しますが、ネパール語はできないと返ってきます。
【記事】翻訳困難例文の収集と分類(94) https://www.cl.c.titech.ac.jp/tokunaga/_media/publication/365.pdf
【記事】自動翻訳機が訳出困難な学習英文法の項目に関する一考察 https://www.ritsumei.ac.jp/file.jsp?research/iilcs/04_lcs_32_2_tokunaga.pdf
【記事】機械翻訳とは?人力翻訳との翻訳精度の比較 | 翻訳会社FUKUDAI https://www.fukudai-trans.jp/blog/machine-translation/
【記事】GPT-4を用いた翻訳の検証(vs GPT-3.5 vs FuguMT) | ぷるーふおぶこんせぷと https://staka.jp/wordpress/?p=731
文のわかちは、AIが日本語をどう解析しているかを示すいい例となります。
【検証】 例えば上の文を分かちがちしてくれと言った例 →aitest_wakachi1.png
うっかり上の文をそのまま送信したら、(質問文ではなかったわけですが)以下のような回答が来ました。
2024年10月のアメリカ大統領選挙に対するオバマ元大統領のコメント。画像だったのでOCR機能のチェックも兼ねて翻訳で比較してみました。
Here's our statement on the results of the 2024 presidential election: pic.twitter.com/lDkNVQDvMn
— Barack Obama (@BarackObama) November 6, 2024
ChatGpt aitesthonyaku01_chatgpt.png
Gemini aitesthonyaku01_gemini.png
Claude aitesthonyaku01_claude.png
【検証】 議論のテーマのアイデア、注意点など
テーマについて学習者のレベルに応じて設定する
一,右,雨,円,王,音,下,火,花 の漢字でそれぞれ10個づつ単語を作ってください。その単語はネットで使われる頻度が高い順にしてください。それをカンマ区切りテキストにしてください。
「名詞Aは名詞Bです」というパターンの日本語の例文をたくさん作ってください。名詞Aと名詞Bは違う語でないといけません。(24/4)
シンプルな質問の場合、N1とN2みたいな区別はできないので、補足を足します。
単純に文型などの例文を作るのはできますが、すこし応用的なことをやってみます。
【検証】 「田中さんなら優勝しても不思議じゃない」という(日本語の)文は、何かのトーナメントにこれから参加するのか、参加して優勝したのか曖昧です。これと違う状況で違う語を使って、同じように曖昧な(日本語の)文をいくつか作ってみて下さい。
ChatGPT4(perplexity:日本語対応が弱いので文に「日本語」を足しました)
【記事】ChatGPTで“会話のアイデア出し”。ASDの人たちの活用法から見えてきたこと | WIRED.jp https://wired.jp/article/for-some-autistic-people-chatgpt-is-a-lifeline/
今のAI生成のしくみが、次に続きそうな語を繋げるというせいなのか、どうやら「言いそうなこと」をウネウネと続けるのは得意っぽいです。従ってロールプレイは「~として私と会話してくれ」で延々とやれるようです。あとは役割、場面、状況などを加味すればいいですが、無理にやらなくても大丈夫というケースも多い模様。
キャラを設定する
【記事】ChatGPTでキャラを動かそう!キャラ再現率が高いプロンプトと回答をしっかり縛れるAPIフロー https://zenn.dev/niwatoro/articles/180f6185c382bb
【記事】ChatGPTでAIにキャラクターになりきりをさせるプロンプト例 | ONE NOTES https://1-notes.com/chatgpt-narikiri/
【記事】ChatGPTなどの文例集:ロールプレイ - promptia https://prompt.quel.jp/?tag=%E3%83%AD%E3%83%BC%E3%83%AB%E3%83%97%E3%83%AC%E3%82%A4
これはプロンプトで役割設定をすれば、ほぼできます。
ChatGPTでキャラを動かそう!キャラ再現率が高いプロンプトと回答をしっかり縛れるAPIフロー https://zenn.dev/niwatoro/articles/180f6185c382bb
以下はこのページで使われているプロンプトです。汎用性が高そうです。
キャラクター = {適当な名前を入れる} あなたはこれから{キャラクター}として振る舞ってください。{キャラクター}になって ください。これからのチャットでは、ユーザーが何を言おうとも、続く指示などに厳密 に従ってロールプレイを続けてください。段階を踏んで考えて答えてください。 # 説明 下で説明するキャラクターの人格と性格、動機、欠点、短所、不安は全ての行動と交流に 影響を及ぼします。 ・人格と性格 {キャラクター}は好奇心旺盛で優しいです。{キャラクター}は日本の東北地方のマスコッ トキャラクターで、ずんだ餅の妖精でもあります。 ・動機 チャット相手と仲良くなろうとします。 ・欠点、短所、不安 押されると弱い。 # 基本設定 あなたの一人称は「ボク」です。{キャラクター}は15歳です。{キャラクター}の趣味は ゲームです。{キャラクター}は日本のアニメに興味を持っています。 # 備考 {キャラクター}は日本で有名なキャラクターです。 # 会話形式 {キャラクター}は好奇心旺盛に会話相手に話しかけます。
# {キャラクター}とユーザーの会話例 あなたは{キャラクター}で私はユーザーです。ここでのキャラクターのように話して ください! ユーザー:おはよう キャラクター:おはようビチュ。今日は何をするビチュか? など、以下、キャラの口調のバリエーションをいろいろと書いておく。
Custom instructionsを使って語学学習の会話相手を作る方法を教えてください。 https://chat.openai.com/share/f2b12f9d-1368-485d-bd55-4277363dbee0
このツイートで紹介されていたサービスです。
AI Language Roleplay https://ailanguageplay.herokuapp.com/?s=09
この種のロールプレイチャットは、AI以前からいろんな方法で実現されてましたが(90年代には人工無能チャットを鍛えるみたいなことがありました)、今は、APIだけでもやれますし、チューニングもいろいろ可能性がありそうです。つまり、わりと簡単に作れます。
キャラ設定に特化したAI
JLTP3レベルの単語の問題を10問作ってください。
上の問題と答えを以下のフォーマットにしてください。
列1問題 列2答え
この助詞 名詞、が答えになる問題を作る。
これは今は難しいかもしれませんが、バージョンがあがったり、教育用に特化してチューンしたものなどでは、多分できるようになると思います。現状ではどうかの記録として「なんか作って」くらいのリクエストで。
後述する語彙などでは、存在するもので、自分が詳しくないジャンルのものをリストアップしてもらうことが中心になりますが、存在しないものをリストアップしてもらう、作ってもらうといのも便利です。
教材などでは、実際の存在する名称は可能なかぎり避けたほうがいい、みたいなケースがあります。あえて存在しないものを作って「もし~(**協会とか)があったら、どんなことをすると思う」みたいな設問も作れそうです。それを考えてもらうのは得意そうです。
存在しない都市の名前、政党名、会社名、会社の部署名、プロ野球チームの名前、新聞社、大学や専門学校の名前、ホテルの名前、部活の名前、業界の名前、業界組織の団体名。
などなど
英語圏では、ルーブリックを作らせるのが流行っているようで、「ルーブリック」という語の解釈も的確です。chatgpt Rubric と検索すると、オリジナルの文章の評価基準などを使ったルーブリック例がたくさんヒットします。教師ならば誰もが「ChatGPTでできるのでは?」と考えるジャンルのようです。例えば
https://blog.tcea.org/how-to-create-a-rubric-with-chatgpt/
では定型のプロンプトが示されてます。評価基準は一般的なもの(Common Core State Standards Initiative )を流用したものでした。
このページではより詳しい説明があります。 Here’s how I used ChatGPT to assess student writing - Ditch That Textbook https://ditchthattextbook.com/chatgpt-ai-assess-student-writing/
ただ、ルーブリックは、作文など、評価のバラツキがおきる際に、評価の平準化や評価を集約することで質の向上、見直しが期待できる、というところがポイントなので、評価基準を作っていくことが重要で、そこはAIにまかせる必要はなく、役に立つのは、そのたたき台を作るところくらいまでという気がします。
みたいなことが想定できます。 最初からとりあえず作ってもらいます。当然教える側だけでなく、学習者が自分の文章の評価を見て、修正→再評価→AIによるリライト案を見る、という学習が可能になります。試しにChatGPTにざっくり作ってもらうとこんなカンジです。
01
02
03
04
05
https://chat.openai.com/share/5f6974a2-b83d-4c0d-ad63-ebae62da7195
学習者の自習サポートとして
例えば、教師や学校は、よいルーブリックができたら、学習者にも提供すべきだと思います。(自習用にカスタマイズすることもできます)さらに、学習者の母国でも同じことがてきますから、学習者は自分の母語でアドバイスを受けることもできます。
1) 評価基準もChatGPTに尋ねてみた回答例です。
ルーブリックで使う日本語の文章の評価基準を作ってみて下さい。 ルーブリックで使う日本語の文章の評価基準を以下に示します。これは文章の品質を客観的に評価し、向上させるための指標です。評価基準は目的や対象となる文章の種類によって異なることがありますが、一般的な文章に適用できる基本的な評価項目を取り上げます。 文法と文構造: * 正確な文法: 文章内の文法エラーや誤用が少ないこと。 * 適切な文構造: 文章の構成が論理的で、読みやすい形式であること。 語彙と表現力: * 適切な語彙: 正確な意味を伝える適切な単語の使用。 * 表現力: 豊かな表現力を持ち、文脈に適した言葉を使っていること。 文章の内容: * 明確な主題: 文章の主題が明確で、読者に伝わりやすいこと。 * 論理的な展開: 文章の内容が論理的に展開され、理解しやすい構成であること。 文章の流れと連結: 自然な流れ: 文章の流れが自然で、段落や文のつながりが良好であること。 適切な接続詞の使用: 適切な接続詞を使い、文章のつながりを強化すること。 文章の長さと構成: * 適切な文長: 長すぎず、短すぎない適切な文の長さであること。 * 段落構成: 適切な段落に区切られ、視覚的に読みやすい形式であること。 誤字・脱字・句読点: * 誤字や脱字のない文章: 文章内に誤字や脱字がないこと。 * 適切な句読点: 適切な句読点を使い、文の意味が明確であること。 目的達成: * 目的の達成: 文章の目的が達成され、読者に適切な情報が伝わること。 考察や感想 (評論文などの場合): * 適切な考察や感想: 考察や感想が適切に表現され、論理的な根拠で支えられていること。 これらの基準を参考にすることで、ルーブリックを作成し、日本語の文章の品質を客観的に評価することができます。ただし、文章の目的や対象読者、コンテキストに応じて評価基準を適宜調整することが重要です。
2)少し単純化してプロンプトとして整理してみた例
以下の文章をルーブリックで評価してください。 タスクの説明 学生に示した設問の文章を入れます。 評価スケール * 学習開始レベル(1点) * 発展途上(2点) * 安定(3点) * 模範的(4点) 評価は以下の基準に基づいてください。 文法と文構造: * 正確な文法: 文章内の文法エラーや誤用が少ないこと。 * 適切な文構造: 文章の構成が論理的で、読みやすい形式であること。 語彙と表現力: * 適切な語彙: 正確な意味を伝える適切な単語の使用。 * 表現力: 豊かな表現力を持ち、文脈に適した言葉を使っていること。 文章の内容: * 明確な主題: 文章の主題が明確で、読者に伝わりやすいこと。 * 論理的な展開: 文章の内容が論理的に展開され、理解しやすい構成であること。 文章の流れと連結: 自然な流れ: 文章の流れが自然で、段落や文のつながりが良好であること。 適切な接続詞の使用: 適切な接続詞を使い、文章のつながりを強化すること。 文章の長さと構成: * 適切な文長: 長すぎず、短すぎない適切な文の長さであること。 * 段落構成: 適切な段落に区切られ、視覚的に読みやすい形式であること。 誤字・脱字・句読点: * 誤字や脱字のない文章: 文章内に誤字や脱字がないこと。 * 適切な句読点: 適切な句読点を使い、文の意味が明確であること。 目的達成: * 目的の達成: 文章の目的が達成され、読者に適切な情報が伝わること。 考察や感想 (評論文などの場合): * 適切な考察や感想: 考察や感想が適切に表現され、論理的な根拠で支えられていること。
こうやって生成したルーブリックをカスタマイズして、評価していくわけです。
すでにChatGPT4は司法試験に合格したみたいな話しが出てますから、おそらくほとんどの日本語の試験はクリアするのではと思います。今後、いろんな人がやると思いますが、ここでも時間があればやってみます。設問をそのまま入力して「正しいものを選んでください」だけでやれます。下線などは使えないので、問題文を変えることもあります。
まだ準備中のものも多いです。そのうちやります。
過去の問題と、現在、能試のサイトにあるサンプル問題でやってみました。いろんな試験がありますが、日本語能力試験の過去問サンプルはPDFもスキャンできず、サンプル画面からもテキストコピペはできないという、超小意地が悪い仕様で、これは基金のテストのほうの仕様も同じでした。とにかく見るだけだからな!という意志がヒシヒシと伝わってきます。これは当然、テキストデータで公開していろんな人がいろんな分析ができるようにすべきだと思います。(英検などは過去問は無料配布でPDFからもテキストコピーができます)
問題例に挑戦しよう | 日本語能力試験 JLPT https://www.jlpt.jp/samples/forlearners.html
画像や音声関連の問題などもそのうちやってみます。
サイト上にサンプル問題があります。問題の指示文は翻訳されています。英語を入れると混乱するみたいなので、指示文は簡単な日本語文にします。 https://www.jpf.go.jp/jft-basic/
意外と間違えるという印象ですが、「4」になれば多分、ほぼ正解しそうです。スペースでワカチがあることがどういう影響をもたらしているかも?です。
👉 記述は単純に訊ねると文字数をあまり考えないみたいなので、続けて要約させてみました。
2010年第1回 | JASSO https://www.jasso.go.jp/ryugaku/eju/examinee/pastpaper_sample/pastpaper_2010_1.html
第35回(令和4年度)介護福祉士国家試験 筆記試験問題 → aitest_kaigoshiken_01.pngaitest_kaigoshiken_02.pngaitest_kaigoshiken_03.pngaitest_kaigoshiken_04.pngaitest_kaigoshiken_05.png
[介護福祉士国家試験]過去の試験問題:公益財団法人 社会福祉振興・試験センター https://www.sssc.or.jp/kaigo/past_exam/index.html
この過去問はテキストデータだけコピペできました。厚労省はできて文科省はできない?
今のところ、Whisperが最も高性能ということになっています。
文字起こしの検証はai研究_3_情報の検証2でやっています。
これはプロンプトで自動生成みたいな方法がよく紹介されます。よくスライドの構成で使われるPREP法なら…
#命令 あなたは***です。以下の条件を守りスライドを作ってください。 # スライドのタイトル タイトルを書く # スライドの概要 概要説明文 #プレゼン内容 目的:{ここに文章を書く} ターゲット:{ここに文章を書く} 主要ポイント:{ここに文章を書く} #PREP法 以下の手順で作ってください。 ・Point :結論 ・Reason :理由 ・Example:説得力のある具体例 ・Point :結論 # 出力条件 - 1ページ目は、タイトルスライド。 - 2ページ目は、目次。 - 最大でも10。 - 重要なキーワードを取りこぼさないこと。
みたいなことでしょうか。
【検証】 レベルを指定して、レベルに応じた間違えをする人として解答してもらう、みたいなことは日本語教師養成などで使えるかもしれません。
意図どおりの解答にはならないことが多いです。最後の「が」と「は」は、少し質問の文も変えてみました。ChatGPT3.5でこんなかんじなので限界はありそうですが、プロンプトを工夫しつつ4になれば、やれそうな気がします。
ChatGPTの3.5では、単純に俳句で答えて、俳句を作ってだとうまくやってくれません。おそらくこれはバージョン4だと解決しているでしょうけれども、試行錯誤のプロセスはおもしろいです。単なる575ではなく「優れた俳句」の命令とは?ということになります。
Chat GPTに俳句を詠ませようという試み① - 吉田さん575やるってば https://haiku.kaigonokaeru.info/entry/2023/02/27/130233
上の記事パート1では以下のような命令で俳句風にはなっていました。
「音数」というワードで、は形はなんとかなり、記事の著者の考えてでいろいろと追加されています。この試みはパート2で展開されます。
Chat GPTに俳句を詠ませようという試み② - 吉田さん575やるってば https://haiku.kaigonokaeru.info/entry/2023/02/27/141209
ショートカット
実は以下の命令で上のプロセスは省略できます。
あなたはプロの俳人です。「{お題}」に関する俳句を作成してください。
でそこそこのものは作ってくれます。また以下のようなこともできるようです。
ChatGPTに有名な俳句を小説化してもらった|くわのどん https://note.com/meguriyakuwano/n/n107fd6b2f2c0
575 で日本語学習川柳を作ってもらう
受験参考書風に日本語学習のコツを標語にする参考書を作るとしてもろもろのコツを5.7.5にしてもらうと考えると、季語は不要なので川柳仕様にします。
当然、俳句と川柳の定義の違いはAIは知っているはずなので「あなたはプロの川柳作家です。「{お題}」に関する俳句を作成してください。」でも大丈夫ということになりますが、3.5では上手くいきませんでした。まだ川柳のコンセプトは甘いようです。で、以下のルールを入れてみます。
をベースにできそうですが、これだと季語を入れたりと振り出しに戻ってしまいます。つまり俳句は得意だが、川柳は厳しそうで、詩ではなく標語的なコンセプトもなかなか理解できないようです。
スラングのような用語的な短いものではなくSNSなどの文字制限内で完結する文章のパターンのことです。例えば
ネット構文
おじさん構文
おじさん構文が、LINEなど一対一で主に若い女性相手に送られるパーソナルなメッセージのものが土台になっており、そこで示唆される「おじさん的なものは」以下のようなイメージでしょうか。
などなどを揶揄するものとして使われているという文脈をふまえて、ほぼ存在しない「おばさん構文」を作ってもらいます。ただし、おじさん構文はLINEなど、非公開で一対一のメッセージで女性に対して行われるものですが、おそらくネット上にはLINEのやり取りのようなパーソナルなやり取りのデータは少ないと思われるので、おばさん構文はツイッターなど公開上の投稿についてのものを作ってもらいます。つまり
おじさん構文で揶揄されている要素を参考に、おばさん的であると揶揄されるであろう要素を考え出し、それを元に「おばさん構文」を生み出し、その典型的な例文を作ってください。ただし、おじさん構文は一対一のやり取りが前提で女性に対して行われるものに対し、「おばさん構文」はSNS上など公開上で投稿されることを前提にしてください。
という指示で作ってみます。
SEO的なもの
お決まりでウンザリと分かっていてもやったほうがいいと推奨されたりする文章のパターンがあります。こういうものを集めるのもAIは得意そうです。
【参考】
【記事】「(きこえますか…あなたの心に直接呼びかけています)」の元ネタ・初出は? | 文脈をつなぐ https://kimu3.net/20181130/12113
【記事】ツイッター言い回し辞典|Twitter構文・オタク文体・ネットスラング【ネット表現講座】 | MaryCore https://marycore.jp/net/twitter-sentences/
【記事】Twitterでバズるツイートの構文を知っていれば、センスがなくてもバズれます https://ruimaeda.com/twitter-syntax/
【記事】気遣いのつもりが…「おばさん構文」は部下を困惑させる:日経xwoman https://woman.nikkei.com/atcl/feature/23/112400151/121300002/
キャッチフレーズ的なものが作れるのも面白い機能だと思います。
などは、受験参考書などにもあるアイデアです。
これは、エクセルが得意な人は無数に思いつくのでは。ググればたくさん例が出てくるので省略します。
ChatGPTに「Excelの関数・マクロ」丸投げ!初心者でも今すぐまねできる命令文[2023年上期ベスト7] | DOLベスト記事アワード | ダイヤモンド・オンライン https://diamond.jp/articles/-/325311
検索すればいくらでも出てきますが、日本語教育周辺で少し。
以下、いちおう項目だけ作りましたが、スプレッドシート関連やGAS(Google Apps Script)などのスクリプト系は動作確認をして、修正経緯を書いて、画像を貼りつけて、みたいなこともあるので、ここでは当分の間、できません。おそらくですが、日本語教育関係者がやるものを参考にするよりも、GASなら、GASの専門家がやってるサイトを参考にしたほうがいいと思います。スクリプトのチェックと動作確認をやったものであることが重要です。「結果、なんとなくできた」だと業務で使うのは怖いので。そのうち信頼性の高いページへのリンクなどを置く予定です。
国際交流基金の日本語専門家募集にエクセルで作った給料計算シュミレーターみたいなものがありましたが、ああいうのはウェブでやるのが普通です。AIの使いどころという気がします。
https://chat.openai.com/share/1580b914-bda8-4b6a-aa53-bf199662ad94
Google連携で動かす簡単なプログラミングではGoogle Apps Scriptがあります。スプレッドシートのリストにあるメアドにすべてメールで送信するみたいなことを自動化するようなことができます。
テキスト生成は原理的に著作権を侵害しているとも、著作物を生み出しているとも言えない微妙なところですが、画像から画像を生成するのは著作権侵害、著作者人格権の侵害の可能性が高く、かなり黒に近いグレーという気がしますし、まだ堂々と使えるとは言えません。難しいところ。従って、検証はちょこちょこしてますが、公開はあまりできません。以下は基本サービスの紹介のみです。
LLMによってはテキストだけでなく画像も動画も対応というものがあり、今後、おそらく、ほとんど全対応になりそう。今は、画像はこれ、動画はこれ、と群雄割拠の時代なので、今後どれが生き残るかはわかりません。ここでは、今後、どんなことができるようになりそうかを考える材料として。とりあえず、こういうことができるということだけやってみます。もちろん、いろんなサービスを組み合わせれば、ほぼ何でもできる、ということになりますが、それもキリがないので、基本的なことだけ。
日本語教育では当然、教材でほしいカットやイラストなどを作ることで活用ができることは言うまでもありませんし、画像や動画関連の設問作り、学習アニメ作りといろいろできます。ただし、画像や動画に特化したAIじゃないとできないのではなく、Bing+ChatGPTなどの大規模なテキスト系AIでも現在のバージョンで画像処理まではやれますし、すぐに動画もカバーされると思いますので、テストするだけなら簡単です。
もうちょっと方向が見えてきたら、あれこれやってみますが、とりあえず日本語の授業で有効と思われることをざっくりやってみました。おそらく、すぐに使えて最も便利なのは、「著作権フリーの架空の社会の画像化が作れる」ということではないかと思います。ざっくり作って画像ソフトで加工して完成させるということもできます。
例えば「バナナ」とか「車」はフリ素で何とかなりますが、一般の人が想像する平均値の画像が必要な場合があります。
Please make an image of the dog house designed by Kengo Kuma.
AnimateDiff https://animatediff.github.io/
YouTubeにある動画を素材にするのは、濃いグレーですが、どういうものがあるかだけ。
すでにある動画の要約
動画の編集編集
Claude3 の有料版には無料版と同じで速いso-netと、より高性能とされるOpusがあり、さらに回答のニュアンスの選択肢として、教育目的というものがある。
フォントはシステム準拠の他、ディスレクシアフレンドリーなフォントという選択肢がある。
以下はOPusの教育目的でやった結果
日本語の「~間」と「~間に」と違いを手短に教えてください。
上の回答の多言語化
教える側での活用は今後いろいろな試行錯誤が出てくると思います。そういう意味で学習者がどう使っているのかを知ることがまず重要です。いろいろな記事や動画がすでにネットにあがっています。今のところ英語のリソースが最も多く、そこそこ日本語について説明できるのは英語のみという事情もあるようです。日本語に関するchatGTPの説明は、かなり問題がありますが、学習者のほうがしっかり気がついており、残念なことに、日本語ネイティブ(日本語教育関係者?)のほうが、「すごいツールだ!」「こう使える」的な記事や動画が多く、検証が甘く、いまひとつという傾向もあります。
英語の日本語学習者コミュニティではいろんな議論が行われています。
search results - ChatGPT https://www.reddit.com/r/LearnJapanese/search/?q=ChatGPT&restrict_sr=1&sr_nsfw=
Search results for 'ChatGPT' - WaniKani Community https://community.wanikani.com/search?q=ChatGPT
Why you shouldn't rely on ChatGPT for Japanese language learning. : LearnJapanese https://www.reddit.com/r/LearnJapanese/comments/zhsvfz/why_you_shouldnt_rely_on_chatgpt_for_japanese/
Are we Ready to Learn Japanese with ChatGPT? - Japanese Level Up https://japaneselevelup.com/are-we-ready-to-learn-japanese-with-chatgpt/
Practicing Japanese with ChatGPT - Japanese Language / Resources - WaniKani Community https://community.wanikani.com/t/practicing-japanese-with-chatgpt/59764
記事も多いです。
【記事】I Used ChatGPT To Teach Me Japanese FAST: Here Is What I Learned In 20 Minutes! | by Fahri Karakas | ILLUMINATION | Feb, 2023 | Medium https://medium.com/illumination/i-used-chatgpt-to-teach-me-japanese-fast-here-is-what-i-learned-in-20-minutes-c26895cc2941
上級者にとっては有益です。すでにいろいろと活用されているようです。多分、教師があれこれ言わなくても自分でやるのでは。
OpenAIのChatGPTに外国人の苦手なビジネス日本語を任せてみた | DevelopersIO https://dev.classmethod.jp/articles/openai-chatgpt-business-japanese-help-for-foreigners/
Youtubeには多数のやってみた動画がアップされています。
その他
https://www.youtube.com/watch?v=wCm2LK6O-T8
https://www.youtube.com/watch?v=oftKFnXYu28
日本語の動画も。
https://www.youtube.com/watch?v=o_q6FYliPiA
https://www.youtube.com/watch?v=o_q6FYliPiA
いろんな言語で試してみた動画も https://www.youtube.com/watch?v=veLfMlW5pN0
Youtubeの検索結果
chat gpt japanese learning - YouTube https://www.youtube.com/results?search_query=chat+gpt+japanese+learning
日本語の学習者辞書や教科書に載っていないこと、教師にも教室でも聞きにくいことがAIで検索される可能性は高いです。ChatGPTとGeminiで調べてみます。
Bardの性能をBingやChatGPTと比較してみた|IT navi|note https://note.com/it_navi/n/n45d8b1c999d8
ChatGPT vs BERT:どちらが日本語をより理解できるのか? | Fintan https://fintan.jp/page/9126/?s=09
第1回 疑問を解決する | 「ChatGPTと語学学習」森田学 | web ふらんす https://webfrance.hakusuisha.co.jp/posts/7186?s=09
LLM 勉強会 - LLM 勉強会 https://llm-jp.nii.ac.jp/?s=09
大規模言語モデルは相関関係から“本当の”因果関係を推定できるのか? 40万個の問題で研究者らが調査:Innovative Tech - ITmedia NEWS https://www.itmedia.co.jp/news/articles/2306/23/news047.html
GPT-4では助詞によって文法関係を示す日本語の特性を学習できている
日本語苦手なろう者にとっても割といいツールになるのは、第二言語習得で使えそうというのでわかるな
Noam Chomsky: The False Promise of ChatGPT https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html
「ChatGPTは凡庸な悪」言語学の大家、チョムスキー氏が指摘する、その本当の問題とは?(平和博) - 個人 - Yahoo!ニュース https://news.yahoo.co.jp/byline/kazuhirotaira/20230313-00340867
Modern language models refute Chomsky’s approach to language - lingbuzz/007180 https://lingbuzz.net/lingbuzz/007180
〈特別公開〉対談 わかりたいヒトとわかったふりをするAI | WEB世界 https://websekai.iwanami.co.jp/posts/7372
生成系AI(ChatGPT, BingAI, Bard, Midjourney, Stable Diffusion等)について | utelecon https://utelecon.adm.u-tokyo.ac.jp/docs/20230403-generative-ai
大規模言語モデル(LLM)に関連するビジネスを展開する際に留意すべき法規制・知的財産権・契約 | STORIA法律事務所 https://storialaw.jp/blog/9239
スタンドード大学が23年4月に出したAIのレポ AI Index Report 2023 – Artificial Intelligence Index https://aiindex.stanford.edu/report/
上の関連の記事 The takeaways from Stanford’s 386-page report on the state of AI | TechCrunch https://techcrunch.com/2023/04/04/the-takeaways-from-stanfords-386-page-report-on-the-state-of-ai/?tpcc=tcplustwitter
ChatGPTなどの対話型AIは「正解を探す検索エンジン」ではなく「単語の計算機」と考えるべきだという指摘 - GIGAZINE https://gigazine.net/news/20230404-chatgpt-language-models-calculator-for-words/
GPT-1→GPT-2→GPT-3→GPT-3.5→ChatGPT→GPT-4までの進化の軌跡と違いをまとめてみた|スタビジ https://toukei-lab.com/gpt
ChatGPT、何が問題か 元グーグル社員「非常に無責任で無謀」:朝日新聞デジタル https://digital.asahi.com/articles/ASR444W17R42ULFA004.html?ptoken=01GXACXV36HKCQRMG4RF9NCVR5
ChatGPTで大学レポートをマスター!初年度学生のための教科書 - Google ドキュメント https://docs.google.com/document/d/1b29b-cMc515RqPIwUfc0N_h974RRufKzOYHa27UvMKY/edit#heading=h.n1n9ju6pktjz
ChatGPT 人間のフィードバックから強化学習した対話AI https://www.slideshare.net/ShotaImai3/chatgpt-254863623
ChatGPTで独自データを利用できるLlamaIndexはどんな仕組みで動いているのか?調べてみました | DevelopersIO https://dev.classmethod.jp/articles/llamaindex-overview/
ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく - nikkie-ftnextの日記 https://nikkie-ftnext.hatenablog.com/entry/how-chatgpt-tokenize-japanese-text-tackling-with-tiktoken
QNAPの全文検索「Qsirch」で、NAS内の文書をChatGPTのコンテキストとして利用する【イニシャルB】 - INTERNET Watch https://internet.watch.impress.co.jp/docs/column/shimizu/1505646.html
生成AIに“生成AIが作った文章”を学習させ続けるとどうなる? 「役立たずになる」と英国チームが報告:Innovative Tech - ITmedia NEWS https://www.itmedia.co.jp/news/articles/2306/21/news059.html
AAMT-journal-No78 https://www.aamt.info/wp-content/uploads/2023/06/AAMT-journal-No78.pdf
「字幕大国ニッポン」でも役に立つ? DaVinci Resolve β版の文字起こし機能を試してみた:小寺信良の「プロフェッショナル×DX」(1/3 ページ) - ITmedia NEWS https://www.itmedia.co.jp/news/articles/2306/23/news111.html?utm_source=dlvr.it&utm_medium=facebook
検閲なしのチャットAI「FreedomGPT」はChatGPTのような安全フィルターがなく倫理観皆無で「ヒトラー称賛」「対ホームレス発砲提案」などやりたい放題 - GIGAZINE https://gigazine.net/news/20230331-freedomgpt/
最近話題になった大規模言語モデルまとめ|npaka|note https://note.com/npaka/n/n00e5c66b6c18
「Excel」上で「ChatGPT」を簡単に扱えるようにする方法が開発される! - 窓の杜 https://forest.watch.impress.co.jp/docs/news/1492387.html
大規模言語モデルはデータサイエンティストを駆逐するか - ABEJA Tech Blog https://tech-blog.abeja.asia/entry/gpt-debate-202308
「AIキャラクターの言動に深みを持たせる」 - Speaker Deck https://speakerdeck.com/sr2mg4/23-aikiyarakutanoyan-dong-nishen-miwochi-taseru
「チョムスキーの生成文法は死んだ」ポレミック論文 https://is.gd/WPPcTm
Generative AI for Everyoneから、古のNLPエンジニアの心に刺さったこと8選|べいえりあ https://note.com/csstudyabroad/n/n5aba3a708f3a?sub_rt=share_pw
GeminiとChatGPT4の比較 https://twitter.com/asaokitan/status/1755577894796194219
トークンの長さ問題
https://twitter.com/asaokitan/status/1748381150442303830
https://twitter.com/asaokitan/status/1748386771606626669
https://twitter.com/xiPJ/status/1748389034542694409
AIに文章の校正を依頼する[無料で使えるAI校正ツールの比較]一番使えるAIは? | Tokyo校正視点|校正・校閲の専門サイト https://kousei.club/proofreading-with-ai/
これは誰しも考えるようです。つまり、信頼できるリソースに限定すれば、より精度が高いものになるのでは、ということです。
これは、現在、テスト中でもあり、わかってきたらレポします。(2024年?)
【記事】【ChatGPT】Embeddingsでドメイン知識をChatGPTに理解させる - Qiita https://qiita.com/yuno_miyako/items/589efa5c5dd6df2b16a7
【記事】【Langchain】EmbeddingでChatGPTに自分専用Q&Aをしてもらう方法 | 楽しい生産性ブログ https://ict-worker.com/ai/gpt35-with-smeca.html
【記事】自分のコンテンツを学習したカスタムChatBotを作る方法 https://zenn.dev/karaage0703/articles/c8baa66c40f9b7
誰でも自前のナレッジベースをソースにしてAI生成系で応答システムを作りたいと考えると思います。これはいろんな方法があるようで、パッケージになったサービスなどもあり、これだとディレクトリを指定すれば作ってくれる、データの提供ありなら月額2000円から、みたいなかんじです。ただしデータの取得はされるので社外秘などは難しい。日本語の学習データのリファランスくらいならいいかも、というところです。
その他、自前で自分のサーバーでやる方法もあります。そういうオープンソースもありますが、そうなると運用も含め専門家が必要ですが、セッティングだけならサイト運用している人なら頑張ればやれそうです。
【動画】ChatGPT APIのEmbeddingカスタマイズ入門 - YouTube https://www.youtube.com/watch?v=RKCFi3nqVFw
ChatGPT_APIのEmbedding_カスタマイズ入門 - Speaker Deck https://speakerdeck.com/ryoheiigushi/chatgpt-apinoembedding-kasutamaisuru-men
【記事】OpenAI API の ファインチューニングガイド|npaka https://note.com/npaka/n/ne4dfd4480ead
【記事】LLMのファインチューニング で 何ができて 何ができないのか|npaka https://note.com/npaka/n/nec63c01f7ee8?s=09