Demo Video
Methods
- Ground Truth
- CoM-SQ: Chain-of-Modality prompting with Speech Question input (Conventional method 1)
- CoM-ASR: Chain-of-Modality prompting with external ASR (Conventional method 2)
- PSLM-ASR: Parallel Speech Language Model with external ASR (Proposed method 1)
- PSLM-2x-ASR: Parallel Speech Language Model with two speech streams and external ASR (Proposed method 2)
Sample 1
Q: ワインはどのように発酵しますか？
Q: How does wine ferment?
Ground Truth
A: 一般的に、ブドウの果汁が容器の中でアルコールに変化することで発酵していきます。
A: Generally, grape juice ferments by turning into alcohol inside a container.
CoM-SQ
A: 飲みます。
A: You drink it.
CoM-ASR
A: 糖がアルコールになる発酵です。
A: It is the fermentation where sugar turns into alcohol.
PSLM-ASR
A: ワインは、ブドウの果肉や皮をアルコール発酵させたものです。
A: Wine is made by fermenting the flesh and skins of grapes into alcohol.
PSLM-2x-ASR
A: 酵母菌の力で糖分がアルコールに変換され、アルコール発酵と呼ばれる状態になります。
A: Yeast transforms the sugar into alcohol, a process called alcohol
fermentation.
Sample 2
Q: 何のために鶏の足を使うのですか？店で女性が鶏の足の大きなパックを買っているのを見ました。
Q: What do you use chicken feet for? I saw a woman buying a big pack of chicken feet at the
store.
Ground Truth
A: 鶏の足は中華料理やタイ料理で使われ、鶏の足でスープやシチューを作るのが好まれます。
家庭料理のガンボでも、鶏の足はかなり人気があります。一部の人々は骨から出汁をとります。
主に風味を出すために使いますが、足の肉もかなり柔らかいです。
A: Chicken feet are used in Chinese and Thai cuisine, and they are preferred for
making soups and stews.
They are also quite popular in home-cooked gumbo. Some people use the bones to make
broth.
They are mainly used to add flavor, but the meat on the feet is also quite
tender.
CoM-SQ
A: 鳥の足は、煮る、焼く、揚げる、蒸す、揚げる、 煮る、焼く、蒸す、揚げる、煮る。と、色んな調理法があります。
A: Chicken feet can be boiled, grilled, fried, steamed, fried, boiled, grilled,
steamed, fried, boiled. There are various cooking methods.
CoM-ASR
A: 食べるためです。
A: They are for eating.
PSLM-ASR
A: それは、お料理の具材です。
A: They are ingredients for cooking.
PSLM-2x-ASR
A: 鶏肉の料理が好きなので、鶏足も好きです。
A: I like chicken dishes, so I like chicken feet too.
Sample 3
Q: 休日に行くことができたら、どこに行きますか？またなぜですか？
Q: If you could go anywhere on a holiday, where would you go and why?
Ground Truth
A: ニューヨークに行くのが大好きです！とても活気のある場所です。やることや見ることがたくさんあり、そこで何週間も過ごすことができます！
A: I love going to New York! It's such a vibrant place. There are so many things to
do and see, you could spend weeks there!
CoM-SQ
A: 地元の神社にお参りに行きます。
A: I would visit the local shrine.
CoM-ASR
A: 京都に日帰りで行きます。京都は、歴史が好きだし、お寺や神社も多いので、いろいろなところを見れるからです。
A: I would take a day trip to Kyoto. I love history, and Kyoto has many temples and
shrines, so there are lots of places to visit.
PSLM-ASR
A: 家でゆっくりする。
A: I would relax at home.
PSLM-2x-ASR
A: 海に行きます。なぜかというと、海が好きだからです。
A: I would go to the beach because I love the sea.
Sample 4
Q: 緊急車両が追い越そうとしているとき、どうしたらいいですか？
Q: What should you do when an emergency vehicle is trying to overtake?
Ground Truth
A: アメリカとカナダでは、救急車、パトカー、消防車は一般車両よりも優先権があります。それらの車両が安全に通行できるように、すぐに道路脇に寄って停車する必要があります。
A: In the US and Canada, ambulances, police cars, and fire trucks have the right of
way over regular vehicles. You should pull over to the side of the road immediately
to allow them to pass safely.
CoM-SQ
A: 車線変更は絶対にしない。後続車が追い越してから、左側に寄せて停車。
A: Never change lanes. After the following car overtakes, pull over to the left and
stop.
CoM-ASR
A: 道譲ってあげてください。
A: Please yield the way.
PSLM-ASR
A: 車両が近づいて来たら、安全な車線へ移動すればいいと思います。
A: When the vehicle approaches, you should move to a safe lane.
PSLM-2x-ASR
A: 譲りましょう。
A: Let them pass.
Sample 5
Q: 切手はどこで購入できますか？
Q: Where can I buy stamps?
Ground Truth
A: 切手は、コンビニや郵便局で入手できます。
A: You can get stamps at convenience stores and post offices.
CoM-SQ
A: 郵便局、コンビニ、駅の売店、文房具店、ホームセンター、雑貨屋、100均、等々。
A: At the post office, convenience stores, station kiosks, stationery stores, home
centers, variety stores, 100 yen shops, etc.
CoM-ASR
A: 郵便局、コンビニ、切手の取扱いがある文房具店、等々。
A: At the post office, convenience stores, and stationery stores that handle stamps,
etc.
PSLM-ASR
A: コンビニで買えますよ。
A: You can buy them at convenience stores.
PSLM-2x-ASR
A: 切手はコンビニでも買えますよ。
A: You can also buy stamps at convenience stores.