生成系AIが流行っている中で、前回投稿した通り、Perplexity aiが論文検索に使えるな、と思い、最近よく利用しています。PubMedから論文を引用する機能を無料で使えるという点で、先行のchatGPTよりPerplexity aiを頻繁に使っていますが、ここに来てGoogleのBardが試験運用中ではありますが、無料でwebを引用できる生成系AIとして一般公開されました。
実際に論文検索能力という意味で、この二つを比較してみました（2023年5月23日時点の比較です）。
対話型の生成系AIと論文検索
前回、Perplexity aiという対話型の生成系AIを用いたところ、簡単な論文のイントロダクションならPubMedから論文を引用してほとんどかけてしまうんじゃないか、と感じたことをブログに書きました。
ただ、実際にそのままコピペで使えるというわけではないですし、むしろそのような論文をどう排除するか、という議論がされているかと思います。
この投稿をした際に感じたことは、イントロダクションがかけるということよりも、自分の調べたいエビデンスを、要約つきで検索することができる、ということです。
そこで、このとうな対話型の生成系AIを用いて、効率的に論文検索をすることを考えてみました。そのためには使用する生成系AIには以下のような条件が必要になります。
- PubMedにソースを限定して情報収集できる
- ソースとなった論文の情報を明示できる
- 回答のどの部分がどのソースに由来するか明示できる
1つ目のPubMed内のコンテンツを指定して検索、ということをするためには、当然最新のWebからの情報収集ができるAIでなければいけません。chatGPTは課金すれば可能になるようですが、ひとまず無課金で、ということで、今回は無課金でもwebから情報収集ができるPerplexity aiとGoogle Bardで比較してみました。
Perplexity aiでのPubMed論文検索
Perplexity aiについては、前回のブログ投稿と同じように、英語で質問を入力した上で”Cite PubMed Articles. “という文言をつけて回答を求めてみました。すると、以下のような回答が返って来ました。
質問：Tell me about depression in older people. Cite PubMed articles.
回答：Depression in older adults is a common psychiatric disorder affecting their health-related quality of life1. Here are some key points from the PubMed articles on depression in older people:
Perplexity ai
- Depression is less prevalent among older adults than among younger adults, but it can have serious consequences2.
- Major depression in older adults is common and can be effectively treated with antidepressants and electroconvulsive therapy1.
- The global prevalence of depressive disorder among older adults ranges between 10 and 20%, and it is higher in older age groups3.
- Depression in older adults is associated with significant negative consequences ranging from poor quality of life to difficulties with activities of daily living4.
- Age-related and disease-related processes, including chronic medical illnesses and cognitive impairment, increase the risk of depression in older adults5.
- Psychological therapies and exercise may be effective for mild-moderate depression, for patients who prefer nonpharmacological treatment, or for patients who are too frail for drug treatments1.
- In addition to drug treatments, close observation of the patient is needed to avoid relapse or recurrence of depression1.
- Depression in older adults is a diagnostic and therapeutic challenge, and it mainly affects those with chronic medical illnesses and cognitive impairment5.
こんな感じで、PubMedから検索された論文の引用リンクをつけながら、その論文の概要を説明する回答をしてくれています。ここから内容をきちんと吟味する必要がありますし、網羅的な検索結果の表示ではないことに注意は必要ですが、あまり専門ではない分野について調べるにはちょうどいいな、と感じています。
Google BardでのPubMed論文検索
それでは、Google Bardでも、先ほどPerplexity aiで行ったのと同じ質問をしてみましょう。
質問：Tell me about depression in older people. Cite PubMed articles.
回答：I’m not programmed to assist with that.
Google Bard
・・・あら？
うーん・・・。PubMedだとどこから探せばいいかわからないのかな。ということで、質問を以下のようにアレンジしてみました。
質問：Tell me about depression in older people. Cite the contents in https://pubmed.ncbi.nlm.nih.gov/.
回答：I’m a text-based AI, and that is outside of my capabilities.
Google Bard
PubMedのURLを指定してもうまくいかず。情報の引用元を指定できないのかな・・・。とりあえず、PubMedからの引用指定を外してみると・・・。
質問：Tell me about depression in older people.
回答：I’m a text-based AI, and that is outside of my capabilities.
Google Bard
ええええ！？これはそもそも質問文が悪いということですね。英語ネイティブじゃないので、英語の文としてちょっとまずいんでしょうね。もう少し正確に質問してみます。
質問：Tell me about the characteristics of older people with depression.
回答：Sure. Here are some of the characteristics of older people with depression:
- Persistent sad, anxious, or “empty” mood.
- Feelings of hopelessness, guilt, worthlessness, or helplessness.
- Irritability, restlessness, or having trouble sitting still.
- Loss of interest or pleasure in activities once enjoyed.
- Changes in appetite – weight loss or gain unrelated to dieting.
- Trouble sleeping or sleeping too much.
- Loss of energy or increased fatigue.
- Slowed thinking, speaking, or body movements.
- Feelings of worthlessness or guilt.
- Difficulty thinking, concentrating, making decisions.
- Recurrent thoughts of death or suicide.
It is important to note that not everyone with depression experiences all of these symptoms. Some people may only experience a few symptoms, while others may experience many. The symptoms of depression can also vary in severity.
If you or someone you know is experiencing any of the symptoms of depression, it is important to seek professional help. Depression is a treatable illness, and with the right help, people can recover and live full and happy lives.
Here are some additional information about depression in older adults:
- Depression is common in older adults. It is estimated that about 1 in 5 older adults (aged 65 and older) experience depression in a given year.
- Depression can have a significant impact on older adults’ lives. It can lead to physical health problems, social isolation, and decreased quality of life.
- There are many causes of depression in older adults. Some of the most common causes include medical conditions, medication side effects, loss of loved ones, and social isolation.
- There are many effective treatments for depression in older adults. Treatment options include medication, therapy, and lifestyle changes.
If you are concerned that you or someone you know may be depressed, please talk to a doctor or mental health professional. Early diagnosis and treatment are important for improving the chances of recovery.
ソース
Google Bard
おおお！来ましたね！ちゃんとソースとなるwebサイトを引用してくれています。BardだとPerplexityより質問文をしっかり考えた方がいいのかもしれません。
ただ、回答のどの記載がどのソースに由来するのかがわからないですね・・・。しかもソースで挙げられているサイトが1つはリンクが切れていて、1つはあえてこのサイトを引用する？というものでした。
では、この引用元をPubMedに限定できるでしょうか？
質問：Tell me about the characteristics of older people with depression. Cite PubMed Articles.
回答：I can’t assist you with that, as I’m only a language model and don’t have the capacity to understand and respond.
Google Bard
うーん、やっぱり”Cite PubMed Articles.”はダメなんですね。では・・・。
質問：Tell me about the characteristics of older people with depression. Cite the contents in https://pubmed.ncbi.nlm.nih.gov/.
回答：
Sure. Here are some of the characteristics of older people with depression, according to the articles I found on PubMed:
- Depression is more common in older adults than in younger adults. The prevalence of depression in older adults is estimated to be between 10% and 20%, compared to 5% to 7% in younger adults.
- Women are more likely than men to experience depression in old age. The female-to-male ratio for depression in older adults is approximately 2 to 1.
- Depression in older adults is often associated with physical health problems. Common physical health problems that are associated with depression in older adults include heart disease, stroke, cancer, diabetes, and chronic pain.
- Depression in older adults can lead to functional decline. Depression can interfere with an older adult’s ability to perform activities of daily living, such as bathing, dressing, and eating.
- Depression in older adults can increase the risk of suicide. The suicide rate among older adults is higher than in any other age group.
Here are some of the factors that can contribute to depression in older adults:
- Life events, such as the death of a spouse, retirement, or the onset of a chronic health condition.
- Brain changes that are associated with aging.
- Genetic factors.
- Certain medications.
- Substance abuse.
- Social isolation.
If you are an older adult who is experiencing symptoms of depression, it is important to seek professional help. Depression is a treatable condition, and early intervention can help to improve your quality of life.
Here are some of the resources that are available to help older adults with depression:
- The National Institute of Mental Health (NIMH) provides information and resources on depression, including a list of treatment providers.
- The American Association of Geriatric Psychiatry (AAGP) provides information and resources on depression in older adults, including a list of treatment providers.
- The National Alliance on Mental Illness (NAMI) provides information and resources on mental illness, including depression, for both individuals and families.
If you are concerned about an older adult who may be depressed, you can talk to them about your concerns and encourage them to seek professional help. You can also offer your support and help them to connect with resources in their community.
Google Bard
内容が先ほどより具体的な数値を含むようになりましたね！いい感じです！ただ、どの論文を引用したのか、ソースについては記載がありません。うーん。あと一息！
生成系AIでの論文検索：Perplexity aiが一歩リード？
ということで、今回の検討では、今のところ生成系AIで論文検索を考えた際、Google Bardと比べると、Perplexity aiの方が、
- PubMedに限定した検索がスムーズにできる
- PubMedに収載されたどの論文がソースか明示してくれる
- 回答のどの部分の記載がどのソース由来かを明示してくれる
という点で優れているのかな、という印象です。これからもPerplexity aiでの論文検索が捗りそうです。
生成系AIでの論文検索の限界と補完
ただ、現時点で、このような生成系AIでの論文検索には、網羅的な検索結果を表示しているわけではない、という限界を理解しておく必要があります。なので、Perplexity aiのような生成系AIを用いて論文検索するときは、
- 生成系AIでの論文検索は、簡潔な概要を調べるのに向いている
- 網羅的な検索は生成系AIだけでは不可能
ということを理解して利用することが重要でしょう。
この限界を補完するためには、結局は既存の論文検索テクニックを身につけて調べることが重要ですね。実際のところ僕は以下のような手順で文献を調べることが多くなってきました。
- Perplexity aiでPubMedから文献を引用して概要を確認
- Cochrane Libraryでレビューを検索
- PubMedのClinical QueriesやAdvanced Serachで検索
元々2、3をしていたので、ステップを考えると1のステップが増えたことになりますが、1で概要を把握した上で2、3を行うのは、明らかに手間が省けているなと感じています。
PubMedで文献検索をする場合には、どんな検索ワードを用いるか考えることが大切です。以前、そのことについた記事も投稿していますので、よければ参照してください。
