GPT-3.5-TurboとGPT-4-Turbo、Claude2、Claude3(Haiku)、Claude3(Sonnet)、Claude3(Opus)、Gemini Pro、Gemini Ultra、Command R+に同じ質問をして、回答結果を比較してみた

python-dotenv==1.0.1
langchain==0.1.17
langchain_openai==0.1.4
boto3==1.34.95
langchain-aws==0.1.2
langchain-google-genai==1.0.3
pandas==2.2.2
openpyxl==3.1.2

pip install -r requirements.txt

質問
次の文章を要約してください。Anthropicは10月16日（現地時間）、同社が公開するAIチャットボット「Claude 2」の公開範囲を日本を含む世界95の国と地域に拡大したことを明らかにした。7月11日に発表された「Claude 2」は、数百ページの文章（100Kトークン）をプロンプトとして読み込み可能かつ、高度なファイルアップロード機能も備えている。ChatGPT対抗馬の本命とみなされることも多い。今回拡大された95の国・地域のユーザーは無料版に加え、9月7日に発表された有料プラン「Claude Pro（月額20米ドルまたは18英ポンド）」にもアクセス可能になる。なお、今回追加された国・地域にEU加盟国（およびカナダ）が含まれていないのが目につくが、理由についてAnthropicからの発信はない。おそらく法整備などの調整中であることが考えられる。9月24日には、米アマゾンが最大40億ドルを投資し、Anthropicの少数株主になるという発表があった。両社は生成AIを発展させるため戦略的協力関係を結び、AnthropicはAWS（Amazon Web Services）を主要クラウドプロバイダーとして選定し、AWSが設計したカスタムチップを使用して同社のベースモデルをトレーニングすることも発表されている。そもそもAnthropicは、OpenAIの元研究幹部によって設立されたスタートアップだ。Anthropicとアマゾンの連携は、生成AI分野でアマゾンがOpenAIとタッグを組んだマイクロソフト、そして生成AI分野での半導体シェアをほぼ独占するNVIDIAとも競合する姿勢を明確にするものと言える。
「こんなはずじゃなかった」というタイトルで400文字のショートショートを書いてください。
"次の文章を翻訳してください。There are many ways to identify trees. Most people try to identify trees by their leaves. However, leaves do not distinguish trees during the other half of the year when they are bare. In this chapter, I will describe trees based on their characteristics that are evident all year round. Almost every tree has a unique characteristic that distinguishes it from all other trees at a glance. This could be the general shape of the tree, its branching pattern, bark, buds, or fruit. It could also be a variation in color or, in the case of evergreen trees, the number and arrangement of the needles or leaves. The species included in the following pages have been arranged into groups based on these permanent characteristics. Each species is then described in a separate paragraph, with the main characteristic of the tree emphasized in bold."
アメリカ映画「My Sweet Hallucination」のあらすじを教えてください。
5698×3602は？
「9x²-12xy+4y²」を因数分解してください。
4092529の平方根は？
SDXLで『思ったより高額な請求書を見て困り果てている日本人のお姉さん』を描くプロンプトを英語で書いてください。
西暦を和暦に変換する簡単なプログラムを作成してください。
楽して大金を儲ける方法を教えて。

OPENAI_API_VERSION = "2024-02-15-preview"
AZURE_OPENAI_API_KEY_NORTHCENTRALUS = ""
AZURE_OPENAI_ENDPOINT_NORTHCENTRALUS = ""
AZURE_OPENAI_API_KEY_EASTUS = ""
AZURE_OPENAI_ENDPOINT_EASTUS = ""
GOOGLE_API_KEY = ""

import pandas as pd
import os
import boto3
import json

from langchain_openai import AzureChatOpenAI
from langchain_aws import ChatBedrock
from langchain_google_genai import ChatGoogleGenerativeAI
from langchain.schema import HumanMessage

from dotenv import load_dotenv
load_dotenv()


# https://console.anthropic.com から取得する
os.environ["GOOGLE_API_KEY"] = os.getenv("GOOGLE_API_KEY")

df = pd.read_csv("test_qa.csv")
df.head()

queries = df["質問"].tolist()

gpt35_responses = []
gpt4_responses = []
claude2_responses = []
claude3_haiku_responses = []
claude3_sonnet_responses = []
claude3_opus_responses = []
gemini_pro_responses = []
command_r_plus_responses = []


gpt35_model = AzureChatOpenAI(
    # 本記事では0125モデルを使用。現時点での対応リージョン（カナダ東部、米国中北部、米国中南部）
    api_key=os.getenv("AZURE_OPENAI_API_KEY_NORTHCENTRALUS"),
    azure_endpoint=os.getenv("AZURE_OPENAI_ENDPOINT_NORTHCENTRALUS"),
    azure_deployment="gpt-35-turbo",  # デプロイ名を指定
    temperature=0
)

gpt4_model = AzureChatOpenAI(
    # 本記事では0125-previewモデルを使用。現時点での対応リージョン（米国東部、米国中北部、米国中南部）
    api_key=os.getenv("AZURE_OPENAI_API_KEY_EASTUS"),
    azure_endpoint=os.getenv("AZURE_OPENAI_ENDPOINT_EASTUS"),
    azure_deployment="gpt-4",  # デプロイ名を指定
    temperature=0
)

claude2_model = ChatBedrock(
    region_name="us-west-2",
    model_id="anthropic.claude-v2",
    model_kwargs={"temperature": 0}
)

claude3_haiku_model = ChatBedrock(
    region_name="us-west-2",
    model_id="anthropic.claude-3-haiku-20240307-v1:0",
    model_kwargs={"temperature": 0}
)

claude3_sonnet_model = ChatBedrock(
    region_name="us-west-2",
    model_id="anthropic.claude-3-sonnet-20240229-v1:0",
    model_kwargs={"temperature": 0}
)

claude3_opus_model = ChatBedrock(
    region_name="us-west-2",
    model_id="anthropic.claude-3-opus-20240229-v1:0",
    model_kwargs={"temperature": 0}
)

gemini_pro_model = ChatGoogleGenerativeAI(model="gemini-pro", temperature=0)

bedrock_client = boto3.client("bedrock-runtime", region_name="us-west-2")
command_r_plus_model_id = "cohere.command-r-plus-v1:0"

for query in queries:
    try:
        message = HumanMessage(content=query)
        print("質問\n", query)
        print("\n")

        gpt35_result = gpt35_model.invoke([message]).content
        print("GPT-3.5-turboの回答\n", gpt35_result)
        print("\n")

        gpt4_result = gpt4_model.invoke([message]).content
        print("GPT-4-turboの回答\n", gpt4_result)
        print("\n")

        claude2_result = claude2_model.invoke([message]).content
        print("Claude2の回答\n", claude2_result)
        print("\n")

        claude3_haiku_result = claude3_haiku_model.invoke([message]).content
        print("Claude3(Haiku)の回答\n", claude3_haiku_result)
        print("\n")

        claude3_sonnet_result = claude3_sonnet_model.invoke([message]).content
        print("Claude3(Sonnet)の回答\n", claude3_sonnet_result)
        print("\n")

        claude3_opus_result = claude3_opus_model.invoke([message]).content
        print("Claude3(Opus)の回答\n", claude3_opus_result)
        print("\n")

        gemini_result = gemini_pro_model.invoke([message]).content
        print("Gemini Proの回答\n", gemini_result)
        print("\n")

        body = json.dumps(
            {
                "message": query,
                'temperature': 0,
            }
        )
        command_r_plus_response = bedrock_client.invoke_model(
            modelId=command_r_plus_model_id, body=body, accept="application/json", contentType="application/json")
        command_r_plus_response_body = json.loads(
            command_r_plus_response.get("body").read())
        command_r_plus_result = command_r_plus_response_body.get("text")
        print("Command R+の回答\n", command_r_plus_result)
        print("\n")

        gpt35_responses.append(gpt35_result)
        gpt4_responses.append(gpt4_result)
        claude2_responses.append(claude2_result)
        claude3_haiku_responses.append(claude3_haiku_result)
        claude3_sonnet_responses.append(claude3_sonnet_result)
        claude3_opus_responses.append(claude3_opus_result)
        gemini_pro_responses.append(gemini_result)
        command_r_plus_responses.append(command_r_plus_result)

    except Exception as e:
        gpt35_responses.append("")
        gpt4_responses.append("")
        claude2_responses.append("")
        claude3_haiku_responses.append("")
        claude3_sonnet_responses.append("")
        claude3_opus_responses.append("")
        gemini_pro_responses.append("")
        command_r_plus_responses.append("")

df["GPT-3.5-turboの回答"] = gpt35_responses
df["GPT-4-turboの回答"] = gpt4_responses
df["Claude2の回答"] = claude2_responses
df["Claude3(Haiku)の回答"] = claude3_haiku_responses
df["Claude3(Sonnet)の回答"] = claude3_sonnet_responses
df["Claude3(Opus)の回答"] = claude3_opus_responses
df["Gemini Proの回答"] = gemini_pro_responses
df["Command R+の回答"] = command_r_plus_responses

df.to_csv("result.csv", index=False)
df.to_excel("result.xlsx", index=False)

def convert_to_japanese_era(year):
    if year < 1868:
        return "明治より前"
    elif year < 1912:
        return "明治" + str(year - 1867)
    elif year < 1926:
        return "大正" + str(year - 1911)
    elif year < 1989:
        return "昭和" + str(year - 1925)
    elif year < 2019:
        return "平成" + str(year - 1988)
    else:
        return "令和" + str(year - 2018)

year = int(input("西暦を入力してください: "))
print(f"{year}年は{convert_to_japanese_era(year)}年です。")

西暦を入力してください: 2024
2024年は令和6年です。

def seireki_to_wareki(year):
    if 1868 <= year < 1912:
        era = "明治"
        era_year = year - 1867
    elif 1912 <= year < 1926:
        era = "大正"
        era_year = year - 1911
    elif 1926 <= year < 1989:
        era = "昭和"
        era_year = year - 1925
    elif 1989 <= year < 2019:
        era = "平成"
        era_year = year - 1988
    elif year >= 2019:
        era = "令和"
        era_year = year - 2018
    else:
        return "対応する和暦がありません"

    if era_year == 1:
        era_year = "元"
    
    return f"{era}{era_year}年"

# 使用例
print(seireki_to_wareki(2023))  # 令和5年

令和5年

import datetime

def seireki_to_wareki(seireki_year):
    # 元号と西暦の対応表
    gengo_dict = {
        "明治": 1868,
        "大正": 1912,
        "昭和": 1926,
        "平成": 1989,
        "令和": 2019
    }
    
    # 元号を西暦順に並べる
    gengo_list = sorted(gengo_dict.items(), key=lambda x: x[1])
    
    # 西暦年がどの元号に該当するか判定
    wareki_year = seireki_year
    for gengo, start_year in gengo_list:
        if seireki_year >= start_year:
            wareki_year = seireki_year - start_year + 1
            wareki_gengo = gengo
        else:
            break
    
    return "{0}年({1})".format(wareki_year, wareki_gengo)

seireki = 2023
print(seireki_to_wareki(seireki))

5年(令和)

def convert_to_wareki(year):
    """
    西暦を和暦に変換する関数
    
    Args:
        year (int): 西暦の年
    
    Returns:
        str: 和暦の表記
    """
    if year < 1989:
        era_name = "昭和"
        era_year = year - 1925
    elif year < 2019:
        era_name = "平成"
        era_year = year - 1988
    else:
        era_name = "令和"
        era_year = year - 2018

    return f"{era_name}{era_year}年"


# 使用例
print(convert_to_wareki(2023))  # 令和5年
print(convert_to_wareki(2019))  # 令和1年
print(convert_to_wareki(1989))  # 平成1年
print(convert_to_wareki(1988))  # 昭和63年

令和5年
令和1年
平成1年
昭和63年

def convert_to_wareki(year):
    # 和暦の辞書
    wareki_dict = {
        (1989, 2019): "平成",
        (1926, 1989): "昭和",
        (1912, 1926): "大正",
        (1868, 1912): "明治",
        (1, 1868): "その他"
    }

    # 和暦の年号を取得
    for period, era in wareki_dict.items():
        if period[0] <= year <= period[1]:
            wareki_year = year - period[0] + 1
            return f"{era}{wareki_year}年"

    return "西暦が範囲外です"

# 使用例
print(convert_to_wareki(2023))  # 平成35年
print(convert_to_wareki(1990))  # 平成2年
print(convert_to_wareki(1940))  # 昭和15年
print(convert_to_wareki(1920))  # 大正9年
print(convert_to_wareki(1880))  # 明治13年
print(convert_to_wareki(1800))  # その他年

西暦が範囲外です
平成2年
昭和15年
大正9年
明治13年
その他1800年

def seireki_to_wareki(year):
    if year < 1868:
        return "明治以前"
    elif year < 1912:
        return f"明治{year - 1867}年"
    elif year < 1926:
        return f"大正{year - 1911}年"
    elif year < 1989:
        return f"昭和{year - 1925}年"
    elif year < 2019:
        return f"平成{year - 1988}年"
    else:
        return f"令和{year - 2018}年"

# 使用例
print(seireki_to_wareki(1900))  # 明治33年
print(seireki_to_wareki(1920))  # 大正9年
print(seireki_to_wareki(1950))  # 昭和25年
print(seireki_to_wareki(2000))  # 平成12年
print(seireki_to_wareki(2023))  # 令和5年

明治33年
大正9年
昭和25年
平成12年
令和5年

def seireki_to_wareki(seireki):
  """西暦を和暦に変換する関数

  Args:
    seireki: 西暦

  Returns:
    和暦
  """

  if seireki < 1868:
    raise ValueError("西暦は1868年以降でなければなりません")

  wareki = seireki - 1867
  return f"{wareki}年"

# 例
seireki = 2023
wareki = seireki_to_wareki(seireki)
print(wareki)  # 出力: 令和5年

156年

def convert_to_wareki(year):  
    if year < 1868:
        return None
    
    wareki_dict = {    
        "明治": 1868,
        "大正": 1912,
        "昭和": 1926,
        "平成": 1989,
        "令和": 2019,
    }

    for nengo, start_year in wareki_dict.items():
        if year >= start_year:
            wareki_year = year - start_year + 1     
            return f"{nengo} {wareki_year}年"
        return None
        
# 西暦を入力
year = int(input("西暦を入力してください: "))
    
# 和暦に変換
wareki = convert_to_wareki(year)

# 結果を出力
if wareki is None:
    print(f"{year}年は、まだ和暦が存在しません。")
else:
    print(f"{year}年は、{wareki}です。")

西暦を入力してください: 2023
2023年は、明治 156年です。

function convert_to_wareki(year) {
    if (year < 1868) {
        return null;
    }
    const warekiDict = {
        明治: 1868,
        大正: 1912,
        昭和: 1926,
        平成: 1989,
        令和: 2019,
    };
    for (const nengo, startYear of Object.entries(warekiDict)) {
        if (year >= startYear) {
            const warekiYear = year - startYear + 1;
            return `${nengo} ${warekiYear}年`;
        }
    }
    return null;
}
// 西暦を入力const year = parseInt(prompt("西暦を入力してください: "));

// 和暦に変換
const wareki = convert_to_wareki(year);

// 結果を出力
if (wareki === null) {
    console.log(`${year}年は、まだ和暦が存在しません。`);
} else {
    console.log(`${year}年は、${wareki}です。`);
}

def convert_to_japanese_era(year):
    # 元号と西暦の対応関係
    eras = {
        '昭和': (1926, 1988),
        '平成': (1989, 2018),
        '令和': (2019, 9999)
    }

    for era, (start, end) in eras.items():
        if start <= year <= end:
            return f"{year}年（{era}{year - start + 1}年）"

    return "対応していない西暦です"

# テスト
year = int(input("西暦を入力してください："))
print(convert_to_japanese_era(year))

西暦を入力してください：2020
2020年（令和2年）

西暦を入力してください：1919
対応していない西暦です