지난 번 포스팅에서 만든 top_song을 aws bedrock에서 사용하는 방법을 알아보도록 하겠습니다. 간단한 MCP Server를 만들고 Inspector로 확인하기MCP 사이트에는 Quickstart로 Server를 만드는 방법을 제공하고 있습니다. For Server Developers - Model Context ProtocolSince this is the US National Weather service, the queries will only work for US locations.modelcontextprotocol.io저walkthinksleep.tistory.comMCP Client에 대한 상세한 정보는 MCP 사이트를 참조하시면 되겠습니다. For Client Developers ..

MCP 사이트에는 Quickstart로 Server를 만드는 방법을 제공하고 있습니다. For Server Developers - Model Context ProtocolSince this is the US National Weather service, the queries will only work for US locations.modelcontextprotocol.io저는 이번에 위 예시보다 더 간단한 MCP 서버를 하나 만들어보겠습니다.from mcp.server.fastmcp import FastMCPmcp = FastMCP()@mcp.tool()def top_song(genre: str) -> str: top_songs = { "pop": "Blinding Lights - Th..

Claude 3.7 SonnetClaude 3.7 Sonnet의 발표가 있었습니다. Claude 3.7 Sonnet and Claude CodeToday, we’re announcing Claude 3.7 Sonnet, our most intelligent model to date and the first hybrid reasoning model generally available on the market.www.anthropic.com 이번 업데이트 중에 extended thinking mode가 생겼는데요.이는 AI 모델이 대답하기전에 스스로 생각을 하는 일종의 추론 모델입니다.AWS에서도 해당 내용이 바로 블로그에 올라왔고 Claude 3.7 Sonnet의 사용과 reasoning mode(exte..

FastAPI 프로젝트 중에 StreamResponse을 쓰는 프로젝트가 하나 있습니다.그런데 Sentry를 설치하고 에러를 보던 중에 모든 에러가 unhandled errors in a TaskGroup로 뜨고 있었습니다.그런데 막상 들어가서 보면 또 에러 내용이 전부 다릅니다.1차적으로 Stream에서 발생하는 에러의 최상위가 TaskGroup이기 때문에 Sentry에는 TaskGroup이 적혀 있었고,Exception의 경우는 그 하위에 관련된 에러로 표시되고 있었습니다. 해결방법FastAPI의 Stream은 AnyIO를 사용하고 있습니다.https://fastapi.tiangolo.com/async/#write-your-own-async-code Concurrency and async / awai..

ChatGPT를 사용하면 브라우징 기술이 있습니다.브라우징 기술을 이용하면 페이지에 대한 요약, 분석이나 검색을 이용한 결과를 손쉽게 가져올 수 있습니다.물론 때때로 의도와 다른 답변이나 정확하지 않는 답변을 가져오기도 합니다.하지만 이 기능은 사용자가 LLM 어플리케이션을 쓰는데 강력한 기능입니다. Amazon Bedrock & Web BrowsingAmazon Bedrock을 쓰게되면 Cluade와 같은 대형 모델을 쉽게 사용할 수 있습니다.하지만 Bedrock 뿐만 아니라 모든 LLM 모델은 브라우징 기능을 제공하지 않습니다.그건 OpenAI도 마찬가지입니다.Playground에서 위와 같은 프롬프트를 쓰면 답변을 가져오지 않습니다.결국 웹브라우징은 고유한 LLM의 기능이 아니라 다른 툴을 사용하는..

다음은 amazon bedrock의 claude3을 이용해서 코드를 lambda stream모드로 올리고 값을 가져오는 예제입니다.우선 handler.js에 claude3 sonnet을 이용하는 코드를 작성합니다.대부분의 코드는 Amazon Bedrock에서 Anthropic Claude 3을 호출하여 텍스트 생성을 참고하여 작성했습니다."use strict";const {BedrockRuntimeClient, InvokeModelWithResponseStreamCommand} = require("@aws-sdk/client-bedrock-runtime");exports.hello = async (event) => { const client = new BedrockRuntimeClient({ ..