Datasette LLM добавил прямое подключение совместимых с OpenAI моделей

Какую часть работы выполняет datasette-llm

Это промежуточный плагин Datasette, через который другие плагины получают настройки языковых моделей. Он не является новой моделью и не превращает любую модель в полноценного помощника автоматически. Изменение относится к подключению: модель может работать локально или на удалённом сервере, если его интерфейс подходит выбранному режиму.

В собственном примере автор показывает Datasette Agent с моделью, запущенной через локальный сервер. Смысл примера в том, что приложение может обращаться к такой модели при работе со своими данными. Показанный автором запуск не является тестом редакции или обещанием одинаковой работы всех серверов.

Что нужно указать в настройках подключения

В примечаниях к выпуску описаны словари настроек с адресом api_base. Параметр model задаёт локальный ID в конфигурации, а model_name обозначает имя, которое ожидает удалённый сервер. Локальный ID не должен совпадать с уже установленной моделью или псевдонимом.

Настройки можно задавать через список endpoints, а также использовать в ссылках на модель для отдельных назначений. Поддерживаются совместимые конечные точки Chat Completions или Responses. Наличие знакомого формата запроса не гарантирует одинаковые возможности всех провайдеров: потоковую выдачу и вызовы инструментов следует проверять с конкретной моделью и сервером.

Как выпуск обращается с ключами

Поле key называет учётные данные. По описанию релиза, сначала выполняется поиск в datasette-secrets, затем среди сохранённых ключей LLM с тем же именем. Если key не указан, конечная точка считается не требующей аутентификации и не получает ключ провайдера по умолчанию.

Для практического знакомства разумно взять отдельную тестовую базу, явно указать адрес сервера и проверить, какой модели и какие сведения передаются. Модель, запущенная на своём компьютере, не означает, что все подключённые инструменты и источники данных тоже локальные. Условия каждого соединения нужно рассматривать отдельно.

Приложение следует проверять на доступном ему режиме: обычный ответ, потоковая выдача, работа нужного инструмента и отказ сервера. Плагин имеет статус предварительного выпуска; редакция не запускала эту версию на пользовательских базах данных. Разобрать интеграцию можно с наставником по Python, а подготовить основу для таких задач помогут курсы Python.