Как мы можем создать ограничение таблицы, которое ограничивает количество одинаковых значений в столбце?

Это далеко не идеально, но, как я уже упоминал в комментарии, я бы справился с этим в SP, который выполняет INSERT/UPDATE/DELETE (вряд ли необходимость в DELETE). Итак, для INSERT у вас будет что-то вроде этого:

USE Sandbox;
GO

CREATE TABLE [dbo].[BasketProduct](
    [BasketProductId] [int] IDENTITY(1,1) NOT NULL,
    [BasketId] [int] NOT NULL,
    [ProductId] [int] NOT NULL,
    [Quantity] [int] NOT NULL,
 CONSTRAINT [PK_BasketProduct] PRIMARY KEY CLUSTERED 
([BasketProductId] ASC));
GO

CREATE PROC AddBasketProduct @BasketID int, @ProductID int, @Quantity int AS
BEGIN

    DECLARE @DistinctProducts int;

    SELECT @DistinctProducts = COUNT(DISTINCT ProductID)
    FROM dbo.BasketProduct WITH (UPDLOCK) --As we need to control concurrency issues
    WHERE BasketId = @BasketID
      AND ProductID != @ProductID ;

    IF @DistinctProducts >= 10
        THROW 71245, N'Cannot have more than 10 different products in a single basket.',16; --Choose an error number and state appropraite for your applciation
    ELSE
        INSERT INTO dbo.BasketProduct (BasketId,
                                       ProductId,
                                       Quantity)
        VALUES(@BasketID,@ProductID,@Quantity);
END;

GO
--Make some sample data
INSERT INTO dbo.BasketProduct (BasketId,
                               ProductId,
                               Quantity)
VALUES(1,1,1),
      (1,2,1),
      (1,3,1),
      (1,4,1),
      (1,5,1),
      (1,6,1),
      (1,7,1),
      (1,8,1),
      (1,9,1),
      (1,10,1); --10 products.
GO
--11th product, will fail
EXEC dbo.AddBasketProduct @BasketID = 1,
                          @ProductID = 11,
                          @Quantity = 1;

GO

--Repetition of product 2, will work
EXEC dbo.AddBasketProduct @BasketID = 1,
                          @ProductID = 2,
                          @Quantity = 1;
GO

DROP PROC dbo.AddBasketProduct;
DROP TABLE dbo.BasketProduct;

DB‹>Fiddle

Пожалуйста, не делайте этого, функции в определениях таблиц вызывают всевозможные проблемы...

но в качестве дополнения к моему комментарию выше, это будет делать то, что вы хотите

Но, пожалуйста, не делай этого

use tempdb;

DROP TABLE IF EXISTS CheckTbl
CREATE TABLE CheckTbl (col1 int);  
GO  
CREATE OR ALTER FUNCTION CheckCount(@tocheck int)  
RETURNS int  
AS   
BEGIN  
    DECLARE @return INTEGER = (select count(*) from CheckTbl where col1 = @tocheck);
    return @return;
END;  
GO  
ALTER TABLE CheckTbl  
ADD CONSTRAINT chkRowCount CHECK (dbo.CheckCount(col1) <= 2 );  
GO  

INSERT INTO CheckTbl VALUES(1) -- allowed
INSERT INTO CheckTbl VALUES(2) -- allowed
INSERT INTO CheckTbl VALUES(1) -- allowed
INSERT INTO CheckTbl VALUES(2) -- allowed
INSERT INTO CheckTbl VALUES(1) -- NOT allowed

См. также Пользовательская функция с проверочным ограничением SQL Server 2008 для решение с использованием индексированного представления, которое можно адаптировать к этой ситуации